韩国Statistics Korea已找到解决被视为人工智能(AI)顽疾的"统计计算错误"的技术方案,并计划在年内以全球首例形式发布设计图初稿。该机构成功设计出为每个数字附加说明标签、并以知识图谱形式相互连接的元数据数据库(DB)。业界评价称,Statistics Korea作为AI先导机构已为主导国际标准奠定基础。
综合Seoul Economic Daily 15日采访内容,Statistics Korea计划在今年12月内公开元数据数据库设计图初稿。此前,像ChatGPT这样的超大规模语言模型(LLM)将统计表或图表识别为单纯的文本堆,导致统计计算存在重大错误。它完全无法理解表中的失业率、就业率数值是经由何种算式和定义计算得出,适用年龄或地区在哪里等上下文。因此,即便面对"最近10年韩国失业率的最高值按月度计算出现在何时"这样简单的问题,也常常给出荒谬答案或干脆放弃回应。Statistics Korea相关人士表示:"如果AI无法正确读取表格,国家政策决策或民间研究中可能出现严重错误。"
为消除AI的此类统计计算错误、提升以图表输出准确数据的能力,Statistics Korea已着手为期1年的实务工作,并最终完成设计。Statistics Korea设计的元数据数据库以"本体论架构"方式为核心。本体论是将数据中的概念与关系以知识图谱形式结构化的技术。它不只是数字排列,而是为表格附加"定义、单位、适用对象、资料来源、修订历史"等语义标签。例如失业率指标,会一并记录△算式(失业者÷经济活动人口×100)△单位(%)△适用年龄与地区△资料来源△修订历史等。如此一来,AI便能将一个数字识别为含有上下文的数据,在提问者要求时间序列分析时也能无误地呈现准确图表。若元数据数据库完全按Statistics Korea的设计建成,用户向OpenAI下达"请把最近10年的就业率数值绘成图表"的指令时,OpenAI便能无误地完成任务。这相当于一场AI革命。
Statistics Korea在今年6月中旬举行的经合组织统计政策委员会会议上,发布了韩国筹备此类元数据结构化的战略。据悉,当时经合组织成员国代表团纷纷欢呼"期待已久的解决方案终于出现了"。AI与统计的结合是各国都在苦思的课题,但以实际设计实现涵盖概念、定义乃至资料来源的元数据结构,韩国是首例。
Statistics Korea决定在12月内公开元数据数据库设计图初稿,明年制定信息战略规划(ISP),确定数据范围、标准、安全原则、系统衔接方案等。为此,该机构已从韩国企划财政部预算室获得5亿韩元试点预算,推进AI衔接实验。也就是说,明年将进行试点测试,检验元数据数据库与本体论架构设计图初稿与AI衔接后能否正常运行。
若试点测试判定无问题,2027年将投入150亿韩元规模预算,正式推进标准化工作。Statistics Korea计划先向国内统计编制机构发布标准,在证明其效用后进一步推动国际标准化。
据Statistics Korea介绍,本项目的重要目标之一是让公共机构以及国内外AI用户都能使用元数据数据库。因此,Statistics Korea正在考虑以开源形式全面公开元数据。全面公开后,不仅谷歌等平台运营商,民间AI开发者或研究人员也能避免从博客、YouTube等来源不明处错误获取数据的问题。尤其是元数据将具备解析图表的能力,从而可将数据以图表形式呈现。Statistics Korea高层人士强调:"如果民间能自由使用元数据,整个AI生态系统的数据准确性和可信度将大幅提高。"他还补充说:"如果韩国能主导到国际标准化,这将成为跃升为AI数据强国的重要契机。"






