2026-06-11 | 김기혁 기자

理解韩语语境的K-AI指标将出台

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

一套能够精确测量人工智能(AI)对韩语语境理解能力的新型公共评价体系有望问世。其宗旨是摆脱以往简单借用全球基准或重新组合陈旧标准的做法,涵盖古语与方言,切实检验韩国独有的语言与文化特性。随着AI智能体应用扩散,比起AI的通用能力,其在实际业务环境中能被多好地使用变得更为重要。

据信息技术(IT)业界11日消息,韩国科学技术情报通信部与韩国智能信息社会振兴院(NIA)正在推进AI模型基准数据集建设项目。为此近期已选定开发企业等承接方,计划经成果验证等程序后于今年内完成该项目。

基准数据集通过标准化的题目与评价标准,充当在同等条件下对多个AI模型性能进行比较与验证的试验平台。本次项目聚焦于将测量、比较AI模型性能的评价标准(基准)进行本土定制化升级,以确保韩国型AI模型的全球竞争力。此前国内AI基准仅停留在把海外知名数据集翻译成韩语,或把多个海外基准按韩国情况加以组合的水平。尤其在法律、医疗等专业领域或AI安全性验证方面,几乎找不到自主的评价体系。

NIA相关人士解释称:“现有的全球基准评价方式存在局限,无法充分反映韩国特性以及韩国的语言、文化和社会语境”,“将通过提供可信赖的性能指标,营造韩国型AI模型的引入与扩散生态。”

NIA构想开发能够判别AI是否可以解读韩语复合含义的自主基准。为此,数据集计划纳入中世、近代时期使用的古语、地方方言以及新造词等。其判断依据是:只有具备横跨韩语语法乃至朝鲜时代文献和各地方言的高水平推理与问题解决能力,才算得上真正的AI。

新基准的必要性之所以不断上升,是因为进入AI智能体时代后,除AI性能之外,其实用性也愈发重要。实际上,海外已有意见指出MMLU-Pro等现有基准已失去区分度。MMLU是通用能力基准,广泛测量语言理解、知识运用、推理能力等。全球AI专业评价机构Artificial Analysis今年全面改版原有评价体系,并剔除了MMLU-Pro。原因在于标准已从单纯以正确率为中心的考试,转向追问AI能否执行创造经济价值的工作。

验证AI在实际环境中运作是否有用的目标导向型基准也在增多。评价AI智能体问题解决能力的“AgentBench”、考察是否生成虚假信息与幻觉的“TruthfulQA”、测量用户指令遵循度的“IFEval”等具有代表性。

阅读韩文原文