LG(003550)AI研究院30日表示,在自然语言处理(NLP)领域世界最权威学会之一的北美计算语言学学会(NAACL)2025上获得“最佳论文奖”。最佳论文奖从学会录用的1400余篇论文中,授予提出新研究方向或解决重要问题的最具创新性研究。
论文第一作者、卡内基梅隆大学博士研究生金承元在LG AI研究院超级智能实验室实习期间,与超级智能实验室负责人李文泰、数据小组负责人李京载、韩国科学技术院(KAIST)教授徐民俊研究团队共同开发了评估生成式AI模型性能的“BiGGen Bench”。此次由LG AI研究院与KAIST教授徐民俊研究团队主导的研究,还有延世大学、康奈尔大学、伊利诺伊大学、MIT、华盛顿大学等多所高校的研究人员共同参与。
现有生成式AI模型评估方式依赖“有用性”“无害性”等抽象指标,与用户感受到的实际性能差距较大,也难以测量模型的细分能力。BiGGen Bench将生成式AI模型应具备的核心能力分为△指令执行△逻辑推理△工具使用能力△安全性△对多种语言和文化语境的理解能力等9类,再细分为评估其是否很好履行77项细分角色的765个项目来评估模型。其特点是模仿人类考虑多种情境和主观因素的方式,以得出与真人感受相近的评估结果。
LG AI研究院还在研究过程中以开源方式公开了担任评估者角色的5个AI模型之一Prometheus-2。目前正在推进基于BiGGen Bench、在生成式AI模型开发过程中自动评估各细分项目性能的后续研究。
实验室负责人李文泰表示,“BiGGen Bench旨在客观、综合地评估生成式AI的多种能力,其优势在于克服了现有基准的局限,符合人类精细的评估标准,能够把握AI模型的能力”。






