韩国科学技术情报通信部追加公开了“自主AI基础模型”项目第二次阶段评估的详细结果。政府最初仅公布了被淘汰的团队,未公开各项目第一名及分数,但在围绕评估透明度的争议出现后,决定与此前第一次阶段评估相同,公开各评估项目的第一名企业及最高分。
据科学技术信息通信部21日消息,LG(003550)AI研究院在自主AI基础模型项目第二次评估中,于专家评估和普通国民评估两个项目获得最高分。在配分35分的专家评估中,LG AI研究院以29.5分在4个团队中位列第一。整体平均分为28.75分。专家评估由产业界3人、学界5人、研究界2人等10名外部专家参与,历经约5天的书面评估和问答进行。
专家并非仅评估模型的基准性能。开发战略与技术配分10分,开发成果与未来计划配分10分,国内AI生态及全球波及效果与贡献计划配分15分。技术自主性与资源利用效率、模型的可用性与实用性、向多种产业与服务扩展的可能性,以及对大学、初创企业和国产AI半导体生态的支持计划、进军全球市场的计划等也在评估之列。
LG AI研究院在普通国民评估中也以7.6分获得最高分。平均分为7.03分。政府以国内居民登记人口统计为基准设定性别、年龄配额后,通过系统随机选出200名国民评估团成员,其中185人实际参与评估。评估者直接使用应用了各团队AI模型的网站,重点评估模型生成内容的内容与质量等,而非UI、UX。
相反,在衡量模型客观性能的基准测试中,其他企业占据领先。采用全球主要排行榜评估方式的AAII基准测试,4个团队平均为9.48分,其中Motif Technologies以11.9分位列第一。在评估数学、知识、长文理解、安全性、可信性、韩语、指令遵循等7个领域的NIA基准测试中,SK电讯(017670)以13.4分位列第一。平均分为13.05分。
在由在实际开发过程中广泛使用过AI模型的初创企业代表参与的专业用户评估中,SK电讯同样表现突出。在经确认是否存在利益冲突等后选定的50人中,有49人参与评估,SK电讯以满分15分中的11.6分获得最高分。4个团队平均为10.53分。
科学技术信息通信部在18日发布第二次阶段评估结果时,未公开各项目第一名企业及分数。这是考虑到有意见指出可能对排名较低的企业造成标签效应。但随着要求提高评估过程与结果透明度的质疑不断,决定扩大公开范围。科学技术信息通信部解释称“我们均衡考虑了公开评估结果可能给部分企业带来的意外直接、间接损害与评估结果的透明度”,“决定在与第一次阶段评估发布时相同的水平上,公开各评估项目的第一名企业及其分数”。
另一方面,此次第二次评估结果显示,Upstage、SK电讯、LG AI研究院等3个团队进入下一阶段,Motif Technologies被淘汰。






