在政府选定的自主人工智能(AI)基础模型项目第二轮评价中,出现了初创企业以全球性能指标超越大企业、跃居第一的结果。不过也有观点指出,这只是整体评价的一部分,且未反映韩语性能,因此难以断定为最终评价结果。
13日,据海外AI性能评价机构“Artificial Analysis”,Motif Technologies的“Motif 3”在最新“Artificial Analysis智能指数(AAII)”中以47分在自主基础模型项目4家参与企业中获得最高分。Upstage的“Solar Open2”以37分紧随其后,其后依次为SK电讯“A.X-K2”(35分)、LG AI研究院“K-EXAONE 2.0”(31分)。Artificial Analysis是综合评价AI模型数学、科学、编程、推理等多种能力的全球AI分析机构。
Motif 3是总计3140亿参数规模的大语言模型,是Motif Technologies在约5个月内从预训练到后处理全过程从零开发的技术。代表임정환(任正焕)表示:“在AI模型市场上国境毫无意义,只有展现全球最高水平的性能,作为自主基础模型才有真正意义”,“将以此次获得的信心为基础,打造能够与美国和中国前沿模型平等竞争的最高水平AI模型。”
但本次AAII得分并不意味着自主基础模型第二轮评价的最终结果。在第二轮评价中,基准测试评价在满分100分中占40分,其中AAII占25分,韩国智能信息社会振兴院(NIA)基准测试评价占15分。其余分值由专家评价(35分)和用户评价(25分)构成。
AI业界指出,韩语基准测试未被纳入AAII是一大局限。此外,围绕基准分数本身可信度的争议也存在。因为针对特定基准的数据与后训练集中拉高分数的所谓“benchmaxxing”正在全球AI业界蔓延。
政府计划近期公布自主基础模型第二轮评价结果。在最终评价中,4家参与企业中将有3个团队存活并进入下一阶段。






