在自主人工智能(AI)基础模型(自主基模)项目第二轮评选中落选的Motif Technologies,27日正式向韩国科学技术情报通信部提出异议。随着Motif要求复审,围绕自主基模第二轮结果公布前后出现的评价公正性争议似有拉长之势。
Motif当天通过发布的立场文表示:“已就自主基模第二轮评选结果正式提出异议申请。”并补充称:“要求详细公开(自主基模第二轮评选相关)评价分数并进行复审。”
Motif指出全球AI基准Artificial Analysis的智能指数(AAII)分数与专业用户及普通国民评价之间存在分数落差,主张政府应公开详细评价分数。Motif的AI模型取得AAII 41分,在自主基模第二轮竞争企业中位居第一。Upstage(37分)、SK电讯(017670)(35分)、LG AI研究院(31分)依次在后。然而在综合评价中,Motif以四家企业中最低的分数落选,信息技术(IT)业界随之对评价标准产生争议。
对此,科学技术信息通信部20日公开了纳入综合评价的各评价项目、配分及各项目第一名企业。据该部门介绍,在配分25分的AAII评价中,Motif以11.9分位居最高分,但在配分35分的专家评价中,LG AI研究院以29.5分领先。此外,在韩国智能信息社会振兴院(NIA)基准评价(配分15分)及AI专业用户评价(配分15分)中,SK电讯分别以13.4分、11.6分获最高分。普通国民评价团分数(配分10分)方面,LG AI研究院以7.6分居首。
Motif方面认为,AAII分数与可用性评价分数之间出现如此差异的结果难以接受。Motif表示“评价结果本身予以尊重和接受”,但强调“AAII不是单纯的基准测试,而是包含可用性相关评价的综合性能评价”。并称“此次自主基模第二轮评价的核心是AI模型之间的比较,对于全球主要基准结果与专家评价相反的原因和背景,有必要作出更具体的说明,以便业界理解”。
最后,Motif说明:“AI模型本质性能的提升最符合自主基模项目的目标”,“从这一角度出发,Motif对此次审查结果以及目前正在进行的第三轮评价方向的讨论是否符合自主基模项目本应追求的目标提出异议”。不过Motif划清界限称,此次异议并非主张Motif应被选为最终自主基模项目承担企业。






