韩国智能信息社会振兴院(NIA)与Upstage于11日表示,将在双方共同运营的“Open Ko-LLM排行榜”中新增推理相关指标。
Open Ko-LLM排行榜于去年9月通过政企合作开设,受到学界与业界众多参与者的高度关注。截至今年5月底,参与的LLM(超大规模语言模型)数量已超过1500个,最高分达70.7分。这一数字已接近全球公认的Hugging Face LLM排行榜(最高分81.2分)。
此次新增的指标为“推理能力”和“产出推理能力”。人工智能(AI)语言数据专业企业“Flitto(300080)”协助开发了相关指标。NIA与Upstage期待,通过将该指标适配韩语,把韩语模型的性能评价体系提升至与国际评价标准相当的水平。
Upstage负责人朴灿俊表示:“既然被认可为韩国LLM评价的标准,我们将持续与NIA共同努力,实现负责任的运营。”
NIA院长黄钟盛表示:“NIA与Upstage将为韩语LLM的发展持续改进排行榜的评价指标与体系”,“期待由此在国内外AI研究者之间形成更为活跃的交流与合作。”






