2024-06-11 | 류석 기자

NIA与Upstage在韩语大模型排行榜新增推理指标

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

韩国智能信息社会振兴院(NIA)与Upstage于11日表示,将在双方共同运营的“Open Ko-LLM排行榜”中新增推理相关指标。

Open Ko-LLM排行榜于去年9月通过政企合作开设,受到学界与业界众多参与者的高度关注。截至今年5月底,参与的LLM(超大规模语言模型)数量已超过1500个,最高分达70.7分。这一数字已接近全球公认的Hugging Face LLM排行榜(最高分81.2分)。

此次新增的指标为“推理能力”和“产出推理能力”。人工智能(AI)语言数据专业企业“Flitto(300080)”协助开发了相关指标。NIA与Upstage期待,通过将该指标适配韩语,把韩语模型的性能评价体系提升至与国际评价标准相当的水平。

Upstage负责人朴灿俊表示:“既然被认可为韩国LLM评价的标准,我们将持续与NIA共同努力,实现负责任的运营。”

NIA院长黄钟盛表示:“NIA与Upstage将为韩语LLM的发展持续改进排行榜的评价指标与体系”,“期待由此在国内外AI研究者之间形成更为活跃的交流与合作。”

阅读韩文原文