2024-08-12 | 류석 기자

韩国智能信息社会振兴院与Upstage全面改版"Open Ko-LLM排行榜"

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

韩国智能信息社会振兴院(NIA)与Upstage于12日表示,双方共同运营的“Open Ko-LLM排行榜”将全面改版为第二季。

Open Ko-LLM排行榜是2023年9月通过官民合作设立的韩国国内最大开放型韩语LLM评测体系。截至7月底,来自产业界、学界、研究界各领域提交参与竞争的LLM模型超过1700个,关注与参与持续高涨。

NIA与Upstage认为,随着LLM技术快速发展,有必要改进一年前制定的排行榜基准(评测指标)。此外,运营全球“Open LLM排行榜”的Hugging Face也已在6月公开了基准全面改版的排行榜第二季。

据此,双方决定反映LLM技术变化与Hugging Face排行榜改版,自当日起启动采用新性能评测指标的Open Ko-LLM排行榜第二季运营。

第二季全面废除原有评测指标,由AI数据专业企业“Flitto”“Selectstar”及“KAIST人工智能研究生院”参与,构建并应用了推理能力指标、情感指标、无害性指标等9项新基准。包括第一季提交的所有模型在内,今后提交的所有LLM都将通过新基准进行评测。

NIA院长黄钟成表示:“排行榜通过官民合作,为营造韩语LLM生态系统作出了重大贡献。”他并称:“期待借第二季改版之机,使韩语LLM技术向世界水平更进一步。”

Upstage负责人朴灿俊表示:“得益于众多专业企业和学界的参与,第二季才能迅速筹备完成,希望大家在第二季继续给予关注与参与。”

阅读韩文原文