2024-11-28 | 김윤수 기자

ETRI公开韩语小型语言模型“EAGLE”

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

韩国电子通信研究院(ETRI)28日表示,已在Hugging Face Hub上公开了学习韩语的30亿参数规模小型语言模型“Eagle”。ETRI期待,对于因成本负担和韩语学习局限而无法使用全球科技巨头语言模型的韩国中小及中坚企业而言,“Eagle”将发挥有效作用。

ETRI着力于比现有语言模型提升韩语学习与处理效率。由此实现了学习时间比此前缩短20%等韩语性能提升。4月公开的13亿参数模型规模仅为全球企业模型的一半,但在特定任务上表现出高出15%的性能。

现有模型以音节或字节为单位处理韩语词汇,因此表达同一句子所需运算量多于英语。ETRI还解释称,其所学习数据中韩语占比不足5%,存在局限。

ETRI正在开展进一步研究,使神经网络基础模型能够有效习得概念表达。同时还在开发可预测基础模型表达质量的技术,以及以概念为单位进行组合推理的原创技术。

ETRI还计划明年陆续公开70亿参数规模的模型,以及通过预先对齐、无需额外学习即可按用户请求作出应答的模型。此外也正致力于开发支持小学数学的教师用辅导工具。

阅读韩文原文