韩国科研团队开发出以韩语为中心的神经网络小型生成式语言模型,并以开源形式向公众公开。此举有望成为无法使用大规模语言模型的中小及中坚企业的一场及时雨。
韩国电子通信研究院(ETRI)28日表示,已开发出基于韩语的30亿参数(3B)级神经网络小型生成式语言模型“Eagle”,并在HuggingFace Hub上公开。
生成式语言模型是从海量文本数据中学习人类语言能力,并按照用途根据用户的提问或指示生成自然对话或各类文本内容的系统。
在生成式语言模型领域领先的全球科技巨头过去集中公开100亿至1000亿参数以上规模的中大型模型,但近期开始公开10亿至40亿参数规模的小型开放模型。
然而,这类模型将韩语词汇按音节或字节单位处理,因此表达同一句话需要更多运算。
此外,训练数据中韩语数据占比不足整体的5%,导致韩语理解与生成能力相较英语等主要语言相对较低,暴露出局限性。
ETRI团队开发的语言模型中韩语数据占比高得多。由此在减少运算次数的同时实现了高效的训练与推理。特别是在执行以韩语给出的数字运算的微调实验中,ETRI今年4月公开的13亿参数模型尽管规模仅为全球企业模型的一半(50%),却在特定任务上取得了约高15%的性能。
此外,韩国企业此前公开的韩语中心模型存在局限,即均为针对问答任务调整过的已对齐模型。
相比之下,ETRI公开的模型以未施加微调的基础模型形式提供。基础模型相比已对齐模型,在针对新用途任务追加训练时,应用模型的预期性能更高。训练时间也缩短约20%左右,具有发挥更优性能的优势。
研究团队说明称,该模型适合在生成式AI应用开发过程中对运算成本感到负担的中小及中坚企业。同时强调,可在基础模型上结合特定用途进行追加训练,便于延展训练,从而打造企业自有的定制化基础模型。
如上所述,ETRI正努力克服因投入的计算资源有限、训练量不足而难以充分容纳多样知识这一相较海外科技巨头基础模型的短板。为此,正在开展让神经网络基础模型有效习得概念表达的追加研究。
与此同时,ETRI还在开发可预测基础模型表达质量的技术,以及能够以概念为单位进行组合推理的原创技术。研究团队正基于所开发的基础模型,开发赋予其有效提取概念知识的能力,以及解决数学题或需多步逻辑推演的复杂问题的能力的技术。由此计划实现以往小型语言模型难以完成的复合推理。
此外,ETRI计划在2025年陆续公开蕴含更多知识的70亿参数规模模型,以及通过预先对齐无需追加训练即可按用户请求作出回应的模型。同时还在致力于开发支持小学数学的教师用辅导工具。
ETRI语言智能研究室室长权五旭表示:“目前公开的语言模型并非基于丰富资源开发,不可能在所有方面都优于海外优秀模型”,“但希望这一相对较小的韩语本土模型能为需要它的产学研各领域研发提供很大帮助。”






