2026-08-10 | 울산=장지승 기자

UNIST开发AI“专家共享”技术…语言模型体积缩减63%

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

一种提升ChatGPT等大型语言模型(LLM)效率的新型神经网络结构问世。它在大幅减少参数的同时保持性能不变。

蔚山科学技术院(UNIST)人工智能研究生院金泰焕教授团队10日表示,已开发出多个神经网络层共享人工智能模块的新型专家混合结构“GMoE(Global Mixture of Experts)”。该技术同时解决了现有语言模型的内存不足与运算低效问题。

大型语言模型主要采用在多个专家模块中仅选用部分的“专家混合(MoE)”方式。现有模型在每个神经网络层都设置独立的专家集群,层数越深参数就呈几何级数增加,功能重复的问题也很严重。

研究团队以“共享”破解难题。GMoE由所有神经网络层共同使用的“公用专家”和每层各设一个的“专用专家”构成。例如在100层中每层设1000名专家,总共需要10万名;而GMoE只需每层1个专用专家共100名,再加上1000名公用专家,以1100名构成整体结构,模型规模和所需内存大幅减少。

实际性能评估也印证了效率。研究团队在阅读理解、语法、常识推理等7个领域进行了测试。以中等规模模型为准,参数由5.49亿个减至2.04亿个,减少约63%。平均正确率为39.51%,与参数多约2.5倍的现有模型(39.55%)相当。

输入值只集中于特定专家的顽固问题也得到解决。GMoE将前一层路由器的计算得分传递至下一层,参考此前的选择来均衡分配专家。结果利用了8万1561条路径,比原有方式多3倍以上。使用最多的单一路径集中比重也从原有的25.65%~45.55%降至11.15%,意味着有限的容量被充分利用到每个角落。

本次研究由硕士生洪建宇作为第一作者参与。研究成果发表于自然语言处理领域最权威的国际学会“ACL 2026”。相关代码已在GitHub项目页面公开。

金泰焕教授解释称,“现有专家混合模型存在‘复合冗余’问题,即不同神经网络层反复学习相似功能,且在各层内部也只有部分专家被主要使用”,“本次研究提出了在一个结构内同时缓解这些问题的新架构”。他还表示,“这将有助于大型语言模型以更少的参数利用多样的专家组合,并在相同规模下以更多方式处理输入”。

阅读韩文原文