韩国主要企业争相开发新技术“专家混合(MoE)”模型,通过分工体系克服人工智能(AI)模型的性能瓶颈。该技术不是一味扩大模型规模,而是将体量较小但具备各领域专业性的模型组合起来,从而提升作业效率。今年年初DeepSeek热潮之后,中国集中开发该技术,而打出主权(自立型)AI旗号的韩国企业也开始着手应对,以确保竞争力。
据信息技术(IT)业界28日消息,SK电讯正以公开“A.X MoE”模型为目标推进相关研发(R&D)。即在近期发布的A.X 3.1和4.0之后,也将自主开发MoE模型。MoE是将各领域专门化的小模型,即所谓“专家”组合成一个AI模型的技术。用户提问或下达指令时,并非整个AI模型运作,而是仅由其中金融、法律等相关领域的专家出面执行任务。与整个模型参与所有作业的现有大语言模型(LLM)相比,可降低运算成本。
SK电讯近期公开了改善MoE模型“专家激活不均衡”的研究成果。MoE需要根据用户提问与指令调用最合适专家的“路由”过程。若路由不当,只有特定专家被频繁调用工作,其余专家则被闲置。SK电讯研究团队改善了这一可能反而比LLM更低效的问题。
KT也在本月初公开LLM“Mi:dm 2.0”时表示“今后将持续推进MoE结构等大规模模型架构扩展和学习效率研究”,表明了开发MoE模型的方针。Kakao集团于24日公开韩国首个开源(开放型)MoE模型“Kanana-1.5-15.7B-A3B”,着手确保主导权。据介绍,该模型仅以比现有模型少2~3倍的参数(资源)就能实现更高的推理运算。LG AI研究院此前已将MoE方法应用于AI服务“ChatEXAONE”。“EXAONE”模型本身并非MoE,但通过把多个该模型分别打造为专家,使用户可像MoE一样使用。
目前中国在主导权竞争中态度积极:今年年初DeepSeek发布MoE模型后,近期又出现被视为“第二个DeepSeek”的月之暗面AI“Kimi K2”。在美国,DeepMind去年发布了可实现数百万专家的技术“PEER”,IBM则在今年年初公布了专门用于MoE模型运算的AI芯片开发成果。






