2025-02-27 | 양지혜 기자

Kakao集团完成超大规模语言模型“Kanana Flag”构建,AI阵容成型

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

Kakao集团(035720)将自研语言模型“Kanana”的研究成果整理成技术报告,发布于预印本平台ArXiv。同时,为促进韩国人工智能(AI)生态发展,公司还将“Kanana Nano 2.1B”模型以开源形式发布至GitHub。

根据Kakao集团27日公布的技术报告,Kakao集团的超大规模语言模型“Kanana Flag”已于去年年末完成训练。由此,Kakao集团完成了去年10月在开发者大会“if Kakao集团 2024”上公布的“Kanana语言模型”全部产品线(Kanana Flag、Essence、Nano)的构建。

“Kanana Flag”在韩语和英语性能上达到全球顶尖水平。此外,通过优化训练资源,相比同等规模模型节约成本超过50%,同时实现了SOTA(State-of-the-Art)级别的效率与性能。

同时,Kakao集团表示,为最大化大语言模型(LLM)的训练效率,公司采用了多种创新性训练方法。借此高效开发出从轻量模型“Kanana Nano 2.1B”到超大规模模型“Kanana Flag 32.5B”等各种规模的高性能模型,训练成本降至全球同规模模型的一半以下。

Kakao集团今后计划在Kanana模型中融合基于强化学习与持续学习的最新技术,强化推理、数学和编程能力,并提升对齐技术以提高执行用户请求的准确度。借此持续推进模型升级,使其可通过语音、图像、视频等多种形式进行交流,并不断强化技术竞争力,使之成为为日常生活带来实际价值的技术。

与此同时,Kakao集团将自研轻量模型“Kanana Nano 2.1B”在GitHub上开源。“Kanana Nano 2.1B”的基础模型、指令模型和嵌入模型均通过开源社区GitHub提供。

“Kanana Nano 2.1B”是规模适合研究人员和开发者使用的模型。同时,它是可在端侧环境运行的高性能轻量模型,尽管规模相对较小,但性能可与同等规模的全球模型媲美。公司方面表示,正如上月通过Kakao集团官方技术博客所公布的,该模型在韩语和英语处理能力上表现出色。

Kakao集团计划通过此次开源提高AI技术的可及性,并持续支持模型更新,使研究人员和开发者能够基于该模型尝试各种应用。

Kakao集团 Kanana绩效负责人金炳学表示:“基于模型优化与轻量化技术,我们高效地构建了可与Llama、Gemma等全球AI模型媲美的高性能自研语言模型产品线。”他还表示:“今后也将开发以效率和性能为中心、实用且安全的AI模型,通过持续技术创新强化AI竞争力。”

阅读韩文原文