蓝洞(259960)29日表示,已在全球AI平台Hugging Face上公开语音人工智能(AI)基础模型“A.X K2 Raon-Speech”。
A.X K2 Raon-Speech是在韩国科学技术情报通信部推进的“自主AI基础模型”项目中,蓝洞所参与的SK电讯精锐团队第二阶段研究成果所开发的语音语言模型。蓝洞在该项目中负责下一代多模态AI模型研究。
A.X K2 Raon-Speech的参数规模为21B(210亿),在30B以下级别的公开语音语言模型中,韩语综合性能排名第一,英语综合性能排名第三。评估在语音识别、语音合成、语音理解、语音问答、文本问答、工具调用等共6个领域进行,使用了包括LibriSpeech、KSponSpeech、VoiceBench、KVoiceBench、MMAU、KMMAU、API-Bank、FunctionChat-Bench等在内的韩语24项、英语22项,共46项基准测试。
A.X K2 Raon-Speech是在SK电讯的小型语言模型A.X K2基础上,结合蓝洞自主开发的语音编码器与语音编解码器,实现语音理解与生成的语音语言模型(Speech Language Model)。蓝洞自主训练了将人的语音转换为AI可处理的表示形式的语音编码器,以及将AI生成的信息还原为自然语音的语音编解码器,并同时应用了在保持语言模型文本处理性能的前提下稳定连接语音输入与输出的训练方法。
现有AI语音对话系统采用的方式是,将用户语音转换为文本进行理解后生成文本形式的回答,再将其合成为语音。这一过程存在情感、语调、语气等语音中所含多种信息可能丢失的局限。相比之下,A.X K2 Raon-Speech的特点是能够连同用户语音中所含情感与语调等非语言信息一并利用,生成更自然、更符合语境的语音回答。
蓝洞今年4月推出AI模型品牌“Raon”,并以开源形式公开了语音语言模型(Raon-Speech)、实时语音对话模型(Raon-SpeechChat)、文本转语音模型(Raon-OpenTTS)、视觉编码器(Raon-VisionEncoder)等4款AI模型。此次的A.X K2 Raon-Speech是以当时公开的语音语言模型(Raon-Speech)的训练方法为基础,将蓝洞自主训练的语音编码器与编解码器应用于SK电讯的小型语言模型,使技术又进一步提升的成果。
蓝洞首席AI官(CAIO)이강욱表示:“A.X K2 Raon-Speech是蓝洞持续研究并深化AI基础技术的成果”,“今后也将持续深化游戏所需的AI基础技术,创造全新的游戏体验”。






