2025-07-03 | 대전=박희윤 기자

开启24小时对话AI助手可能性的“Speech SSM”

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

韩国研究团队成功开发出可不受时间限制、实现连贯自然语音生成的“SpeechSSM”。

KAIST于3日表示,电气与电子工程学部卢庸万教授研究团队的研究员朴世珍(博士在读)开发出可生成长时间语音的语音语言模型“SpeechSSM”。

近来,语音语言模型(SLM,Spoken Language Model)是一项无需文本、直接学习人类语音以理解和生成语音中语言性与非语言性信息的技术,被视为超越文本语言模型局限的下一代技术而备受关注。但现有模型在需要长时间内容生成的播客、有声书、语音助手等领域局限明显,而此次研究克服了这一问题。

语音语言模型(SLM)不经中间文本转换而直接处理语音,可利用人类说话者特有的声学特性,即便在大规模模型中也能快速生成高质量语音,这是其巨大优势。

然而现有模型若将语音切分得极为细致以容纳非常详细的信息,“语音标记分辨率”便会提高,内存消耗也随之增加,因而难以保持长时间语音在语义和说话者层面的一致性。

为解决这一问题,研究团队开发了采用混合状态空间模型(Hybrid State-Space Model)的语音语言模型“SpeechSSM”,使其能够高效处理和生成长语音序列。

该模型通过将专注于近期信息的“注意力层(attention layer)”与长久记忆整体叙事流(长期语境)的“循环层(recurrent layer)”交错配置的“混合结构”,即便长时间生成语音也不会丢失脉络,能够良好地延续叙事。此外,内存占用与运算量不会随输入长度急剧增加,因而可稳定高效地学习和生成长时间语音。

SpeechSSM将语音数据切分为固定的短单位(窗口),对每个单位独立处理,在生成整段长语音时再重新拼接,从而可轻松生成长语音,有效处理无限长度的语音序列(unbounded speech sequence)。

另外,在语音生成阶段,采用不逐字逐词缓慢生成、而是一次性快速生成多个部分的“非自回归(Non-Autoregressive)”方式的音频合成模型(SoundStorm),从而能够快速生成高质量语音。

以往仅评估约10秒的短语音模型,而研究团队以自主构建的可生成长达16分钟语音的新基准数据集“LibriSpeech-Long”为基础,新设了语音生成评估任务。

相比只能反映语句在语法上是否正确的现有语音模型评估指标PPL(Perplexity),研究团队提出了考察内容随时间是否良好衔接的“SC-L(semantic coherence over time)”、随时间考察自然度的“N-MOS-T(naturalness mean opinion score over time)”等新评估指标,实现了更有效、更精细的评估。

通过新的评估确认,由SpeechSSM语音语言模型生成的语音尽管生成时长很长,初始提示中提到的特定人物仍持续出现,且在语境上连贯的新人物与事件自然展开。这与现有模型在长时间生成时容易丢失主题并出现重复现象形成鲜明对比。

本次研究被确定在国际机器学习顶级权威学会ICML(International Conference on Machine Learning)2025上作口头报告,该机会仅从全部投稿论文中约1%中选出,不仅证明了卓越的研究能力,也有望再次展示KAIST的人工智能研究水平处于世界顶尖行列。

KAIST博士在读生朴世珍表示:“现有语音语言模型在长时间生成方面存在局限,我们的目标是开发可供真实人类使用的、能够长时间生成语音的语音语言模型”,“通过此次研究成果,可在长语境下保持内容连贯,并比现有方式更高效、更快速地实时响应,预计将为多样语音内容制作和语音助手等语音AI领域作出重大贡献。”

该研究由第一作者、KAIST博士在读生朴世珍与谷歌DeepMind(Google DeepMind)合作完成,将于7月16日在ICML(国际机器学习学会)2025上以口头报告形式发表。

阅读韩文原文