2026-06-18 | 울산=장지승 기자

“连讽刺语气都能听出并瞬间改变表情”…UNIST开发创新AI技术

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

人工智能(AI)已能识别“做得好”这样一句短语中赞扬与讽刺之间微妙的语气差异,并据此逼真地改变视频中说话者的表情,相关技术已被开发出来。

蔚山科学技术院(UNIST)人工智能研究生院金泰焕教授团队18日表示,已开发出能够从语音信号中提取情感、无需额外参考图像即可转换视频中说话者表情的人工智能模块“C-MET(Cross-Modal Emotion Transfer)”。

此前,说话人脸合成技术一直被视为虚拟人和数字虚拟形象制作的核心。但现有技术要么采用将情感规定为“喜悦”“悲伤”等并进行学习的标签(Label)方式,要么需要另外提供展现目标情感的高质量参考照片。特别是在以语音为基础时,存在话语内容与情感信号相互混杂的局限,因此像“讽刺表情(Sarcasm)”这类未包含在训练数据中的非典型情感表达,实际上几乎无法实现。

研究团队推出的C-MET是一项连接语音与视频这两种不同形态信息(模态)的技术。该技术将中性语音与带情感语音之间的差异计算为“向量(包含变化方向与大小的数字信息)”,并设计让AI学习这一语音情感变化向量如何转化为面部表情的变化。

由此可以只提取与话语内容或口型信息相分离的纯粹情感信号,并将其迁移到面部表情空间。即便是同一句话,只要语气不同,嘴角、眉毛、眼周的动作也会被精细地加以控制而产生差异。

尤其是,由于其并非从既定情感列表中选择其一,而是追踪两种情感之间的变化量,因此能够挖掘出讽刺、共情、领袖气质等在学习过程中未直接接触过的微妙情感。即使没有高质量参考照片,只要有语音,就能在保持原说话者面部特征和头部动作的同时自然地改变表情,这一点也十分突出。

出色的通用性也是其优势。C-MET并非专用于特定生成模型,而是被开发为可像零件一样插入使用的“插件”式轻量模块。只需将现有说话人脸生成AI中沉重的表情编码器替换为C-MET,无需额外重新训练即可提升性能。

实际将C-MET应用于最新模型“EDTalk”的实验结果显示,情感表达准确率由原先的41.99%大幅提升至55.91%,提高约14个百分点。在另一模型“PD-FGC”中,情感准确率也从33.36%提高到36.82%,且两个模型的推理速度均明显缩短。

金泰焕教授表示:“本次研究在无需参考图像、仅凭语音即可改变面部影像情感这一点上,切实解决了现有方式的局限”,并说明称“这是一项可广泛应用于虚拟人制作、影视与内容后期制作、情感识别AI等多个领域的基础技术”。

本次研究成果由UNIST人工智能研究生院硕士生崔灿赫作为第一作者参与,已被人工智能及计算机视觉领域全球最权威的国际学术会议“CVPR(Computer Vision and Pattern Recognition)2026”录用。相关代码和演示视频等可通过研究团队项目页面查看。

阅读韩文原文