CJ奥利芙网络不仅用人工智能(AI)再现了演员的声音,还实现了能配合声音自然呈现媒体角色口型的“会表演的AI演员”。
CJ奥利芙网络11日表示,公司为李庆玉舞蹈团的舞剧《夜之女王》制作提供了虚拟人生成技术——AI语音克隆(Voice Cloning)与唇形生成(Lip Generation)技术。
将于13日前在西江大学Mary Hall上演的《夜之女王》以歌剧《魔笛》为灵感,并结合现代艺术家Mari Kim的媒体艺术,带来全新看点。
CJ奥利芙网络将AI语音克隆技术与唇形生成技术应用于作为《夜之女王》主角出现的媒体艺术角色。AI语音克隆技术是通过AI算法分析个人声音、自动生成犹如本人亲自发声般自然声音的语音合成技术。在学习个人声音后,输入希望发声的文本,即可生成以该声音朗读文本的语音。
唇形生成技术是使音频与影像中人物唇部发声相匹配的AI唇形同步技术。输入人物的影像或图像以及音频后,便可生成与音频同步、仿佛在说话的唇部影像。
CJ奥利芙网络为本次演出的AI语音学习与演员孙淑进行了合作。学习了孙淑声音的AI扮演《夜之女王》主角、复仇化身的女王角色,营造出仿佛演员孙淑亲临现场表演的效果。通过AI语音克隆技术实现的声音不只是单纯发声,还学习了真实演员带有情感的表演语调,使观众能够更加身临其境地欣赏演出。
CJ奥利芙网络相关人士表示:“将一直研发的AI技术从电视剧、综艺等广播内容拓展应用到艺术舞台,并呈现给现场观众,这具有重要意义”,“今后将持续与各类艺术领域合作,推出能让既有艺术舞台更加丰富多彩的技术”。






