用人工智能(AI)让已故歌手重生,在虚拟现实(VR)中与去世的妻子、丈夫重逢。借助技术力量带来感动的电视节目近来接连引发关注。
去年底在Mnet播出的《AI音乐项目——再一次》中,可以看到13年前去世的组合Turtles队长Turtleman(林成勋)与1990年离世的歌手金贤植分别演唱最新歌曲的画面。节目采用了在将文字转为语音的TTS(文本转语音)方式中输入乐谱信息与嗓音信息值而形成的歌唱合成技术。而要生动再现歌手鼎盛时期的面容、表情乃至口型,则应用了面部编辑(Face Editing)技术。
本月21日公开的MBC纪录片《我又见到了你 第二季》首集中,运用动作捕捉与VR技术,并加入把妻子声音与配音演员合成的语音转换(Voice Conversion)技术,原样再现了妻子生前的模样与声音。将于29日播出的SBS《世纪对决!AI vs 人类》中,1996年离世的金光石也将演唱2002年发表的金范洙的《想见你》。
之所以能在屏幕中如同真的复活一般再现故人生动的面容与嗓音,核心在于几年间急速高端化的人工智能技术。具有代表性的是被称为“生成对抗网络(GAN)”的方式,即合成赝品的神经网络与判别该赝品是否接近真品的神经网络相互竞争、较量,从而产出更好成果的最新技术。
近来成为话题的“歌手AI复原”,正是通过语音合成技术与面部合成技术等应用GAN的技术之间协作实现的。在收集歌手过去的照片、影像资料和嗓音数据后,人工智能经过无数次反复学习,创造出与真实几乎无异的故人形象和声音。利用GAN的优点在于,即便待复原歌手的数据严重不足,也能得出有质量的成果。这也是与以往仅止步于全息影像复原的案例不同、如今能实现逼真生动复原的原因。
就此,Seoul Economic Daily SSUM近期与人工智能技术专家进行了对谈。在Mnet《AI音乐项目——再一次》中以面部编辑技术完美复原Turtleman形象的CJ Olive Networks DT融合研究所所长孙钟秀、研究员李贤基、研究员赵俊求参加了对谈。
? Seoul Economic Daily SSUM ¦ 用AI人工智能实现几乎一模一样的歌手复原的原因(GAN与深度伪造) ? Seoul Economic Daily SSUM ¦ 用AI人工智能实现几乎一模一样的歌手复原的原因(GAN与深度伪造)
Q. 面部编辑是什么样的技术?
——研究员赵俊求:这是本次Mnet音乐项目中运用的技术,即从Turtleman以往的视频中提取面部,并在此基础上生成将出现在新舞台影像中的Turtleman的面部。项目进行了大约两个月。初期先测试Turtleman的面部能生成到何种程度,实际上在两三周时间里投入了大量时间来生成真正用于播出的面部。
——研究员李贤基:原理是拍摄替身演员,只合成面部。要复原对象的面部有表情,一说话表情就会变化。闭眼、皱眉……识别这些并同样再现到口型的方式。本次项目中我们非常努力想把质量做到最高。
——所长孙钟秀:这原本是我们为把图像合成到替身演员脸上的项目而开发的技术,是今年3月播出的一部电视剧。中途CJ ENM表示需要复原Turtleman的面部,我们才紧急参与进来。
Q. 能否说明面部编辑中运用的GAN技术?
——研究员赵俊求:原本基本方式是为一个目标训练深度学习模型,而这里又加了一个模型。即利用原有模型加上另一个模型对该模型进行评价,再重新学习的方式。优点是评价不由人来做,而是交给另一个模型,从而获得质量更好的结果。虽是假数据,但能获得看起来像真的数据,可以说这为数据稀少的领域也能运用深度学习打开了可能性。
——所长孙钟秀:这个GAN技术有两个。一个是制造赝品的家伙,另一个是判别赝品的家伙。制造赝品的家伙会问判别的家伙“像真的吗?”如果说“不像”,就再学习,再问。计算机不断重复这个过程。学习足够充分后,就会达到无法判别它造出的是真还是假的水平。那时学习就结束了。学习充分结束后,它生成的几乎所有图像都能做得像Turtleman。
——研究员李贤基:也出现了用这种GAN技术的人工智能创作音乐或美术作品,拿去拍卖并高价成交的案例。也就是说,学习人创作的音乐或人画的作品,再在此基础上创作。谷歌也有名为Deep Dream的AI画家,质量还不错。不过会有一种似曾见过的感觉。
Q. 作业过程中最困难的时刻是什么时候?
——研究员赵俊求:Turtleman去世已经比较久了,留下的影像素材和面部数据本身画质很低,因此收集具备可播出质量的面部数据最为困难。另外,生成面部之后,要不断生成完美的Turtleman面容,直到人们看了觉得“真像”、给出还不错的评价,这个过程本身也很困难。
Q. 播出后成为话题,内部反应也令人好奇。
——研究员李贤基:首先,国内电视节目中运用人工智能制作内容的案例几乎没有,因此打造出新型节目内容本身就有很大意义。而能运用人工智能技术给观众带来感动,我认为也非常有意义。
Q. 很多人反应说希望复原其他歌手来看看。可行吗?
——研究员赵俊求:比如有些人是很久以前去世的。那些人的数据本身条件非常差,所以要把质量提升到我们想要的程度,恐怕还需要更多技巧。毕竟消费这类内容的是粉丝,而粉丝对明星的模样记得非常清楚。要做出不损害他们记忆的质量,目前在技术上还存在局限。
已故金成宰(Deux)
Q. 也有很多人反应说人工智能的水平如今令人害怕。您怎么看?
——所长孙钟秀:这项技术在社会上以“深度伪造”之名广为人知。我们做的面部编辑是在现有深度伪造技术基础上稍加发展而成的模型。外界认知并不太好。由于这是涉及许多社会议题、伦理议题的技术,所以是非常需要谨慎对待的技术。因此我们考虑的也不是做出会成为社会争议的技术,而是努力把它应用到更有助于日常生活、更有人性的方向。用得不好可以害人,我认为讨论应聚焦在如何用好它。
——研究员李贤基:国内外都在积极研究检测深度伪造等虚假面部的技术,社会层面也随着“深度伪造处罚法”的制定而逐步完善。我们也在思考如何结合区块链技术,以防止合成影像被非法使用。
——研究员赵俊求:像人一样的人工智能终究是人造出来的。能造出它,是因为人理解了人本身,我认为这样的人工智能才会出现。原本人并不太了解人。今后若人工智能更加发达,那就是人了解了人的时代,我想还会到来另一个我们现在无法想象的时代。
Q. 感觉这几年人工智能与日常更近了,原因是什么?
Q. 如果人工智能高度发达,会到来什么样的世界?
Q. 尽管如此,人工智能无法替代的人类领域是什么?
(详细内容可通过视频收看。)
/记者 姜信友 seen@sedaily.com






