随着人工智能(AI)研究日益活跃,几乎每周都会涌现出引人注目的新颖论文。其中今年5月麻省理工学院(MIT)研究团队发表的名为“Speech2Face”的论文,展示了只需听几秒钟人的声音,就能据此找出该人面部特征的惊人能力。因此论文的副标题是“Learning the face behind a voice(学习声音背后的面孔)”。
我们在电话或收音机中虽然看不到对方,但仅凭听声音就能判断出年龄、性别、家乡等已属基本,某些情况下还能推测出那个人的长相。这是因为在生活中不知不觉习得了人的声音与面孔之间的相互关联性,而且实际上口腔结构相似的人可能发出相似的声音,因此这在科学上也并非毫无依据。
MIT研究团队正是着眼于这一点开始了研究。将数秒的声音与面部影像一并作为学习数据,通过深度学习找出特定声音与面部特征之间的关联关系。因此其目标并不是听人的声音后准确推测出该人的面孔,而是呈现发出那样声音的人共有的面部特征。
学习方法也值得关注。整个过程中最困难、最耗时的工作是准备学习所需数据的过程。若采用由人逐一为面孔和声音数据添加标注的方式,要获得足以确立关联性的充分数据实在太过艰难。于是他们采用了名为“自监督学习(self-supervised learning)”的方法,即便没有额外标注,也能从YouTube视频中10万多名不同人物说话的场景中自然获取声音与面部特征之间的关联性。
结果相当有趣。可以确认,不仅是性别、年龄、民族等一般特征,就连方形、圆形或长形等面部结构也能较好地推测出来。当然,结果会受到所用学习数据的影响,因此在少数群体或东方人讲英语等难以确保普遍性的情况下,也会出现不尽如人意的结果。这虽是出于寻找某种倾向性的研究目的而非商用开发,但预计通过后续补充研究会有所改进。正如手机通过表情符号功能生成漫画式角色一样,也可以利用声音数据生成漫画角色;当然由于总会存在例外,过度一般化不可取,但仅凭声音推测罪犯面貌等多种应用都是可能的。
如今AI研究似乎正逐渐成为唯一的界限只在于人类想象力的、具有无限可能性的领域。






