CCTV等从外部拍摄人类行为的影像,正成为训练物理人工智能(AI)的核心数据。因为直接操控机器人来收集训练数据需要耗费大量时间和成本。利用人类活动及处理物体的各类影像,有望快速扩充匮乏的机器人训练数据。尤其是构建多视角数据集可提前推动物理AI商用化的期待也在升温。
19日据学界消息,中国北京大学周大权教授研究团队构建了总时长达100万小时的物理AI训练用影像数据集“HumanNet”,并于今年5月发表了相关研究成果论文。
HumanNet的特点是整合了如实呈现作业者视野的第一人称影像与从外部观察人类行为的第三人称影像。在实现物理AI方面,第一人称视角与第三方视角影像的作用不同。佩戴摄像头的作业者拍摄的第一人称影像,擅长细致展现手与物体如何接触、以何种顺序作业等。而第三人称影像则不仅能观察人的全身动作与姿态,还能观察其与周围人、物的关系以及空间脉络。研究人员认为,结合两种视角可以更立体地学习人类行为。
北京大学研究团队开发了可将从第三方视角影像中提取的人体3D姿态直观转换为人形机器人控制信号的技术。实验结果显示,用1000小时HumanNet影像预训练的物理AI模型,性能优于用100小时真实机器人数据训练的AI模型。这相当于证明,通过机器人远程操控进行的、耗费巨额成本和时间的数据收集,可在相当程度上由影像数据替代。
更进一步,韩国国内还出现了将第三人称视角影像转换为第一人称视角的技术。韩国科学技术院(KAIST)金在哲AI研究生院朱在杰教授研究团队开发出仅利用观察者视角影像、即可精确生成影像中人物实际可能看到的画面的AI模型“EgoX”。其特点是通过精确建模人物动作与实际视野之间的相关性,真实再现了转头时视野自然切换的情形。
海外大型科技公司也在利用各类影像提升AI模型性能。英伟达将大规模人类活动影像数据用于机器人训练。谷歌也在利用海量YouTube影像,推动升级为能够理解物理世界的AI模型。






