KAIST研究团队开发出仅凭一段普通视频即可生成用户第一人称视角画面的新型人工智能(AI)模型。该技术有望成为增强现实(AR)、虚拟现实(VR)应用领域的革新性技术。
KAIST金在哲AI研究生院讲席教授周在杰研究团队23日表示,已开发出仅利用观察者视角视频即可精确生成视频中人物实际所见场景的AI模型“EgoX”。
此前,要获得高质量的第一人称视频,用户必须亲自佩戴昂贵的运动相机或智能眼镜。此外,将已拍摄的普通视频(第三方视角,Exocentric video)自然转换为第一人称视角也存在技术限制。
此次技术的特点在于,不只是简单旋转画面,而是综合理解人物的位置与姿态以及周边空间的三维(3D)结构,并在此基础上重构第一人称视角视频。
现有技术多数只能转换静止图像,或需要4台以上摄像机的画面。此外,在光线方向或运动复杂的视频中还存在画面不自然的问题。相比之下,EgoX仅凭一段第三人称视角视频即可生成高质量的第一人称视频。研究团队表示:“通过精确建模人物头部运动与实际视野之间的相关性,成功实现了转头时视野自然切换的逼真效果。”
此次开发的技术不局限于特定环境,在烹饪、运动、作业等各种日常场景中也表现出稳定性能。业界评价认为,这开辟了无需佩戴额外可穿戴设备、即可从已有积累视频中获取高质量第一人称视角数据的新可能。
EgoX今后可应用于多种产业领域。在AR、VR及元宇宙领域,可将普通视频转换为让用户如同亲身体验的沉浸式内容,最大化用户体验。此外,它还可作为机器人观察人类行为进行学习的模仿学习(Imitation Learning)的核心数据,预计将为机器人与AI学习领域作出贡献。另外,还有望实现将体育直播或Vlog转换为运动员或主角视角等新形态影像服务。
讲席教授周在杰表示:“此次研究超越了单纯的影像转换技术,其意义在于人工智能学习并重构了人的‘视野’与‘空间理解’。”他还说:“期待今后将开启任何人仅凭已拍摄视频就能制作和体验沉浸式内容的环境。”他补充道:“KAIST将在生成式AI视频技术领域确保世界级竞争力。”
本次研究由KAIST博士生姜太雄、金基南与首尔大学本科研究生金度贤作为第一作者参与。论文于2025年12月9日在arXiv预先公开,受到包括美国大型科技公司在内的AI产业界和学术界的高度关注。论文还将于6月3日在美国科罗拉多州举行的国际学术会议IEEE/CVPR上正式发表。






