一项人工智能(AI)技术问世,可用人的语言和文字自由检索、编辑机器人所见的三维世界或增强现实(AR)虚拟空间中的物体。只要以文本输入想要的物体,AI便会在3D复原空间中自动找出该物体的位置与边界。此次技术开发大幅降低了内存消耗、提升了处理速度,有望增强机器人的实时空间识别能力,并使AR、VR内容制作环境更加便利。
蔚山科学技术院(UNIST)人工智能研究生院朱京敦教授研究团队8日表示,已开发出基于用户输入的各种词语或句子在3D空间中找出目标的“开放词汇3D空间识别技术”——“LightSplat”。此次研究成果被计算机视觉领域最高权威学术会议“CVPR 2026”录用,并于本月初在美国丹佛发表。
现有的机器人或增强现实技术,是将摄像头拍摄的2D图像转换为具有位置、颜色、透明度信息的微小点粒子“高斯”的集合体,从而复原3D空间。近来,不仅识别预设类别的物体,还能识别人的自然语言以查找物体的“开放词汇3D空间识别”研究日趋活跃。
然而,现有技术必须为每一个点粒子直接存储长串数字形式的高维语言特征值,内存消耗极为严重。此外,在将2D图像反复对齐到3D空间的过程中耗时较长,且存在物体边界模糊的局限。
研究团队开发的LightSplat通过为3D空间中的每个点粒子仅赋予2字节的短索引(编号)而非长数据,解决了这一问题。实际物体的语义信息被单独存储在一张表(映射结构)中,仅在需要时通过索引查找,从而与现有开放词汇3D空间识别技术相比,将内存使用量大幅降至六十四分之一。
在速度方面也取得了压倒性成果。将语义信息与3D高斯相连、使其可用人类自然语言检索的“语义注入时间”缩短至约5秒(4.2~4.8秒)左右。与现有最新技术短则4分钟、长则100分钟相比,速度快约50倍至最多400倍。
研究团队在赋予索引时,只挑选对表现实际物体贡献度高的点,并应用将分散于多张图像中的同一物体信息归并为一体的“3D聚类”工序。通过这一转换过程,用户发出查询时无需与数亿个点粒子逐一比对,而只与已在语义上归并的“对象级聚类”比对,从而提升推理速度并清晰保持物体边界。
尽管LightSplat大幅改善了内存与速度,其识别精度仍超越现有技术。在利用多个数据集(LERF-OVS、DL3DV-OVS)的实验中,从拉面上的鸡蛋、玻璃杯中的茶等小尺寸目标,到远处的汽车、办公室内布置复杂的家具,均被清晰区分。在利用室内空间学术数据集ScanNet的3D语义分割实验中,19个分类标准下mIoU(预测区域与正确区域的一致度)达37.11,每次查询的推理时间仅为0.002秒。
第一作者方在勋研究员解释称:“要将开放词汇3D物体识别技术应用于实际产业环境,不仅需要精度,速度与内存效率也必不可少”,“此次研究同时具备这三大要素,是有意义的成果”。
朱京敦教授表示期待:“该技术将广泛应用于以人机交互为核心、用人的语言下达指令即刻执行任务的机器人开发,以及用文本直接指定并编辑虚拟空间对象的AR、VR内容制作,还有以自然语言探索、管理复杂工厂或产业现场设备的数字孪生技术等领域。”
另外,此次研究得到了韩国科学技术情报通信部与信息通信规划评价院(IITP)的人工智能研究生院支援项目(UNIST)、AI Star Fellowship、LG AI STAR人才培养项目、科技信通部InnoCORE项目等的支持。






