无需复杂的初期设置,仅通过简单的文本输入即可实现精密3D动作的技术问世。
UNIST(蔚山科学技术院)人工智能研究生院白承烈教授团队19日表示,已开发出在提示输入框中输入文本即可生成手与物体交互动作的技术(Text2HOI)。该技术以简单的一行文本精密控制手与物体的复杂交互,预计将加快未来3D虚拟现实领域的商用化。
该技术可通过文本指令实现抓取和放下物体的动作以及与物体的交互动作等,可应用于虚拟现实(VR)、机器人、医疗等多个领域,且无需复杂的设置过程,任何人都能轻松使用。
系统分析用户输入的文本,预测与手部动作相关的指令对象的接触点。例如,输入“用双手递苹果”的指令后,会以概率方式计算手与苹果之间可能的接触点。随后在做出拿起苹果的动作时,考虑苹果的大小和形状,调整手的位置与角度,实现细微的手部动作。
该技术可应用于多种产业领域,如模拟医疗手术流程、在游戏和虚拟现实中控制角色动作、虚拟执行复杂的科学实验等。在机器人工程领域,也有望通过精密的手部动作控制实现与机器人的自然交互。
白承烈教授表示:“Text2HOI技术可应用于虚拟现实(VR·AR)、机器人、医疗等多个领域”,“今后也将持续推进有益于社会的研究”。
第一作者车俊旭研究员表示:“希望本研究成为文本提示与手物交互动作生成之间关系的基石,今后能有更多相关研究出现。”
该研究成果已于6月17日在世界级人工智能学会Conference on Computer Vision and Pattern Recognition上在线发表。






