仅凭眼神就能操控机器人的智能隐形眼镜问世。原理是佩戴镜片后转动眼球,机器人手臂便随视线方向移动。这项技术作为可替代笨重复杂的现有扩展现实(XR)设备的下一代人机接口技术,受到广泛关注。
蔚山科学技术院(UNIST)机械工程系郑任斗教授(兼任人工智能研究生院)研究团队15日表示,通过将把传感器直接印刷在镜片上的特殊技术与把低分辨率信号复原为高分辨率的人工智能(AI)技术相结合,开发出可远程控制机器人手臂的智能隐形眼镜。
该镜片上集成了100个(10x10)光检测传感器。传感器读取眼球每次移动时变化的光分布,从而追踪视线方向。不仅上下左右,连对角线方向都能精确区分并传递给机器人手臂,仅靠眨眼动作即可抓起物品。
研究团队为在弧形镜片表面直接印刷传感器,自主开发并应用了“弯月面像素印刷(MPP)”技术。该方式是把凝结在喷嘴末端的传感器原料墨水微细地印到镜片表面,利用表示液体凸面或凹面的弯月面现象,精细控制墨水的排出与扩散。墨水干燥后仅留下可感知光的钙钛矿物质,从而作为完整的传感器发挥作用。
与现有传感器制作不同,该技术无需用于刻画图案的掩模,并可按不同眼球曲率进行印刷,非常有利于制作个人定制型镜片。
因超小型镜片空间限制而产生的信号分辨率下降问题,通过基于深度学习的超分辨率AI技术得以克服。实际搭载的传感器为100个,但经过AI处理可获得相当于最多6400个(80x80)传感器工作的高质量信号数据。信号重构所需时间仅为0.03秒,可实时级别地流畅控制机器人手臂。
利用实际眼球模型的实验结果显示,仅凭眼球移动即成功完成抓取并搬移物体的动作,方向识别准确率达99.3%。
本次研究由UNIST机械工程系研究员孔炳勋、金道贤作为第一作者参与。研究团队解释称:“这是将硬件工艺创新与基于AI的信号复原软件技术相结合,克服了镜片这一超小型形态因素空间限制的技术。”
主导研究的郑任斗教授表示:“证明了无需另设控制器,即可将人的视觉信息直接转换为机器人控制信号的高度化人机交互(Human-Robot Interaction, HRI)系统的实现可能性”,“作为下一代超轻型XR接口装置,仅凭眼球移动就能精密控制各种电子设备,因此具备扩展到基于增强现实的工业机器人远程控制、灾难灾害环境下的探测机器人运用、国防领域无人系统及无人机操控、医疗与康复支援系统、智能出行接口等多个领域的潜力。”
另一方面,本次研究在韩国科学技术情报通信部、韩国研究财团、信息通信规划评价院、韩国产业通商资源部的支持下完成。研究成果发表于材料科学领域国际权威学术期刊《先进功能材料》(Advanced Functional Materials)3月11日刊,并被选为最新一期的封面论文即将出版。






