仅凭眼神就能操控机器人的智能隐形眼镜在韩国国内研发成功。预计将作为取代笨重复杂的现有扩展现实(XR)设备的下一代超轻量XR界面技术加以应用。
UNIST机械工程系郑任斗教授(兼任人工智能研究生院)研究团队15日表示,已开发出可远程控制机械臂的智能隐形眼镜。核心在于将把极小传感器直接印刷到镜片上的特殊技术,与把传感器低分辨率信号复原为高分辨率的人工智能(AI)技术相结合。
研究团队开发的镜片上集成了100个(10x10)光检测传感器。其工作原理是,这些传感器读取眼球每次转动时变化的光分布,从而追踪视线方向。镜片不仅能区分上、下、左、右,还能区分对角线方向,这些视线信息传递给机械臂后驱动手臂运动。眨眼时还可抓取物品。
研究团队还开发了可在圆形镜片表面直接印刷传感器的“弯月面像素打印(MPP)”技术。该技术的核心是将凝结在喷嘴尖端的传感器原料墨水一点一点点印到镜片表面。弯月面指液体凸起或凹陷的曲面,得益于该曲面,墨水排出的力与阻止墨水扩散的力达到平衡,从而能按所需量印出墨水。墨水干燥后仅留下可感知光的钙钛矿物质,起到传感器作用。
这一新技术与一般传感器制作不同,无需用于刻画传感器图案的掩膜,并可根据各种眼球曲率印刷传感器,因而具备可制作个人定制镜片的优点。
因镜片空间狭小导致信号分辨率下降的问题则通过AI技术解决。实际上只有100个传感器,但通过应用基于深度学习的超分辨率技术,获得了相当于最多6400个(80x80)传感器的信号数据。重构所需时间也仅为0.03秒,信息可以接近实时的水平传递给机械臂。
在利用眼球模型的实验中,研究团队仅凭眼球运动完成了抓取并移动物体的动作,方向识别准确率达到99.3%。
研究团队解释称:“这是通过将硬件工艺创新与基于AI的信号复原软件技术相结合,克服镜片这一超小型形态因素空间限制的技术。”郑任斗教授表示:“证明了无需单独控制器、可将人的视觉信息直接转换为机器人控制信号的高级人机交互(HRI)系统的实现可能性”,“今后在基于增强现实的工业机器人远程控制、灾难灾害环境中的探测机器人运用、国防领域的无人系统及无人机操控、医疗与康复支援系统、智能出行界面等多个领域具有扩展潜力”。
另外,本次研究由UNIST机械工程系研究员孔炳勋、金道贤作为第一作者参与,并获得韩国科学技术情报通信部韩国研究基金会、信息通信规划评价院及韩国产业通商资源部技术开发事业的支持。研究成果已于3月11日发表在材料科学领域世界级学术期刊《先进功能材料》(Advanced Functional Materials),并将入选最新一期的封面论文。






