一项新技术问世,可像普通相机一样简便、精确地校准事件相机——这种相机能充当高速运动机器人或夜间行驶自动驾驶汽车的“眼睛”。
事件相机是一种视觉传感器,它不像普通相机那样以固定间隔拍摄整个画面,而只把亮度发生变化的位置记录为“事件”。由于每个像素各自记录感知到亮度变化的瞬间,即便在快速运动或黑暗环境中也能很好地捕捉所需信息,因而在高速机器人、自动驾驶、物体追踪、3D扫描等领域备受关注。
要把事件相机用于实际系统,首先需要进行相机校准。在现有的基于帧的相机中,黑白格子交替排列的棋盘格被广泛用作标准校准板。因为把格线交汇处顶点的实际位置与画面中的位置加以比较,就能精确计算镜头畸变和相机内部参数。
但这种方式难以直接套用于事件相机。若只是把事件简单汇集到一个画面上,不同时刻记录的信号会相互重叠,使格线显得模糊;而在作为校准基准点的顶点处,亮度变化相互抵消,几乎不产生事件。因此已有研究一直依赖圆形图案、图像重建、特殊发光设备等,但在同时满足精度与实用性方面存在局限。
蔚山科学技术院(UNIST)人工智能研究生院朱京敦教授团队1日表示,已开发出可利用普通相机校准所用棋盘格来校准事件相机的计算机视觉校准技术。
该研究提出的事件相机校准技术不把事件数据重建为普通图像,而是直接从事件数据本身找出棋盘格顶点。研究团队从数学上分析了事件产生的原理,确认在棋盘格的线上会产生大量事件,而在顶点处事件发生率接近于0。
在此基础上,研究团队首先把异步记录的事件按一个基准时刻对齐,使模糊扩散的格线变得清晰。随后不直接寻找顶点,而是先找出事件多发的线,再把这些线交汇附近事件密度最低的位置校准为顶点。由此实现了比像素级更精细的亚像素级顶点位置估计。
所提出的方法也应用于AprilTag等方形标记的识别。研究团队仅凭事件数据就判别出AprilTag的形状与编号,并确认在部分被遮挡或超出画面的情况下也能找出可见的标记。
本次研究由UNIST人工智能研究生院研究员柳泰勋作为第一作者参与并主导,研究员姜昌佑(UNIST)共同完成。
柳泰勋研究员解释:“现有方式是先把事件相机数据转换成普通黑白图像,再寻找棋盘格顶点,因此在转换过程中可能产生模糊或实际数据中并不存在的痕迹”,“本次技术无需图像转换,可直接从事件相机记录的信号本身找出基准点,从而提高校准精度”。
本次研究的意义在于,用事件数据自身的特性解决了事件相机校准的核心瓶颈——棋盘格顶点检测问题。此前人们认为由于事件相机的特性,难以直接使用棋盘格,而本研究反而把顶点处几乎不产生事件的现象作为寻找基准点的线索加以利用。
所开发的技术无需图像重建过程或额外的发光设备,即可利用棋盘格校准事件相机,从而简化校准流程,并提高与既有相机校准环境的兼容性。预计在把在快速运动和低照度环境中具优势的事件相机应用于机器人、自动驾驶设备、AR/VR设备时,有助于减轻初期校准负担。
此外,该技术还可应用于AprilTag等用于定位识别的标记,有望延伸为基于事件相机的空间感知技术。即使部分标记被遮挡或超出画面,也能找出可见的标记,因而可作为各类系统的基础技术加以利用。
朱京敦教授表示:“精确的相机校准是各种视觉技术的起点,意义重大”,“期待本次研究成为向在真实环境中运行的机器人、自动驾驶、AR·VR系统扩展的基础”。
本次研究被选为计算机视觉领域最顶级国际学术会议“计算机视觉与模式识别会议(CVPR,Computer Vision and Pattern Recognition Conference)”的亮点论文,该会议将于3日起在美国丹佛举行5天。亮点论文由研究的完成度与重要性共同评定选出,仅约占全部投稿论文的3.5%。
本研究获得了韩国研究财团(NRF)推进的“面向异构智能体间可适应三维空间感知的动态事件相机融合传感器包开发”以及信息通信规划评价院(IITP)推进的“人工智能研究生院(UNIST)”“AI Bots协作平台及自组织人工智能技术开发”“基于日常生活所需常识推理并理解新事实的人工智能技术开发”项目的支持。






