KAIST于29日表示,由电气及电子工程学院柳会峻教授领导的PIM半导体设计研究中心(AI-PIM)开发出获得知名学界认可的5种最尖端人工智能半导体知识产权(IP)。
其中代表性的是,通过深度神经网络推理技术及传感器融合技术,从照片中提取三维空间信息并识别、处理物体的人工智能(AI)芯片,这是KAIST在全球率先开发,并将SRAM PIM系统所需技术知识产权(IP)化的成果。
传感器融合指的是结合摄像头、距离传感器等各种传感器获得的数据,从而得到更准确数据的方式;SRAM PIM指的是在现有存储器SRAM与DRAM中,将运算器与SRAM结合的PIM半导体。
KAIST PIM半导体设计研究中心已确保包括该IP在内的ADC(Analog to Digital Converter)、PLL(Phase-Locked Loop)等共5种PIM IP,并于28日开通网站,提供可供研究人员共享的环境。
现有的物体识别人工智能半导体只是识别照片一类二维信息的“照片识别技术”。但现实世界中的物体是三维结构物,只有利用三维空间信息才能实现准确的“物体识别”。
三维空间信息是在照片这类二维信息中加入距离信息,从而表现实际三维空间,是在三维空间信息中识别物体并追踪该物体位置及角度的三维物体识别技术。这是自动驾驶、自动化技术、个人用增强现实(AR)与虚拟现实(VR)等3D应用中使用的核心技术。
利用现有ToF传感器提取传感器视野内所有物体的精密三维信息,耗电量非常大,因此难以在智能手机、平板电脑等基于电池的移动设备上使用。
此外,ToF传感器还存在特定测量环境下三维信息丢失的问题,以及数据预处理过程耗时较多的问题。
三维物体识别技术数据复杂,难以用现有人工智能二维照片识别加速处理器处理。其存储器访问量会随着如何选择和分组三维点云数据而变化。
因此,基于三维点云的人工智能推理无法仅凭软件在运算能力有限、存储器较小的移动设备上实现。
研究团队使用摄像头与低功耗距离传感器(64像素)生成三维空间信息,并开发出在移动端也能实现三维应用的半导体(DSPU·Depth Signal Processing Unit),从而拓宽了人工智能半导体的应用范围。
在移动设备上运行利用低功耗传感器的三维信息处理系统,同时加速实时深度神经网络推理与传感器融合技术,需要多种核心技术。应用了人工智能核心技术的DSPU,相比仅依赖ToF传感器的三维物体识别加速器半导体,功耗降低63.4%,延迟时间降低53.6%。
PIM半导体设计研究中心(AI-PIM)主任柳会峻教授在说明研究意义时表示:“本次研究将低价距离传感器与摄像头融合、实现三维数据处理的人工智能半导体进行了IP化,意义重大”,“将大幅拓宽移动设备上人工智能的应用领域,期待在多种领域的应用及技术转让。”






