KAIST于25日表示,电气与电子工程学部郑明洙教授研究团队(计算机体系结构与存储系统实验室)利用可实现大容量内存扩展的Compute Express Link 3.0技术(CXL·Compute eXpress Link),在世界上首次开发出面向搜索引擎的AI半导体。
近来搜索服务中使用的算法是近似最近邻搜索(ANNS·Approximate Nearest Neighbor Search),任何数据都可以用特征向量表示。特征向量是将数据所具有的各项特征以数字表示并排列而成,通过它们之间的距离,我们可以求得数据之间的相似度。
但由于向量数据容量非常大,此前一直采用将其压缩后装载到内存中的压缩方式,以及使用容量大于内存但速度较慢的存储设备的存储方式(微软正在使用)。然而这两种方式分别存在精度低和性能低的问题。
郑教授研究团队为解决内存扩展受限这一根本问题,关注到名为CXL的技术。CXL是用于CPU与设备间连接的协议,可提供加速器及内存扩展器的高速连接。
此外,通过CXL交换机可将多台内存扩展器连接到一个端口,提供可扩展性。但通过CXL进行内存扩展的缺点是,与本地内存相比内存访问时间增加。
若把数据比作书籍,现有系统由于相当于房屋的CPU大小受限,无法无限扩大书房(内存容量),因此可存放的书籍数量有限。对此,压缩方式是压缩书的内容以存放更多书籍的方法,存储方式则类似于从遥远的图书馆取回所需书籍。通过CXL进行内存扩展,可以理解为在房屋旁建仓库来存放书籍。
研究团队开发的AI半导体(CXL-ANNS)使用CXL交换机和CXL内存扩展器,可将近似最近邻搜索所需的全部数据装载到内存中,从而提高了精度并消除了性能下降。
此外,团队利用近似最近邻搜索的特点,通过近数据处理技术和利用局部性的数据布置技术,将CXL-ANNS的性能再提升一个层次。这类似于仓库自行对所需书籍的内容进行摘要整理后传递,并将常看的书籍放在书房,从而减少往返房屋与仓库的时间。
研究团队自行制作了CXL-ANNS的原型以验证其实效性,并将CXL-ANNS性能与既有研究进行比较。在使用微软、Meta、Yandex等全球IT企业公开的搜索数据集进行的近似最近邻搜索性能比较中,CXL-ANNS较既有研究平均实现111倍的性能提升。特别是与微软已商用服务中使用的方式相比,性能提升达92倍。
郑教授表示:“此次开发的CXL-ANNS解决了既有搜索引擎的内存容量限制问题,并解决了基于CXL的内存扩展在实际应用时产生的内存访问时间延迟问题”,“所提出的基于CXL的内存扩展与近数据处理加速范式,不仅可用于搜索引擎,还可应用于需要大数据的高性能计算、基因搜索、图像处理等多个领域”。
本次研究将以“CXL-ANNS”为名,在今年7月于美国波士顿举行的系统领域最高水平学术会议USENIX年会“USENIX Annual Technical Conference, 2023”上发表。






