韩国国内一家初创企业开发出可让图形处理器(GPU·Graphics Processing Unit)使用超大容量(最高4PB)内存的技术。
KAIST教员创业企业、韩国国内系统半导体初创企业Panmnesia于27日表示,公司通过学术联合研究,基于下一代互连技术计算快速链接(CXL·Compute eXpress Link)内存接口,将GPU与基于大容量新型内存的内存扩展装置(Memory expander)相连,开发出AI加速系统。
Panmnesia开发的系统在为GPU提供最高4PB可扩展内存的同时,与基于现有PCI Express(PCIe)技术连接大容量内存的系统相比,可将AI模型的训练时间缩短5.3倍。
随着所拥有AI的质量成为左右企业竞争力的要素,全球企业争相扩大模型规模以提高自家AI的准确度。
由此,业界对能够处理TB级以上大规模AI的计算系统关注度日益提高。
然而,作为代表性AI加速装置的GPU受DRAM技术限制,内部内存容量停留在数十GB水平,远不足以支持大规模模型。
为此,现有系统尝试利用存储装置固态硬盘(SSD)扩展GPU内存,但由于SSD随机读取性能较慢以及SSD与GPU间的数据搬运,其性能受到限制。
Panmnesia通过学术联合研究,开发出将通过CXL接口提供大容量内存空间的内存扩展装置与GPU相连的AI加速系统。所开发的系统“TrainingCXL”可将搭载大容量新型内存(New memory)的内存扩展装置与GPU如拼装乐高积木般自由连接,为GPU提供大容量内存空间。
系统的核心是下一代内存接口CXL。CXL是用于系统装置间连接的协议,支持该协议的系统可自由连接CPU、GPU、内存扩展装置等多个装置,同时在装置间高速收发数据。
得益于这些特点,CXL正成为全球大型科技企业的数据中心或高性能计算机为用户应用提供大容量内存的方法。
联合研究团队通过CXL将内存扩展装置与GPU相连,在为GPU提供大容量内存的同时,将装置间数据搬运导致的执行时间延迟降至最低。
特别是此次研究的特点在于,利用CXL协议所定义的多种子协议中的cxl.cache,设计使GPU与内存扩展装置能够主动收发数据。通过cxl.cache实现的主动高速数据搬运,可使数据搬运时间被装置的计算时间所掩盖而不暴露给用户,并消除额外软件介入,从而展现出高性能。
联合研究团队不仅提供大容量内存,还赋予内存扩展装置针对目标应用的处理能力,缩短了执行时间。目标应用是在YouTube、Instagram等服务中为用户推荐合适内容的推荐系统。推荐系统为向每位用户提供合适推荐,将数亿名用户及各项内容的信息(嵌入向量,embedding vector)纳入AI模型,使模型规模达到数十TB。
这一规模是近来备受关注的生成式AI模型ChatGPT的数倍,运行时必须要有大容量内存。研究团队将推荐系统模型的嵌入向量存储在内存扩展装置中,并在内存扩展装置内部搭载了可处理嵌入向量的加速模块。加速模块不仅在模型训练时快速处理嵌入向量,还使系统将经处理后体积变小的向量而非原始嵌入向量传输至GPU,从而减少数据搬运量和时间。若把原始嵌入向量比作巨大的原石,处理后的向量则可比作加工好的戒指。就像要把戒指交给客户时,与把巨大原石全部运到客户附近再加工相比,在原石产地附近将原石加工成戒指后只运送戒指,能够减少运输所需的努力和运输量。
所开发的系统在利用多种推荐系统模型的评测中,与基于现有PCIe技术连接大容量新型内存的最新系统相比,将训练时间缩短5.3倍,显示出成效。TrainingCXL有望为面向大规模AI的下一代系统设计提出利用CXL的方向。
Panmnesia代表郑明洙表示:“为引领作为存储半导体未来增长点的CXL技术、激活相关市场与生态,今后也将持续公开高水准研究成果,并提供相关基础设施,让众多半导体及系统公司都能使用CXL。”
该研究成果发表于国际学术期刊IEEE Micro 3-4月刊,近期还在加拿大蒙特利尔举行的国际顶级学术会议国际高性能计算机体系结构大会(IEEE International Symposium on High-Performance Computer Architecture)研讨会上通过特邀演讲进行了发表。今年5月在美国佛罗里达举行的国际并行与分布式处理研讨会(International Parallel and Distributed Processing Symposium·IPDPS)的工作坊上,也将通过特邀演讲予以介绍。






