韩国研究团队开发出可解决制约超大规模人工智能(AI)开发的内存不足问题的核心技术。
韩国电子通信研究院(ETRI)9日表示,已开发出新型内存技术“OmniExtend”,可解决超大规模AI训练中最大难题——图形处理器(GPU)的内存限制与数据瓶颈现象。
近期超大规模AI模型和高性能计算(HPC)需求急剧增长,需处理的数据规模也爆发式扩大。但无论GPU性能如何提升,若内存容量不足,运算效率就会急剧下降,这一“内存墙”问题始终是待解课题。
ETRI开发的OmniExtend利用标准网络技术以太网,将多台服务器与加速器各自的内存像一块大容量内存一样共享。该技术把原本分散在各设备上的内存扩展至整个网络,实现了可按需灵活获取AI训练所需内存的架构。
该技术通过最大限度减少数据传输延迟,提升了AI训练速度。无需更换服务器即可扩展内存,还有望降低数据中心的建设与运营成本。既有基于高速串行通信接口(PCIe)的架构在设备间连接距离和系统扩展上存在局限,而新技术OmniExtend利用以太网交换机,可将物理上分散的多台设备整合为一个内存池,被评价为适合超大规模AI环境的高扩展性系统架构。
在实际演示中,成功展示了在以太网环境下多台设备构成共享内存池并实时访问彼此内存的情形。通过利用大规模语言模型(LLM)的运算负载测试,确认OmniExtend架构在实际AI训练环境中也有助于提升性能。在内存容量不足的环境下,LLM推理性能大幅下降,而以以太网为基础扩展内存后,性能恢复至2倍以上。
ETRI今后将以数据中心硬件、软件企业为中心推进该技术的转让。特别是计划应用于AI训练与推理服务器、内存扩展装置、网络交换机等,在下一代AI基础设施市场创造实质性的产业成果。同时还将推进后续研究,把新技术扩展为车辆、船舶等高可靠嵌入式系统的大容量内存连接网络,并完善NPU、GPU、CPU等异构加速器间的内存共享架构。
ETRI超性能计算研究本部长金康浩表示:“今后计划通过新的课题规划,全面扩大以神经网络处理器(NPU)和加速器为中心的内存互连技术研究”,“为使该技术能够应用于全球AI、半导体企业的下一代系统,将持续推进技术升级与国际合作。”






