Samsung Electronics与SK海力士之间的人工智能(AI)内存竞争,正从单纯的扩大供应和技术升级,扩展到层级结构创新。这是因为仅靠增加高带宽内存(HBM)已无法应对激增的AI数据。企业转而聚焦于以计算快速链接(CXL)为核心的新型内存装置,将其加入现有内存系统,以高效提升AI运算性能。
据业界20日消息,SK海力士(000660)上月开发出“推理层级内存扩展(IMTE)”架构(设计结构)技术并向学界公开。该技术在构成当前AI内存系统的HBM、双倍数据速率内存(DDR)和固态硬盘(SSD)之外,新增“CXL混合内存”,重新构建系统。
SK海力士将原有“HBM→DDR→SSD”的内存层级结构扩展为“HBM→DDR→CXL内存→SSD”,成功将AI推理效率提升35.7%。CXL内存不仅是单纯的容量扩展,还能预先预测HBM和DDR所需的热数据,提前从SSD中取出相应数据并传送至HBM和DDR,使SSD超越单纯的长期存储装置、承担运算辅助角色,从而使CXL内存同时充当“内存枢纽”。
在当前AI内存系统中,HBM和DDR分别存储图形处理器(GPU)和中央处理器(CPU)当下运算所需的热数据。SSD则保管当下不需要的其余大量冷数据。容量小但运行速度快的HBM、容量大但速度慢的SSD,以及兼具两者特性的DDR分工协作。CXL比DDR更易扩展容量,同时可实现不错的速度,因此正作为DDR与SSD之间的新内存层级被纳入。
CXL是高速连接GPU、CPU与DRAM的新型通信技术。HBM和DDR分别直接连接GPU和CPU,因此芯片结构上容量扩展存在极限。必须先增加GPU和CPU,再连接HBM和DDR进行扩充。最终需要增加AI芯片本身,为扩展容量不得不承担低效的成本。
DRAM若不与GPU、CPU直接连接,就存在数据通信速度下降的缺点。这也是HBM和DDR承担高性能内存角色的原因。相反,CXL技术可使DRAM在不直接连接GPU、CPU的情况下,以延迟数百纳秒(十亿分之一秒)的较为顺畅速度运行。因此,采用CXL的DRAM内存可以独立于HBM、DDR,发挥新的内存层级作用。
Samsung Electronics(005930)与SK海力士因此在架构乃至新产品开发上争先布局。Samsung Electronics将在年内量产采用最新版本“CXL 3.2”的“CXL内存模块(CMM-D)3.0”。原基于CXL 3.1开发的产品将通过提前版本升级、以更高规格推出。CXL 3.2尤其首次引入“CXL热页监控单元(CHMU)”功能,被评价为内存优化性能高于此前的3.1。该功能是监控各项数据使用频率、优化多个内存装置间数据流动的核心功能。
Samsung Electronics于2022年业界首推基于CXL 1.1的CMM-D 1.0,2023年推出基于CXL 2.0的CMM-D 2.0,接下来还力争业界首家量产基于CXL 3.2的产品。尤其据悉,第二代相比第一代带宽没有变化,而新产品第三代的带宽将比前一代扩大一倍。由此,CXL内存有望正式切入AI需求。
SK海力士也在准备同级产品的量产。SK海力士未公布具体时间表,但上月在国际展会“HPED 2026”上首次公开采用CXL 3.2的“第二代CMM-DDR5”样品,开始进行销售推广。SK海力士2024年首次推出基于CXL 2.0的第一代产品,去年获得客户认证,展开追赶。美光也在2023年公开CXL 2.0内存后,目前正在开发下一代产品。
与CXL类似,高带宽闪存(HBF)也作为新内存层级的候选被积极开发。正如垂直堆叠DRAM的HBM,HBF是垂直堆叠NAND、同时实现大容量内存与高带宽的技术。SK海力士尤其认为需求将在2030年前后正式增长,正与闪迪携手推进技术标准化。






