2026-07-19 | 김윤수 기자

CXL性价比与推理效率双超HBM…“两年后市场将暴增7倍”

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

Samsung Electronics与SK海力士通过开发计算快速链接(CXL)内存,最终瞄准的是新的“内存层级”扩展。目前存储人工智能(AI)数据的高带宽内存(HBM)与双倍数据速率内存(DDR)正面临容量极限。HBM与DDR不仅供应短缺,即便有库存,由于二者分别直接搭载于图形处理器(GPU)和中央处理器(CPU)的AI芯片结构,也难以自由增加。也就是说,物理上可连接至GPU、CPU的数量有限,要想增加HBM、DDR,必须先增加GPU和CPU本身。这种情况下成本负担会急剧上升。

相反,CXL内存构成与HBM、DDR相互独立的内存装置,即新的内存层级,能以相对低廉的成本扩大容量。虽然不像HBM、DDR那样与GPU、CPU直接相连会导致数据通信速度下降,但被称为“数据高速公路”的通信新技术CXL弥补了这一点。即便DRAM不与GPU、CPU直接相连而是额外添加,也能以延迟数百纳秒(十亿分之一秒)的较为顺畅的速度辅助运算。为此,两家公司不仅开发新产品,还在全方位推进能将其与既有内存层级有机结合、产生协同效应的架构(设计结构)开发。

据业界消息,SK海力士(000660)上月开发出“推理层级内存扩展(IMTE)”架构技术并向学界公开。据介绍,该技术在HBM、DDR与固态硬盘(SSD)之间加入“CXL混合内存”,并设计为彼此产生协同效应,成功将AI推理效率比此前提升35.7%。

目前AI内存系统具有“HBM→DDR→SSD”的层级结构。HBM和DDR分别存储GPU和CPU当下运算所需的“热数据”。当下不需要的其余大量“冷数据”则由SSD长期保管。HBM单颗容量为数十至数百GB(千兆字节),容量小但运行速度快。DDR为数TB(太字节),SSD为数十TB,容量越大,速度则越慢。

CXL内存拥有数TB至数十TB容量和相对较快的速度,呈现出介于DDR与SSD之间的特性。因此SK海力士的架构将内存层级结构扩展为“HBM→DDR→CXL内存→SSD”。尤其该架构不仅将CXL内存用于单纯扩大容量,还将其用作有机连接HBM、DDR与SSD的枢纽。其方式是:CXL内存预先预测HBM和DDR所需的热数据,提前从SSD取出相应数据并传递给HBM和DDR,从而帮助SSD超越单纯的长期存储装置,承担运算辅助角色。

Samsung Electronics(005930)也于本月9日通过CXL技术白皮书展示了优化技术。Samsung Electronics介绍称,CXL 2.0内存(CMM-D 2.0)可实现接近最新DDR产品DDR5的92%水平的AI推理性能。CXL内存在容量扩展上比DDR更有利,但运行速度难免下降,而通过优化技术克服了这一弱点。Samsung Electronics还与SK海力士的CXL混合内存类似,正在开发将CXL不仅应用于DRAM、也应用于NAND的“CMM-混合(H)”等产品。美光同样在2023年公开CXL 2.0内存产品“CZ120”后,目前据悉也在内部加快开发基于CXL 3.1或3.2 R的新产品。

随着全球内存企业为抢占主导权的开发竞争日趋激烈,市场调查机构Yole Group预测,CXL市场规模将从今年的21亿美元(约3万亿韩元)增长至2028年的158亿美元(约23.5万亿韩元),增幅超过652%。

随着AI数据暴增,类似CXL的内存层级扩展动向也在加速。全球投资银行高盛预计,全球月度AI代币(token)使用量将从今年的5000万亿个激增至2030年的12亿亿个,增长24倍。每个token通常占4个英文字母,即4B(字节)的容量。AI芯片为驱动最新大语言模型(LLM)所需的容量已膨胀至数十TB水平。崔泰源,SK会长近期在SK海力士纳斯达克上市纪念记者恳谈会上也曾表示:“AI使用越多,token使用量就会大幅增加,这意味着存储运算结果的KV缓存会不断变大。”

业界相关人士表示:“CXL内存虽仍处于商用化初期阶段,但与HBM一样,客户随时可能需要,因此供应商正提前开发技术以备竞争。”英伟达、英特尔、AMD等主要科技巨头也在下半年将推出的新型芯片“Vera Rubin”等产品上支持CXL内存兼容,以应对范式变化。微软(MS)去年底还试验性推出了搭载CXL内存、提高服务器效率的首个云服务。

在与CXL类似的脉络下,高带宽闪存(HBF)也作为新的内存层级候选被积极开发。如同垂直堆叠DRAM的HBM,HBF是垂直堆叠NAND以同时获得大容量内存和高带宽的技术。尤其SK海力士预计2030年前后需求将正式增加,正与闪迪携手推进技术标准化。

英伟达计划在下一代产品线“Vera Rubin”中首次引入基于NAND的新内存层级“推理内存扩展(CMX)”。Groq语言处理器(LPU)、谷歌张量处理器(TPU)等科技巨头近期推出的AI芯片,也大幅增加了比DRAM更快的SRAM容量,显示出将其确保为新内存层级的动向。

阅读韩文原文