2026-03-31 | 실리콘밸리=김창영 특파원

贴合、压缩……对抗HBM的存储器之战[金昌永的硅谷Look]

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

高带宽内存(HBM)之所以席卷半导体市场,是因为“摩尔定律”已不再奏效。摩尔定律是指通过缩小晶体管尺寸,使同一芯片内可容纳的晶体管数量增加一倍,计算性能也提升一倍的理论。此前业界将晶体管缩小至10纳米(1纳米为十亿分之一米)以下,勉强维持着两年周期的摩尔定律,但如今已触及技术极限。通过提高内存带宽(读取和处理内存数据的速度)来提升性能的方式作为替代方案备受关注,由此掀起了HBM热潮。2013年SK海力士(000660)在全球率先成功开发HBM,此后Samsung Electronics(005930)与SK海力士展开技术竞争,最终HBM迎来超级景气期。

但HBM也无法安于现状。因为人工智能(AI)半导体市场为了不让主导权被HBM夺走,已开始加以制衡。AI半导体领军企业英伟达便是代表。两周前在英伟达年度技术大会“GTC 2026”上,最受关注的是面向推理的定制化人工智能(AI)芯片“Grok3 LPU”。Grok3 LPU采用了在内存市场关注度较低的SRAM(静态随机存取存储器)来提升推理速度,因而引人注目。这与通过堆叠多颗DRAM(动态随机存取存储器)提高带宽的搭载HBM芯片处于对立面。对此有解读认为,英伟达把SRAM作为对抗HBM的利器。

由于仅靠晶体管集成已难以推动图形处理器(GPU)、中央处理器(CPU)等AI芯片进步,今后内存技术竞争不可避免。特别是Samsung Electronics、SK海力士主导的HBM,以及与HBM抗衡的新技术预计将展开较量。缩短承担大脑角色的处理器与存储数据的内存之间的距离,或提高内存堆叠层数等技术竞争预计将日趋激烈。

连接晶圆的Cerebras

今年初与OpenAI签订100亿美元(15万1780亿韩元)规模投资协议的Cerebras Systems,被视为开发推理用AI芯片的硅谷有潜力初创企业中的代表。Cerebras最大的特点是不切割晶圆,而是在整片晶圆上同时集成处理器与内存的“晶圆级引擎(Wafer Scale Engine,WSE)”技术。通常做法是切割晶圆制成处理器芯片,并在其周边连接内存等,而Cerebras开发了以片上内存(On chip memory)方式提高通信速度、降低瓶颈现象的技术。

Cerebras也像被英伟达间接收购的Grok一样使用SRAM。SRAM存储容量小,但只要有电源供应就会持续保存所存内容,无需周期性刷新,因此延迟很低。Cerebras在2024年11月曾表示其产品速度达到GPU的75倍,可见SRAM比HBM更便宜、更快,但SRAM的局限在于容量小。Grok3 LPU所用SRAM容量为500MB(兆字节),与英伟达Rubin GPU搭载的288GB HBM相比仅为五百分之一。

根据Cerebras两年前公开的资料,由于其芯片本身尺寸大,使用了比Grok容量更高的44GB SRAM,但仍远不及HBM。针对“如何打破内存带宽壁垒”的问题,Cerebras回答称,通过在单一芯片上集成44GB SRAM,可提供比英伟达H100 GPU高7000倍的内存带宽。同时表示,当AI模型超出单片晶圆内存容量时,可连接多个自家芯片“CS-3”以消除瓶颈。连接4颗芯片,内存容量便可达到176GB。Grok将芯片的70%~80%用低容量SRAM填满,而Cerebras则搭载大容量SRAM,若仍不足则通过连接晶圆芯片来解决问题。Cerebras认为,其技术比Grok快6倍,且无需使用昂贵的英伟达GPU和HBM也能实现推理开发的最优化。

构想数据压缩的谷歌

谷歌公开了通过压缩数据将内存使用量减少至原先六分之一的“TurboQuant”技术。TurboQuant技术早在一年前的论文中就已介绍,但近期因HBM需求爆发带来的供应紧张而成为话题。

TurboQuant通过压缩“KV缓存”——即AI模型记住过去对话内容并用于下一次回答的临时内存——来最大化效率。以记事本为例,其原理是把过去写得很大的字写得紧密,从而腾出余量空间,并在余量空间中存放比原先更多的数据。据谷歌研究介绍,TurboQuant将原本以16比特存储的KV缓存压缩为3比特,因此相比英伟达H100,运算速度最高可提升8倍。

随着TurboQuant被视为今后可能减少HBM需求的技术,HBM制造商股价受到冲击。Cloudflare首席执行官(CEO)马修·普林斯在社交媒体上将TurboQuant技术评价为“谷歌的DeepSeek”,并表示“这显示出在AI推理速度、内存使用、电力消耗等方面还有远为更多的优化空间”。这是在与去年1月中国DeepSeek仅花费不到OpenAI投资成本十分之一的600万美元便推出高性能“R1”、令全球震惊时作比较。

HBM也会登上芯片吗

随着半导体业界提出连接、堆叠、压缩内存以最大限度减少瓶颈的构想,有观察认为HBM制造商也可能推出划时代的技术。目前HBM以12层为主力,堆叠层数可能提高到16层以上,但由于半导体规格限制和技术难度,短期内难以实现。

由于这些制约,有预测认为2~3年后HBM或许也会尝试被放到芯片之上。这可能与Grok、Cerebras通过将SRAM集成到芯片的片上内存技术提升数据处理速度类似的战略。与主打SRAM的初创企业不同,对已成功实现堆叠的HBM制造商而言,把内存放到芯片之上可能更具突破性。

不过这种模式要在GPU、CPU开发商与内存制造商之间的强弱关系彻底反转的情况下才可能实现。因为目前的结构是英伟达推出“Vera Rubin”这类系统后,内存再据此配套供应。要把内存放到芯片之上,需要从设计到封装一体贯通的工序,因此如今依赖台湾台积电的封装格局也必须先发生变化。

阅读韩文原文