2026-08-25 | 실리콘밸리=김창영 특파원

何必堆到20层?针对HBM的尖锐提问得到的答案是[金昌永的硅谷观察]

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

当地时间23日,美国加利福尼亚州帕洛阿尔托的斯坦福大学纪念礼堂。当天为半导体学术研讨会“Hot Chips 2026”揭幕的企业,是主导高带宽内存(HBM)市场的三大存储厂商。挤满会场的参会者从上午9时30分起,用约1小时40分钟聆听了按美光、Samsung Electronics(005930)、SK海力士顺序进行的主题演讲。每家公司主题演讲结束时,都有五六人在立式话筒前排队提问,加之线上提问如潮水般涌来,主持人只能接受两三个问题。这场活动印证了外界对引领人工智能(AI)产业的存储芯片的高度关注。

如果说3周前在全球最大存储与储存行业活动“FMS 2026”上三家存储企业展示了突破存储瓶颈的新技术,那么Hot Chips则是更专业、更学术地阐释技术的场合。为缓解存储瓶颈,存储企业正把三维(3D)堆叠、混合键合(芯片之间不用中介材料,直接连接金属焊盘)技术作为突破口。

HBM通过将多颗DRAM存储芯片堆叠起来提高带宽,从而提升图形处理器(GPU)等AI处理器的运算速度。目前主力HBM的堆叠层数为8层、12层,但Samsung Electronics与SK海力士正在钻研堆叠16层、20层以上的技术。参会者连连发出尖锐提问,追问为何要在承受发热问题的前提下提高堆叠层数、是否存在可预见的问题。各公司的主题演讲分别由Samsung Electronics存储事业部DRAM设计团队技术负责人(TL)韩相旭、SK海力士美国公司副总裁李在植、美光院士拉古·斯里拉马内尼担任。以下整理了主要问题及三家存储企业主题演讲人的回答。

问:单颗DRAM的带宽(每秒数据传输量)达到每平方厘米约20太字节(TB)。演讲中提到要把HBM存储堆叠到20层。厚度会比HBM4增加一倍,但可以计算出每颗存储的处理量大幅降至4TB左右。堆叠20颗后,带宽大幅减少到20分之4,即20%。这种做法是正确的选择吗?为什么把重点放在堆得更高而不是跑得更快?HBM与DDR(双倍数据速率DRAM)或LPDDR(低功耗DRAM)相比,还要占用更多设备产能。堆到20层后,平均速度也比DDR5慢。为什么认为使用HBM堆叠高度比在周边智能地配置廉价存储更好?

▷SK海力士:应基于训练和推理的需求来寻找答案。也有人这样说:存在工作负载(业务处理量)突然增加、需要高带宽的情形。他们希望只把KV缓存(为加快运算,对已完成的运算不再重复,而分散存放在短期记忆装置中)放在带宽非常高的存储上,然后再配置LPDDR这类较低带宽的存储。我认为这就是我们必须做出的全部架构(结构设计)决策。在训练方面,有些任务需要高得多的带宽,不仅是容量,工作负载上也需要更多处理。因此我们才朝这个方向走。特别是在推理工作负载上,客户也希望我们开发高密度的高带宽存储。除此之外(在处理完高工作负载后),其他任务可以分散到LPDDR等其他存储上。这个问题今后仍需继续思考。

问:您认为HBM堆叠的极限在哪里?无法再往上堆的层数是多少,是因为什么问题?是发热问题,还是其他因素?

▷美光:从技术上看,能把DRAM做到多薄,决定了能解决多少问题。堆叠DRAM时若不想影响质量,就必须考虑热的问题。因为每增加一层,在发热与散热方面都会形成壁垒。堆叠层数越多,在热处理和机械问题方面需要解决的课题就越多。目前有很好的方案走到16层,目标或许是20层以上。16层之后,要实现更高堆叠还有很多问题有待解决。

问:您说明了每1吉字节(GB)制造HBM3E时使用的硅(晶圆)消耗量是DDR5的3倍。即使应用新技术,这一比例会维持吗?数字会变好还是变差?

▷美光:这个数字其实是比较旧的版本。它并不能支撑未来的数据,但肯定不会变好。要进一步提高带宽、提高并行处理量、加大裸片尺寸、提高堆叠高度,存在许多挑战。唯一让它变好的方法是降低性能预期,但那是不可能的。必须改变图表上呈现的曲线走势,但我们目前还没有找到办法。

问:您说在性能方面发热问题会越来越重要。打算如何解决发热问题?

▷美光:可以把所有问题列成清单,各方分工承担。这包括从冷却方案到排出更多热量的方法。为降低热阻,许多创新正在推进。混合键合也会有帮助。我们对热如何流动的理解也在不断提升。理解得更好,就能据此进行设计。在芯片设计方面,我们也希望找到降低功率密度的方法。管理功率密度极高、热量集中的热点非常重要。因此在封装与冷却技术方面,必须从多维度探讨如何更高效地管理。设计人员正从材料科学或物理设计的角度努力降低热阻。从根本角度看,还有如何规划功率密度的问题。在基础设计阶段考虑热因素的布局规划正变得越来越重要。

阅读韩文原文