关注信息技术(IT)市场的各位读者,大家好。随着人工智能(AI)时代开启,半导体的形态与性能也在发生极为多样的变化。DRAM结构同样在千变万化。代表性产品就是高带宽内存(HBM)。
上一篇中,我们介绍了迎来剧变时代的Samsung Electronics存储事业部正在准备的下一代DRAM——LLW与GDDR。今天要谈的是Samsung Electronics磨刀霍霍准备的三种存储中的最后一种"HBM-PIM"。内容基于Samsung Electronics在2月于美国举行的全球半导体设计学会"ISSCC 2024"上的发布整理而成。
我们现在对HBM是什么已经非常了解了。就是把DRAM层层堆叠,并通过硅通孔(TSV)打出1024个信息传输通道(I/O)加以结合的芯片。这种芯片是被安放在图形处理器(GPU)或AI半导体正旁边的存储器。其I/O数量比现有图形用(GDDR)DRAM多出32倍,带宽大,运算装置与存储器之间的距离也相当近。在数据暴增的时代,它非常适合作为需要高速辅助运算的AI时代存储器。AI工程人员甚至把HBM称作"绿洲"。
然而问题并未就此结束。即便有连接现今GPU与HBM的这1024个I/O,瓶颈现象依然未能解决。无论GPU性能如何提升,HBM容量与I/O速度如何加大,连接它们的道路上的交通堵塞终究难以轻易化解,渴求得不到满足。从物理上继续增加I/O数量也实在不易,HBM的面积只会越来越大。与此同时,AI所需的数据量更是爆发式增长,人们又希望AI的速度更快。
于是工程人员开始构想除I/O相关作业之外,直接对HBM基本结构动刀的方法。这就是HBM-PIM(存内处理)的基本结构。
存内处理,顾名思义就是"在存储器内部也进行运算这一概念的芯片"。
再具体一点看?HBM中的每个DRAM内部都有称为"Bank"的部分。Bank指的是把存储比特的记忆盒(单元)按一定单位捆在一起。若以军队来比喻,相当于"师"级部队。HBM-PIM的概念就是在每个Bank上各配置一个在GPU内部处理数据的"算术逻辑单元(ALU·Arithmetic and Logic Unit)"。
那么再把GPU与HBM-PIM放在一起看,运算的大致顺序如下。
①GPU向HBM-PIM输入"我运算时需要这些那些"这样的input。
②配置在各Bank上的ALU开始运算。
③没有PIM装置时,HBM是把看起来运算需要的各种参数一股脑抛给(推给)GPU;而HBM-PIM会在Bank内筛选参数,或直接利用它们完成运算。
④只把GPU真正需要的参数过滤后传递,或者由这个ALU生成全新巧妙而又有助于运算的结果值传给GPU。原本拥堵的传输通道的交通堵塞自然得以缓解。
总结起来,这种结构与我们的公司、组织生活相似。通常上级不会从头到尾亲自调查工作所需资料,而是听取各部门员工筛选整理后的结果再做决策。可以把HBM-PIM中的ALU看作公司里非常能干的员工。
AI运算大致分为对数据进行训练(Training)的阶段与推理(Inference)的阶段,而在推理阶段中,又有新生成某些内容(Generative)或识别、对数据进行分类与判别(Discriminative)的环节。
把HBM-PIM应用到近来流行的AI、尤其是生成式AI领域的话,据说特别是在推理阶段中把运算结果值呈现给用户的"生成"环节,瓶颈现象会明显减少。
再举一个更贴近的例子。大家用过ChatGPT的不少吧。如果各位读者向ChatGPT提问,ChatGPT会有怎样的反应呢?它会一个词一个词、间隔着给出回答。但如果HBM-PIM完全按预期运作,生成速度将更快,很有可能对问题"一下"整体给出答案。
Samsung Electronics在ISSCC 2024上通过各种图表介绍了HBM-PIM的这些优点。尤其是与AMD的HBM-PIM联合研究及成果发布相当有趣。用AMD的"32 MI100"GPU测试性能后,强调GPU性能比使用现有HBM时提升了2.55倍,能效也改善了2.67倍。此外,AMD掌门人苏姿丰CEO在某学会的主题演讲中表示,使用HBM-PIM时比现有HBM节省了多达85%的电力,并正式表示我们正与Samsung Electronics持续这项研究。
不过,这项PIM技术除HBM之外,还有向其他应用扩展的可能性。三星集团介绍称,可以把该技术嫁接到在各种移动设备中以极为紧凑方式使用的LPDDR DRAM上。
其主张可在NPU、GPU、CPU等运算装置旁边进一步提升LPDDR的性能。尤其是NPU与LPDDR-PIM的组合,据说比与现有LPDDR5的组合性能提升4倍以上、功耗减少71%,发挥了出色作用。
若按他们的方向发展,PIM确实可能成为革新性产品。业界提出PIM的壁垒之一是"工艺"问题。这一PIM工艺很可能在存储器制造生产线上完成。存储器制造线上的设备究竟能否同时完成与DRAM特性完全不同的运算处理装置(ALU)的制造,还有待观察。
数年前起就密切关注HBM-PIM潜力的三星集团能否完成这项工作、获得众多AI半导体客户的青睐,也值得持续关注。
基于三星集团 ISSCC 2024发布的下一代存储三选系列到此结束。感谢阅读。
下一期与下面的照片有关。敬请期待!






