关注信息技术(IT)市场的读者朋友们,大家好。本月20日,SK海力士发布了一则颇有意思的半导体开发消息。
HBM,也就是关于高带宽内存的内容。核心是宣布利用TSV与MR-MUF技术,将DRAM堆叠12层的"HBM3"24GB产品开发完成。
本次报道围绕SK海力士的HBM内部是什么形状、又是如何制造出来的这些信息,共准备了两篇。首先聚焦HBM备受瞩目的原因,第二篇将一并考察核心工艺以及未来HBM制造技术的关键点。
━ 大AI时代,确保"真正"高速辅助GPU的DRAM
首先,在讨论HBM之前,我们要先简单看看人工智能(AI)的话题。ChatGPT、机器人的物体识别、自动驾驶。如今频繁出现在大众口中的最新技术,贯穿其中的关键词就是AI。IT设备为实现"人工智能(AI)",要对海量数据进行加、减、除、乘的学习,然后自行推理。
AI技术也给半导体业界带来了极大影响。现存芯片中最擅长执行这一工作的半导体——图形处理器(GPU)受到瞩目,这是最重大的变化。
GPU与我们熟悉的运算装置中央处理器(CPU)特性完全不同。GPU顾名思义,是为实现我们所看到的Netflix视频、游戏画面等各种图像而制造的芯片。如果说CPU是专门快速求解极难运算的聪明伙伴,那么GPU的作用是一次性表现出屏幕上数万个"像素"的颜色。比CPU不那么聪明的工人们同时、快速地运算相对简单的信息。这种芯片在AI市场备受瞩目,正是因为这种"一次性运算"的优势。相比1~4个工人(核心)"顺序"运算的CPU,数千个工人一齐行动的GPU,在需要运算海量"简单"信息的AI市场效率高得多。这也成为GPU市场第一的英伟达崛起为AI市场最强者的契机。
这一趋势对存储市场也影响不小。首先,我们常识中所想的内存模块结构对AI运算变得太不利了。因为传统结构中运算装置与记忆信息的内存模块(远端·far内存)之间的距离显得实在太远。为了快速处理爆炸性数量的数据,连CPU到GPU都动员起来了,自然希望内存模块的速度能如愿加快、距离能更近,但这并不容易。于是备受瞩目的就是"近端(near)内存"。能够紧贴运算装置、比谁都更快、与众不同地为信息"Toss"的存储开始凸显出来。
━ 曾在GPU中充当"近端内存"的GDDR,"总觉得略有不足" 在"近端内存"中,终于出现了今天的主角HBM。HBM即High Bandwidth Memory,也就是"高带宽内存"。我们把含义再拆解得细一些。
带宽的汉字是这样:带(帶)、域、幅。它表示在一定空间内可交换数据的通道(带)有多少、速度有多快。"高带宽"一句话说就是数据传输速度远高于普通DRAM。
好,在更详细地谈HBM的带宽之前,我们还得先看看另一种近端内存、堪称HBM"对手"的图形DRAM(GDDR)的特性。
GDDR DRAM是搭载在GPU周边的"图形用DRAM"芯片。这家伙的优点是速度。它是为帮助GPU快速进行图像运算而制造的。看SK海力士2017年发布的GDDR6 DRAM规格,信息出入(I/O)DRAM的通道"引脚"每个的信息处理速度为每秒16Gb。也就是说具备每秒搬运160亿个0或1数字信号的能力。考虑到一般服务器用DRAM的引脚速度为每秒4.8Gb,这是博尔特级别的速度。到这里都很好。
但也能看到不少遗憾之处。首先是信息往来通道"引脚"的数量。一颗GDDR芯片上的引脚数为32个。无论DRAM内部传递信息的速度多快,若信息移动通道只有32个,在期待以更快速度搬运更多信息的AI研究中,必然会出现瓶颈现象。而且GPU与GDDR之间的距离虽比DRAM模块近,但如图所示,看起来还有进一步缩短的余地。
容量也略有不足。业界最新的GDDR6单颗芯片容量为2GB。通常GPU周边如图所示放置12颗GDDR6。把所有芯片汇总起来的容量是24GB。实现超大规模AI所需的仓库容量才24GB。在"啊,总觉得有点不够……"的时候,HBM出现了,并开始迅速取代GDDR。
━ HBM,侧面支援AI用GPU"恰到好处"
HBM。从出入口(引脚)数量上就压倒性胜出,解决了AI研究者的渴求。HBM把多个DRAM垂直堆叠后,在各处打出1024个孔,造出宛如电梯般的信息出入通道。这比遵循传统I/O设计方式的单颗GDDR芯片多32倍。假设GPU周边放置12颗左右GDDR芯片,引脚总数为384个。HBM通常在GPU旁边放置4个,仅放4个通道数就已达4096个。GDDR数据传输速度再快,384车道的道路与4096车道的道路中,交通拥堵较少的当然是后者。
而且HBM此前在每引脚信息移动速度上稍逊GDDR的状况也在加快改善。2019年SK海力士推出的HBM2E速度为每秒3.6Gb,2021年问世的HBM3则改善近2倍,为每秒6.4Gb。也有预测认为今后推出的HBM4将接近每秒8Gb。据说由于不像GDDR那样以每秒16Gb以上的速度勉强搬运信息,在功耗方面也更高效。
另外如图所示,HBM与GPU芯片的距离比GDDR更近。这是因为与GDDR不同,HBM实现了与GPU在同一块基板上如同一颗芯片般运作的异种结合形态封装技术。说到近(near),再没有这样的"超"近端内存了。
最后是容量。HBM真正重要的一点是"堆叠"。此次SK海力士在全球首次将2GB的DRAM垂直堆叠12个,做出了24GB容量。刚才提到的GPU中的12颗GDDR6全部加起来,才相当于此次SK海力士新产品HBM3一颗的容量。24GB的HBM在GPU周边搭载4个,也就意味着96GB容量的DRAM被装在GPU旁边,这是一场革新。
从上表计算SK海力士GDDR6(以2GB/s速度为准)产品12个与HBM3 4个的带宽,HBM确实是"高带宽"。与GDDR6相比差距在4倍以上。即便按现存业界已知最高的GDDR6速度(每秒3GB)计算,也快出3倍,充分体现了速度之美。
如此克服了GDDR6缺点的HBM,吸引了英伟达、AMD等顶尖系统半导体设计公司,它们至今仍表现出很大的满意度。随着HBM开始用于各类高端芯片,今后在AI领域的应用与用量预计将进一步增加。台积电每年都在升级利用HBM的封装技术。
当然,从功能、容量等方面看,近端内存还无法威胁到作为远端(Far)内存的DRAM模块。随着AI市场成长,HBM市场的可能性也在逐渐扩大。据Yole Développement预测,2021年仅为3.25亿美元的HBM市场,到2027年将成长至13.24亿美元。
SK海力士自2013年首次开发HBM后,以"真心"进入这一市场。凭借AI市场的成长、全球首次开发的自信以及技术诀窍等,正积极进军崛起中的近端内存市场。近期正式宣布向英伟达供应HBM,自信满满。
SK海力士已开始生产的HBM3,Samsung Electronics、美国美光等竞争对手预计将在今年年底前后量产。借此,SK海力士瞄准HBM市场50%以上的份额,挑战确立市场领导地位。
尤其HBM据悉比现有DRAM贵2~3倍以上。也有观点认为这将对SK海力士的收益结构大有帮助。
现在既已了解HBM的概念,下一篇将详细考察SK海力士是如何实现HBM3的工艺。敬请期待下周的第二篇!






