关注信息技术(IT)市场的读者朋友们,大家好。在《三星集团将如何打造AI推理芯片“Mach 1”?<第1篇>》中,我们探讨了Samsung Electronics为何在人工智能(AI)推理芯片上引入轻量化技术,并顺带了解了Mach 1的数据压缩方法之一——剪枝(Pruning)的概念。把Mach 1的核心概括起来就是:△基于NPU、挑战英伟达B200 GPU霸主地位的独立AI芯片;△以压缩算法决胜、用LPDDR DRAM替代HBM的芯片。
第2篇将介绍另一种压缩方法——量化(Quantization),以及第三个关键词LPDDR DRAM,还有关于Mach 1的最新消息等。首先从量化说起。
②压缩-2:量化(Quantization)
量化是什么?查了NAVER集团知识百科,其解释为“将连续不断的变化量按一定幅度划分为有限个不连续变化的阶段,并为每个阶段赋予各自唯一的数值”。
不容易理解吧。不过我们都是特别喜欢技术的人,就和我一起翻过这座技术的山吧。把这个概念说得极其简单一点,它就像“衣物压缩袋”。我们冬天穿的长款羽绒服要收纳起来,体积太大了。于是放进压缩袋抽走空气,把体积压到最小后再放进衣柜。量化也是类似的概念。现在我们再往里走一步。
数字的世界是无限的。但在数字运算装置的世界里,我们把现实中常用的十进制数转换成二进制,再用这些数据进行运算或存储。
+(正数)和-(负数)符号,乃至小数点以下的部分,都可以按一定规则转换为二进制形式。用符号、指数、小数来表示数字。由于小数点的位置并不固定,而是随指数像漂浮一样移动,因此也称作“浮点(Floating Point)”。
最典型的例子是,十进制数字可以用32个0或1来表示。据说以实数(real number)计,从-3.40×10的38次方到3.40×10的38次方之间约40亿个数,可以用32位来表示。业界把这种方法称为“FP(Floating Point)32”。
但这也可以被压缩。原本能用32位表示的带小数点的实数,被变成特定的整数(integer)。比如把某个实数转换为最多用8位表示的整数。从-128(10000000)到127(11111111),若不使用符号则从0(00000000)到255(11111111),把数十亿个实数分类归入8位可表示的256个整数中,然后说“你现在就是这个数字了”,一笔“抹平”。这样32位数据就被压缩成8位。用FP32表示的数被转换成用INT(integer)8表示的数。
现在对量化压缩方法有点感觉了吧。最简单地说,就是为了把32位表示的实数压缩成8位,把它变成整数。
这样做好处很多。数据真正实现了轻量化。存储在内存中的参数变“瘦”了,就能存更多数据。在发生瓶颈现象的AI芯片与内存之间的通道里,同样时间内可以往返更多的数据。
那么这项量化技术如何应用到Mach 1上呢?根据NAVER集团去年发表的论文推测,Samsung Electronics很可能与NAVER集团合作,研究把运算所需的32位参数缩减到八分之一,即量化到4位以下的算法。就是把数十亿个数字归入0~15或-8到7之间的整数,也就是4位可表示的仅16个数字之内。
特别是采取了只对AI运算中为重要信息赋予权重的参数(Weights)进行大幅压缩的思路。据悉,在量化难度较大的激活(Activation)函数一侧不引入该算法。此外,还将开发在保持权重压缩状态下也能进行运算的新型NPU电路,以最大限度减少量化可能带来的延迟现象。
当然量化也有很大缺点。位宽被压缩到八分之一,难免面临运算结果精度相应下降的质疑。推测解决这一问题的方案:NAVER集团曾通过论文介绍过一项名为“PEQA”的技术。
可概括为在量化后的权重集合中只对特定列乘以数值的所谓“微调”技术。意思是给必需且重要的权重再加“权重”,在轻量化的同时兼顾精度。
结论是,以第1篇介绍的剪枝(Pruning)和量化为核心构建的压缩算法,预计将成为Mach 1的重要竞争力。当然,英伟达、英特尔、AMD等全球顶尖AI企业也在考虑这类压缩算法。
不过,Samsung Electronics与NAVER集团共同开发的Mach 1之所以值得期待,在于它不是把现成的轻量化算法硬套到已量产的GPU或AI半导体的硬件条件上,而是相信轻量化的力量,重点开发压缩算法,并据此设计出与之最优匹配的AI芯片。这正是英伟达GPU与Mach 1的差异所在。明年能否取得令人瞩目的成果,值得关注。
③LPDDR
如果参数压缩成功实现,最大的好处是什么?我们回到第1篇看到的第一个问题:可以节省电力。
按Samsung Electronics的说明,如果利用多种压缩技术把内存瓶颈现象减少八分之一以上,就可能不需要HBM。即便数据出入口(I/O)数量不是1024个,变轻的数据也能在AI芯片与内存之间顺畅移动而不发生“交通拥堵”。
也就是说,替代HBM的不仅不是现有的DDR DRAM,甚至可以使用低功耗(Low Power·LP)DDR DRAM。LPDDR DRAM的引脚数为64个,仅为现有HBM的十六分之一。据称Mach 1实现了颠覆性的轻量化,因此AI推理毫无压力,并且借助LPDDR DRAM,电力效率高达8倍。
而且LPDDR DRAM的销售价格比HBM便宜6~7倍。如果一切按计划进行,无论从电力还是采购成本看,Mach 1似乎都比通用AI GPU更有效率。
3月20日Samsung Electronics发布Mach 1之后,一个月来的最新情况整理如下。
⑴ Mach 1的客户确认为NAVER。Mach 1是服务器用芯片。NAVER集团似乎已启动一项颠覆性试验,在自家数据中心以英伟达GPU—英特尔Gaudi芯片—Mach 1的方式实现AI芯片合作伙伴多元化。
⑵Mach 1采用5纳米以下代工工艺。NPU是其核心。面向NAVER集团的样品可能在今年年底出来,但不少意见认为正式量产还需要更多时间。
⑶正如Samsung Electronics社长庆桂显所暗示的,据了解系统LSI事业部内部已启动Mach 2的开发。
其实读者们对Mach 1也会有各种担忧:△听说Exynos性能也不怎么样,AI推理芯片真能超越英伟达吗?△连成品都还没有,怎么能有信心?
但毕竟是我国拥有最强资本实力和技术的半导体与IT企业携手合作。在成果出来之前,与其担忧和批评,不如以期待的目光等待,如何?也许这会成为我国系统半导体实现飞跃、速度以“马赫”为单位提升的动力。今天就到这里。祝大家周二愉快。






