2024-03-30 | 강해령 기자

三星集团将如何打造AI推理芯片“Mach 1”? [姜海玲的高端科技] <第1篇>

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

关注信息技术(IT)市场的读者朋友们,大家好。Samsung Electronics在本月20日的股东大会上发布了一则相当有趣的消息,即将开发人工智能(AI)推理芯片Mach1。Samsung Electronics半导体(DS)部门总裁庆桂显意味深长地表示:“明年将推出以Mach1为核心的新AI系统。”

据悉,Samsung Electronics开发的这款半导体是面向数据中心的AI推理芯片。简单介绍一下:Mach1是以替代英伟达图形处理器(GPU)为目标的NPU芯片。该NPU不与GPU等单独的AI加速芯片结合,是可独立运行的AI推理用SoC。与该SoC配合工作的内存部分也很独特。通常AI芯片与HBM结合,而Mach1的特点是使用通用DRAM即LPDDR内存。

那么为何要开发AI芯片?以何种方式挑战AI芯片最强者英伟达的壁垒?与NAVER在“Mach1”的哪些领域展开合作?今天我们将追随正在开发Mach1的工程师们的思路。

为了深入了解“Mach1”,我们准备了三个关键词:①轻量化 ②压缩 ③LPDDR,共分为两篇。首先从轻量化慢慢开始吧。

①轻量化

轻量化,指物品或规模等比以前减少或变轻。Samsung Electronics为Mach1确立了将数据轻量化的概念。也就是说,同样的数据,要比以往减去赘肉或让形态更轻。

那么为何要将数据轻量化?人工智能(AI)时代一言以蔽之就是数据战争。AI先输入大量数据进行“训练”,然后基于其结果像人一样进行“推理”。AI系统采用归纳式思维,学习的数据越多越准确,因此信息积累越多,推理过程也越复杂。这也是大语言模型(LLM)AI用数据中心要安装大量GPU、CPU及AI运算装置的原因。

但问题在于数据瓶颈现象和电力。先说瓶颈现象。随着数据日益增加,为使信息在内存与AI芯片之间顺畅往来,大幅增加信息出入口(I/O)数量的HBM被开发出来。但瓶颈现象仍难以轻易解决。运算装置与HBM之间已铺设超过1000个I/O,预计未来还将增加一倍,但仍不足以缓解“交通拥堵”,这让AI研究者们焦虑不已。

最严重的问题是电力。据称英伟达新发布的AI芯片B200功耗超过1000瓦(W)。各位,一台笔记本电脑的最大耗电量为65W,而一台空调的耗电量为2000W。也就是说,运行两块手掌大小的芯片,耗电量相当于开一台空调。而且AI数据中心并不只运行一两块GPU。据称Meta计划在今年年底前为构建AI基础设施而获取35万块英伟达GPU H100。

此外,GPU与内存之间的瓶颈现象越严重,发热越多。冷却这些热量的散热装置也必不可少。这些设备又要耗费多少电力呢?因此业界甚至流传着这样的玩笑:“要运行一个AI数据中心,几乎需要一座核电站。”

最重要的问题是,这一切都与钱挂钩。英伟达H100的最低价格为2.5万美元(3300万韩元)。H100中使用的HBM价格是通用DRAM价格的6~7倍。巨额设备投资、每月如同炸弹般袭来的电费,再加上维护费。唉。搞一次AI要花掉太多钱,云服务商(CSP)经营层为此烦恼不已。

为解决这一问题,“轻量化”一词应运而生。即用算法为数据减去赘肉,并极为巧妙地改变芯片架构使该软件能良好运行,从而降低电力消耗。搬运同样的数据时使用比以往更少的电力,或者在使用与现在相同电力的情况下,能更高效地搬运多得多的数据。那么,我们来看看Mach1是以何种方式编写用于轻量化的软件。以下先介绍第一种压缩技术。

②压缩-1:剪枝(Pruning)

Samsung Electronics正在开发聚焦于如何“压缩”数据以实现轻量化的算法。首先来谈谈代表性压缩方法中的第一种——剪枝(Pruning)。在英语词典中查Prune,其含义为“修剪枝条”,即修剪树枝上不必要的部分。

三星集团的Mach1中就植入了这种剪枝算法。也就是对数据进行剪枝。那么要剔除什么呢?在AI内存中,存储着为将某一输入值加工成期望输出值的媒介变量,即所谓的参数(parameter)。随着AI的发展,参数数量不断增加。说从内存通往GPU的隧道天天因这些参数而堵塞、发热,也并不夸张。

因此,为解决内存中极为严重的交通拥堵,要进行剪枝。这些参数的特点是以包的形式存储。并不是把整个参数包一股脑扔给GPU,而是把包中那些“这次运算其实并不需要”的部分剔除后再传递。没错,这就是剪枝。

到此听起来很合理。但问题来了:每个包剪枝后剩余的参数数量各不相同。比如假设有一个由10个参数组成的包,有的包可能剪掉了所有参数只留下1个,而有的包可能保留了9个。

在它们传递给GPU时就会出问题。GPU的最大特点是并行运算,大量“工人”可以一次性计算涌来的数据。

这有时也成为缺点。即便只需运算含1个参数的包的GPU内计算单元已经算完,也必须等到保留9个参数的包完成全部计算。看着邻座为计算9个参数而喘不上气的不安眼神,以及在计算结束前看着眼色打瞌睡的高薪HBM。这是低效的极致。

为解决剪枝的问题,与Samsung Electronics共同开发Mach1的NAVER集团半导体开发团队又向前迈了一步。

他们从所谓加密算法(encryption)转换信息的做法中获得灵感。把剔除了9个的包转换为3个,把只剔除1个的参数包也转换为3个固定代码,从而形成极为结构化(structured)且统一的形态。这样一来,运算装置中的计算器就能在相对相同的时间内快速运算经过均匀整理的参数包。通过实现数据轻量化,接口的瓶颈现象减少,就像餐桌周转率高的餐厅一样,可以进行非常高效的AI运算。

据采访了解,Samsung Electronics是从搭载NAND闪存的信息存储装置SSD中获得了这一灵感。SSD中有一种用于判别和修正所存储信息错误的ECC(Error Correction Code),它应用了输入任意代码的加密(编码)与解码算法。据称在5G等高速移动通信中捕捉信息错误时,ECC也被广泛使用。

此外,2020年三星研究院实际发表过关于剪枝与数据压缩、编码的技术论文,当时研究的算法有可能被应用于Mach1。NAVER集团似乎也是看到了该算法的潜力,正与Samsung Electronics积极开发。

在第二篇中,我们将了解第二种压缩算法——量化技术,以及第三部分LPDDR DRAM如何应用于Mach1。祝大家周末愉快!

阅读韩文原文