上月被英伟达迂回收购的Groq、与OpenAI签下100亿美元(14.4万亿韩元)规模合同的Cerebras Systems,以及超大规模数据中心运营商微软(MS)。这些都是近一个月来在全球半导体市场备受关注的AI初创企业或科技巨头。它们以推理性能为卖点,称要在AI加速器市场实现逆转,向英伟达图形处理器(GPU)发起挑战。
进一步审视Groq、Cerebras、微软的AI加速器构成,会发现一个共同点,那就是存储半导体SRAM(静态随机存取存储器)。上月英伟达凭借资金实力,以收购核心技术和人才的方式吸收了曾如芒在背的Groq。搭载SRAM的Groq的AI芯片,对GPU构成了如此程度的威胁。
本月26日(当地时间)微软时隔两年推出的自研AI芯片“Maia 200”中,除SK海力士(000660)生产的第5代高带宽存储器HBM3E外,也搭载了SRAM。英特尔正在洽谈收购的SambaNova,以及与Groq并称AI推理芯片领先初创企业的Cerebras也使用SRAM。在存储市场,除Samsung Electronics(005930)、SK海力士、美光生产的高带宽存储器(HBM)之外,SRAM正受到热烈关注。
易失性存储器按数据保存方式分为SRAM和DRAM(动态随机存取存储器)。与DRAM不同,SRAM只要有电源供应就能持续记住所存内容。虽然存储容量小,但无需周期性刷新,因而延迟低、访问速度快,非常适合用作要求高速的中小规模存储装置。
近来在AI模型开发中,推理比训练更受重视。随着AI模型从大语言模型(LLM)演进为自行判断并执行的智能体AI,推理性能变得重要。广泛学习需要针对并行运算优化的GPU和大容量存储器,而推理以速度和效率为生命,因此需要专精轻量运算的神经网络处理器(NPU)和轻量存储器。在像AI聊天机器人那样需快速处理多种请求的模型中,只能求诸SRAM。
与将晶圆切成小块制造芯片的其他制造商不同,Cerebras采用把整片半导体晶圆做成一块巨型芯片的“晶圆级引擎”(WSE)技术。其他公司在GPU或定制半导体上连接外部存储器,而该公司则把芯片与存储器全部集成在晶圆上。由于在一颗芯片上即可完成运算与存储(片上存储),数据往来距离短,功耗也低。不会出现瓶颈现象,数据处理速度也得以提高。Cerebras在2024年11月表示,其产品速度达到GPU的75倍。
Groq也使用了SRAM。英伟达花费200亿美元(29万亿韩元)迂回收购Groq的原因,也在于注意到GPU使用体积大且昂贵的HBM,而Groq使用快速轻便的SRAM。这可以补充或替代因供应短缺而价格暴涨的HBM。创办Groq的乔纳森·罗斯去年7月在CNBC采访中强调差异点称,英伟达芯片会使用供应商有限的HBM等高价部件,而自家芯片则不然。
AI推理芯片开发商的此类动向也影响了微软。据称微软在开发Maia 200的过程中参考了Cerebras和Groq的AI加速器所搭载的SRAM。路透社关注到Maia 200同时搭载HBM与SRAM这一点,评价称“微软参考了崛起的英伟达竞争对手的战略,在Maia 200中搭载了相当数量的SRAM”。






