全球科技巨头开始着手削减用于人工智能(AI)数据运算的内存用量。分析认为,随着大语言模型(LLM)不断升级,硬件采购成本急剧上升,企业正通过软件与系统优化来降低成本。
据业界19日消息,谷歌、英伟达、微软(MS)等主要科技巨头近期接连引入压缩数据或分散内存占用率的新技术。
谷歌研究院公开的TurboQuant算法便是代表。该技术将AI推理过程中产生的数据——键值(KV)缓存压缩至3~4比特水平,从而减轻DRAM的运算负担。无需对AI模型重新训练,即可将内存用量最多降至原有水平的六分之一。
作为Samsung Electronics(005930)与SK海力士(000660)主要客户的英伟达,则通过新设独立的存储层级来降低内存负担。具体做法是采用基于数据处理器(DPU)的共享上下文内存存储(CMX)平台,将原本集中于高带宽内存(HBM)的运算数据分散部署。此举旨在防止HBM过载并提高电力效率。
微软也在应用IndexMem技术,在推理过程中筛选出重要性相对较低的数据加以压缩。学界则将EVICPRESS系统作为主要替代方案提出,即把KV缓存分散到HBM、普通DRAM和固态硬盘(SSD)等多个层级,再根据上下文重要性进行压缩与剔除。
科技巨头着手削减内存用量,源于成本压力加大。iM证券推算,今年全球前15大科技巨头的全部资本支出(CAPEX)预算中,内存半导体采购占比为37%,较去年(15%)增加2.5倍以上。分析认为,在AI服务器扩建过程中,内存采购成本正在推高整体支出。
内存成本上升也对科技巨头的现金流造成不利影响。谷歌母公司Alphabet受AI基础设施投资影响,今年第二季度自由现金流(FCF)首次出现赤字。为化解这一局面,该公司本月初发行约250亿美元(约34万亿韩元)规模的公司债进行融资。英伟达也为筹措基础设施建设费用,于今年6月时隔5年在债券市场发行了至少200亿美元(约27万亿韩元)规模的公司债。
一位业界人士表示:“仅凭经营活动所获现金,科技巨头已难以承担AI基础设施投资额”,“提高有限半导体资源效率的内存优化技术,将成为左右企业未来盈利能力的关键变量”。






