Samsung Electronics(005930)通过在内存内部执行运算功能的存内计算(PIM)技术,将人工智能(AI)回答生成速度提升了3倍以上。业界分析认为,AI芯片性能竞争正从提升图形处理器(GPU)运算能力,进一步扩展至缩短数据搬运时间的方向。
据业界26日消息,Samsung Electronics于25日(当地时间)在美国斯坦福大学举行的“Hot Chips 2026”上公开了基于LPDDR5X的存内计算(PIM)在实际AI推理中的性能。
PIM是在内存内部搭载运算功能的技术。此前仅承担数据存储角色的内存可直接处理部分计算,从而减轻处理器负担。
在现有AI芯片架构中,GPU需反复将存储在内存中的数据取出、运算后再送回内存。而PIM在内存内部处理部分必要运算,缩短数据搬运距离,由此提升处理速度并降低功耗。
Samsung Electronics表示,在低功耗双倍数据速率5X(LPDDR5X)-PIM中,每16个DRAM bank配置一个PIM模块(运算电路组),共搭载16个运算模块。bank是DRAM内部分开存储数据的独立存储空间,其设计使各bank可同时执行运算。
本次发布的核心在于,在实际制造的芯片上验证了AI模型性能的提升。Samsung Electronics将自主研发的边缘AI加速器系统级芯片(SoC)分别连接现有LPDDR5X与LPDDR5X-PIM,并运行Meta的大语言模型(LLM)“Llama 3.1 8B”。
结果显示,LPDDR5X-PIM的token生成速度为每秒81.3个,比现有LPDDR5X(27个)快3.01倍。完成同一任务所需时间也从12.3秒缩短至5.4秒。
token是AI生成回答时使用的以字或词为单位的数据片段。这意味着即使使用相同的AI模型,改进内存架构也能大幅提升推理速度。
Samsung Electronics此前已公开过LPDDR5X-PIM样品及基本性能。本次发布的意义在于,在实际芯片上应用商用AI模型确认了性能改善,并具体公开了内部运算架构。
公司还应用了考虑商用化的设计。Samsung Electronics利用地址对齐模式(AAM),使LPDDR5X-PIM可直接沿用现有DRAM内存控制器。内存控制器是在处理器与内存之间管理数据输入输出的装置。这降低了为应用PIM而必须全面改造现有系统架构的负担。
Samsung Electronics还表示,下一代LPDDR6-PIM在国际半导体标准组织(JEDEC)的首个正式规格已接近最终确定阶段。公司计划使其超越仅特定企业使用的技术,扩展为多家系统厂商均可采用的标准内存技术。
业界人士表示:“Samsung Electronics在全球性半导体学会Hot Chips上展示的LPDDR5X-PIM,是在内存所在位置直接处理部分AI运算的结构性变化”,“AI芯片竞争现已进入不仅要提升GPU运算速度,还要看数据搬运与处理效率如何的阶段”。






