韩国参与的国际联合研究团队开发出相比图形处理器(GPU)可大幅提升推理速度和电力效率的人工智能(AI)半导体技术。
韩国科学技术院(KAIST)17日表示,计算机学院教授朴钟世研究团队与美国佐治亚理工学院、瑞典乌普萨拉大学共同开发出AI存储半导体基础技术“PIMBA”。实验结果显示,PIMBA相比现有GPU系统处理性能最高提升4.1倍,电力消耗平均减少2.2倍。
该研究成果此前获得“第31届三星Humantech论文大奖”金奖,并将于20日在首尔举行的世界级计算机体系结构学术会议“第58届国际微体系结构研讨会(MICRO 2025)”上发表。
目前大型语言模型(LLM)基于“Transformer”结构运行。随着AI模型变大、处理句子变长,运算量和内存需求急剧增加,速度下降与能耗被指为主要问题。为弥补Transformer的这些缺点,近期提出的顺序记忆型大脑“Mamba”结构引入了按时间流处理信息的方式以提高效率,但仍存在内存瓶颈现象和电力消耗的局限。
研究团队为最大化结合Transformer与Mamba优点的“Transformer-Mamba混合模型”的性能,设计了在内存内部直接执行运算的新型半导体结构PIMBA。现有GPU系统将数据移出内存进行运算,而PIMBA不移动数据,直接在存储装置内部进行计算。由此可将数据移动时间最小化,并大幅减少电力消耗。






