2025-12-28 | 김윤수 기자

把我的电脑、智能手机变成AI服务器…运算成本省68%

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

可将PC和智能手机等日常使用的小型设备用作人工智能(AI)服务器的技术在韩国国内研发成功。该技术不仅能减轻数据中心的运算负担,还比仅依靠数据中心运算大幅降低成本。

韩国科学技术院(KAIST)28日表示,电气与电子工程学部教授韩东秀研究团队开发出可利用廉价消费级图形处理器(GPU)大幅降低大规模语言模型(LLM)基础设施成本的新技术“SpecEdge”。该研究成果于本月2日(当地时间)在美国加利福尼亚州圣迭戈举行的AI领域国际学会“神经信息处理系统大会(NeurIPS)”上获得采纳。

SpecEdge是由数据中心GPU与PC或小型服务器等边缘(末端设备)GPU分工进行运算的技术。由此,每个token的成本比仅使用现有数据中心GPU时减少67.6%。token是AI生成句子的最小单位。

研究团队特别确认,这种连接数据中心GPU与边缘GPU的方式仅凭一般互联网速度也能正常运行。边缘GPU生成单词后,需要由数据中心GPU进行验证的通信过程。研究团队通过提高验证效率,引入了使边缘GPU无需逐一等待数据中心响应即可快速执行任务的“推测式解码”技术。

韩教授表示:“目标是超越数据中心,将用户周边的边缘资源也用作LLM基础设施”,“希望由此降低AI服务提供成本,营造任何人都能使用高质量AI的环境”。

? 把我的PC和手机变成AI服务器……运算成本节省68%

阅读韩文原文