2026-03-31 | 서지혜 기자

[Q&A] 半导体股暴跌的主角…韩裔教授打造的“Turbo Quant”

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

谷歌近期公开的人工智能(AI)内存优化技术“TurboQuant”正在动摇半导体市场。简单来说,TurboQuant是一项在ChatGPT等大语言模型(LLM)处理更长、更复杂的提问时,大幅削减所需内存的技术。谷歌发布TurboQuant后,存储半导体市场随之震荡。30日(当地时间)纽约股市半导体指数暴跌4.23%,美光(9.88%)、闪迪(7.04%)等股价也大幅下挫。市场上蔓延着存储半导体需求可能减少的担忧。

如此撼动全球半导体市场的这项新技术,是基于KAIST电气与电子工程系韩仁洙教授撰写的两篇论文开发而成。韩教授30日在KAIST举行的线上说明会上表示,“要解决的问题越复杂、越长,需要的内存就越多,成本和响应时间也会同时增加”,“TurboQuant可以直接应用于用户已有的模型,减少内存并将性能下降降到最低”。下面以韩教授的答问为中心,通过Q&A了解TurboQuant。

Q. 什么是TurboQuant

A. AI回答问题时,并不是只计算当下那一行。它必须持续记住此前的对话、长文档内容以及用户提出的条件,并在需要时重新调用。此时所需的临时存储空间就是“KV缓存”。问题在于,AI读得越长、思考得越久,这个存储空间就会不断变大。AI模型思考得越长,占用的内存越多。TurboQuant就是让这部分内存以更小的体积存储的技术。通俗地说,就是不必整本厚书随身携带,而是在尽量不丢失核心内容的前提下,把它抄到更小的笔记本上。

Q. 内存在AI中为何重要?

A. 在AI业界,如今“内存”和“算力”同样是大问题。以前认为模型要变聪明,更强的算力最重要,但近来随着长上下文处理和智能体型AI增多,内存负担急剧加大。上下文越长,需要存储和引用的信息量越大,这会带来成本上升、响应延迟以及部署受限。

Q. 效果有多大。

A. TurboQuant实现了至少6倍的内存节省,同时在主要长上下文基准测试中保持性能、没有精度损失。此外,在英伟达H100 GPU上采用4比特量化时,注意力logit的计算速度相比32比特最高可提升8倍。也就是说,不仅节省存储空间,视情况速度也能提升。

Q. 在投资者眼中,这为何看起来像“半导体利空”

A. 因为人们认为,AI少用内存,就不必像以前那样大量采购昂贵的存储半导体。事实上,谷歌发布后,美光、闪迪等存储相关个股出现震荡,也有报道称韩国和日本的存储股受到影响。特别是在TurboQuant被指大幅削减AI推理所用KV缓存内存后,市场立刻理解为“即使AI需求增长,存储芯片销售的增幅也可能缩小”。

也有人担心TurboQuant需要高性能硬件芯片。但TurboQuant的运算用现有的图形处理器(GPU)也能完成。希望迄今只聚焦硬件的AI市场,能以TurboQuant为契机开始关注软件。要推动AI普及,算法等软件开发和理论研究同样重要。

Q. TurboQuant可以用在哪些地方

A. 应用范围比想象的更广。最先被提及的领域是端侧AI。现在许多AI功能是在服务器上运算后把结果发回,但今后在智能手机、汽车、机器人、可穿戴设备内部直接运行AI的情形会更多。然而设备内部难以使用像服务器那样大的内存,因此用更少内存实现同等性能的技术十分重要。TurboQuant在这种环境下能减轻AI记住此前上下文所需的内存负担,有助于端侧AI的普及。

另一个重要领域是搜索与推荐算法。近来AI服务不再止于生成句子,而是朝着从海量文档、商品、视频、帖子中快速找出并连接用户所需内容的方向发展。这一过程需要把大量数据以向量形式存储并比较,最终内存效率变得关键。发布资料中也说明,TurboQuant不止于KV缓存压缩,还可通用地扩展到大规模向量检索系统。

在检索增强生成(RAG)方面也有很大应用可能。RAG是AI在生成答案前,先从外部文档或数据库中找出所需信息一并参考的方式,文档越多,检索过程的效率就越决定性能和成本。TurboQuant的技术方向是用更少的比特数同时确保高检索精度和效率,因此在RAG这类检索与生成结合的系统中尤为有用。

Q. 那么存储半导体的时代真的要结束了吗。

A. 很难这样断言。相反的看法也很强。效率提高后,用同样的钱可以运行更多AI服务,能承载更长的上下文和更多用户。那么AI本身会更广泛普及,整体半导体需求反而可能再次扩大。事实上,近期市场分析中也有观点认为本次股价下跌属于过度反应,还有分析指出长期来看AI数据中心投资与存储供需依然强劲。通俗地说,这就像汽车油耗改善了,石油产业并不会立刻消失。效率提升反而可能带来使用量扩大。

Q. 读者该如何理解这项技术。

A. 与其说TurboQuant意味着“AI变成了少吃的AI”,更恰当的理解是“它揭示了AI目前卡在哪里”。这意味着,除了打造更大模型的竞争之外,能否以更低成本、更快速度运行该模型变得同样重要。发布资料也说明,TurboQuant可以超越KV缓存压缩,扩展到搜索、推荐、RAG等基于向量的系统。归根结底,这项技术的意义不在于单纯压缩,而在于为AI服务更便宜、更广泛地扩散开辟了道路。

韩仁洙教授是……

韩仁洙教授为KAIST电气与电子工程系助理教授,自2025年起还担任谷歌研究院访问研究员。他持续参与了从QJL、PolarQuant到TurboQuant的研究,其中QJL于2024年公开并在AAAI 2025上发表,PolarQuant于2025年公开并将在AISTATS 2026上发表。2025年公开了TurboQuant论文,预计将在ICLR 2026上发表。

阅读韩文原文