2024-11-17 | 실리콘밸리=윤민혁 특파원

投资激增、效率下降……生成式AI从聊天机器人、推理、轻量化中寻出路

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

“对于GPT模型存在局限的质疑,我可以回答‘不是(No)’。”

这是今年3月与Seoul Economic Daily会面的OpenAI首席执行官(CEO)萨姆·奥尔特曼自信地说出的一句话。这被理解为:只要投入足够的算力资源,用当前AI模型的基础架构Transformer实现通用人工智能(AGI)完全没有问题。当时,奥尔特曼CEO正在推动一项规模达7万亿美元(约1京韩元)的全球融资,用于改善AI基础设施。

奥尔特曼CEO的自信源于AI性能随算力投入成正比提升的“规模法则(scaling law)”。实际上,2月奥尔特曼CEO曾主张规模法则将继续适用,并称“规模法则由神决定,技术人员只是确定AI模型中的常数而已”。

但最近,对这一判断的质疑纷至沓来。处于AI革命最前线的高层人士接连指出“AI的发展正在放缓”。近期,OpenAI投资方、风险投资机构(VC)安德森·霍洛维茨(a16z)的联合创始人本·霍洛维茨表示,“用于训练AI的图形处理器(GPU)数量以同样的速度在增加,但智能水平完全没有改善”,引发震动。

作为OpenAI联合创始人兼首席科学家、曾引发“逼宫奥尔特曼事件”的伊利亚·苏茨克韦尔,最近在接受路透社采访时也表达了担忧,称“扩大AI模型预训练所带来的成果正陷入停滞”。The Information报道称,OpenAI在开发GPT-5过程中遇到的困难,同样出现在谷歌Gemini 2.0的开发过程中。即投入海量数据进行训练,但性能改善未达预期,导致新型AI模型的发布被推迟。

对于2022年11月ChatGPT问世以来从未怀疑AI革命到来的科技界而言,这种速度放缓现象正成为加剧“AI泡沫”忧虑的因素。就在一年前的2023年年末,生成式人工智能(AI)性能竞争正处于顶峰。当时的话题是“超大规模AI竞争”。去年11月召开首届开发者大会的OpenAI打响了第一枪。OpenAI公开了在GPT-4基础上进一步改进的“GPT-4 Turbo”。性能提升的同时可识别更长的文本,还出现了可进行图像、语音识别的多模态AI,给市场带来冲击。随后在12月,生成式AI的鼻祖谷歌推出Gemini Ultra、Pro 1.0,正式加入AI竞争。进入今年2月,谷歌推出Gemini 1.5,被视为OpenAI劲敌的Anthropic也推出Claude-3,生成式AI大战由此展开。

当时还专注于通过“大型化”提升性能的AI业界,从6个月前起气氛骤变。5月推出的OpenAI GPT-4o,重点放在了快速响应速度、模型轻量化以及自然的对话功能上。谷歌也在年度开发者大会Google I/O 2024上公开了轻量化的Gemini 1.5 Flash和强化对话与视觉识别的Project Astra。Anthropic同样在6月推出了比此前快2倍的Claude-3.5。主要AI开发商开始把重心转向轻量化及引入聊天机器人功能。

进入今年下半年,向“推理”和“服务细分化”分化的态势更加明显。通过增加推理投入时间、演示识别以“外星文”书写的韩文句子而引发震动的OpenAI-o1便是代表案例。Anthropic也在10月公开了可识别PC画面并自动执行任务的AI智能体。谷歌则将Gemini植入Workspace、地图等自家服务,专注于改善使用体验。

这正是关于此前专注于投入更多算力资源、通过模型大型化提升性能的AI开发商正在寻找迂回路径的分析接连出现的背景。有解读认为,在AI基础设施投资成本暴增的情况下,与其执着于效率随时间推移而下降的规模法则,不如通过对客户友好的服务改善来寻找出路。实际上,OpenAI研究员诺姆·布朗在10月的TED AI大会上承认,“训练耗资数千亿、数万亿美元的模型在财务上不可能实现,因此规模法则在某个时点必然崩塌”,令业界震惊。

此外,可供学习的数据存在上限也构成障碍。内容著作权诉讼接连不断,加之互联网上公开的数据大多已被学习完毕,正出现“数据枯竭”。在此情况下,OpenAI和谷歌近期开始在AI训练中使用由AI生成的数据。The Information指出,“谷歌在Gemini 2.0的训练过程中使用了生成数据,但并未取得明显效果”。

阅读韩文原文