2023-12-25 | 실리콘밸리=윤민혁 특파원

以少量学习获20倍以上性能…"小而强的AI"成主流

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

近期生成式人工智能(AI)的开发趋势正从“规模之争”转向小型化与最优化。超大规模AI在带来惊人性能的同时也需要庞大资本。无论开发还是运行,都需要大量价格飞涨的图形处理器(GPU),耗电量也大,维护成本高。体量庞大,在针对各使用场景进行优化方面也存在局限。要让AI融入现实生活的各个角落,它过于沉重和昂贵,“性价比”不佳。

因此科技业界希望以小规模语言模型(sLM)AI克服大规模语言模型(LLM)的先天局限。通过小型AI和在各设备上处理信息的边缘AI(端侧AI)的普及,既可根据使用环境提供性能与成本相适应的AI,也意在分散集中于超大规模AI的运算负担。

综合25日信息技术(IT)业界的说明,高效的生成式AI开发如今已成为巨大趋势。IT业界将300亿个参数视为划分LLM与sLM的分界点,而近期发布的生成式AI大多参数量在18亿至70亿个之间。

近期OpenAI等主要企业公开的生成式AI中,仅谷歌Gemini Ultra、Pro可算基于LLM。就连谷歌也同时推出了由18亿个和32亿5000万个参数构成的“Gemini Nano”,加入了sLM阵营。Meta早早推出参数70亿个的Llama-7B,开启了sLM之门。微软(MS)12日公开的“Phi-2”参数也仅27亿个,Salesforce AI的“XGen-7B”参数同样为70亿个。中国阿里巴巴的Qwen系列则是拥有18亿个、70亿个、140亿个等多种参数规模的模型。

如上所述,近期AI开发正转向以最小规模获得最大“输出”的方向。sLM学习量较少,但通过优化(微调)可发挥出超出其规模的性能。MS的Phi-2参数仅27亿个,但通过优化可达到675亿个参数水平的性能。图像生成AI的代表企业Stability AI本月公开的Stable LM Zephyr 3B参数仅30亿个,却超越了以700亿个参数训练的Meta“Llama-2-70b-chat”。

经过优化的小型AI的普及可以防止超大规模AI的“过度消耗”。ChatGPT等超大规模AI即便面对简单提问也要经过复杂运算。以年初为准,ChatGPT的运行成本约为普通搜索引擎的200倍,应用GPT-4的当下资源消耗更大。AI真正的盈利领域预计将是产品和服务领域,这一点也为小型AI开发增添了动力。美国IT市场分析与咨询公司Gartner表示:“希望引入AI的企业将5亿至200亿个参数视为成本与性能的最佳平衡点,这样的情况正越来越多。”

超大规模AI因所需运算量大而只能在大型数据中心以云方式运行的先天局限,也是小型AI受到关注的背景。随着运算量激增,ChatGPT运行速度变慢,连接故障也日益频繁。在生活各方面应用AI时,若只依赖中心化的超大规模AI,可能会发生“AI停电”事态。在互联网、移动通信普及条件差或国土辽阔的国家,问题更为严重。当AI不仅应用于智能手机、PC,还应用于出行、闭路电视、基础设施等各类设施时,一旦发生连接故障,社会的根基可能动摇。为避免此类危机,认为需要小型AI以便在紧急情况下各设备也能自行运行AI的主张正日益获得支持。

对超大规模AI主导权已被美国掌握这一现实的认知,也是小型AI开发热潮兴起的原因之一。在生成式AI被视为将左右未来国力与安全的技术之际,业界判断在大型化竞赛中无法追赶美国。近期因高性能小型AI备受关注的Mistral、Falcon、Qwen分别由法国、阿联酋(UAE)、中国开发,正印证了这一点。它们不仅将AI小型化,还公开作为设计图的“源代码”,呈现出构建联合阵线的动向。这是一种即便无法垄断成品AI,也要通过开放性克服资本与人力不足的战略。

阅读韩文原文