2023-12-26 | 실리콘밸리=윤민혁 특파원

2024年,超大模型之后‘超小型AI’崛起 [回顾全球]

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

在ChatGPT等大规模语言模型(LLM)人工智能(AI)主导的2023年之后,即将到来的2024年,基于小规模语言模型(sLM)的"小型AI"有望受到关注。轻量高效的小型AI将补充必然需要投入巨额资本和计算资源的超大规模AI,从而在用户手持设备上运行AI。以Meta为开端,谷歌、微软(MS)、苹果等科技巨头相继推出小型生成式AI。Samsung Electronics、高通、英特尔等硬件制造商也紧随其后,正在争夺小型AI市场的主导权。

据26日信息技术(IT)业界消息,苹果于去年10月与美国哥伦比亚大学研究团队共同开发了小型生成式AI"Ferret"。Ferret有参数(AI学习指标)分别为70亿个和130亿个的两种模型。相比参数达1万亿个的OpenAI GPT-4,这一数字极小,但在图像描述等特定领域优于现有LLM。

不只是苹果。近期除OpenAI之外的主要企业公开的生成式AI中,只有谷歌Gemini Ultra和Pro属于超大规模模型。就连谷歌也同时推出了由AI学习指标参数18亿个和32.5亿个构成的"Gemini Nano",加入sLM阵营。Meta早已以"Llama-2"打开了sLM之门。与OpenAI联手主导超大规模AI市场的微软也于本月12日推出了参数为27亿个的小型AI"Phi-2"。Salesforce AI的"XGen-7B"参数同样为70亿个。中国阿里巴巴的Qwen系列则是拥有18亿个、70亿个、140亿个等多种参数规模的模型。

◇ 规模之争难胜美国…AI开发趋向小型化、最优化

这表明AI开发趋势正从"规模之争"转向小型化与最优化。超大规模AI的惊人性能背后需要巨额资本。不仅开发,运行也需要大量价格飞涨的图形处理器(GPU)。耗电量也大,维护费用高。体量庞大,在针对各使用场景进行最优化方面也存在局限。也就是"性价比"差。

区分LLM与sLM的分界点是300亿个参数。近期发布的生成式AI大多参数在18亿至70亿个之间。业界判断这一水平能在最小化性能牺牲的同时实现最大效率。也就是力求以最小规模输出最大"功率"。

sLM学习量虽少,但通过最优化(微调)可发挥超出其规模的性能。微软的Phi-2参数仅27亿个,但通过最优化可达到675亿个参数水平的性能。图像生成AI的代表企业Stability AI本月公开的Stable LM Zephyr 3B参数仅30亿个,却超越了以700亿个参数训练的Meta"Llama-2-70b-chat"。

认识到美国已掌握超大规模AI主导权的现实,也是小型AI开发热潮兴起的原因之一。在生成式AI被视为决定未来国力与安全的技术之际,业界判断在规模化竞争中无法追赶美国。超大规模AI市场已由微软与OpenAI联盟的ChatGPT凭借资金优势主导,连谷歌都难以追赶,而在小型AI领域只要有技术实力就能找到突破口。

近期作为高性能小型AI备受关注的Mistral、Falcon、Qwen分别在法国、阿联酋(UAE)、中国开发,正是佐证。它们不仅将AI小型化,还公开作为设计图的"源代码",呈现出构筑联合阵线的动向。战略是即便无法独占成型的AI,也要通过开放性弥补不足的资本与人力。

在开发资源有限的韩国国内,NAVER集团、KT等也推出了超大规模AI,但在规模和性能上被评价为不足以追赶ChatGPT、谷歌Gemini等。因此,在LLM竞争中落后一步的韩国在小型AI领域仍有竞争力的可能性备受关注。在26日综合AI模型推理、语言理解能力等给出平均分的Hugging Face"Open LLM Leaderboard"排名中,韩国初创企业Upstage开发的"Solar-10.7B"以平均74.2分位居第二。这一数值高于基于LLM的AI——OpenAI GPT-3.5的71.9分。有分析认为,应像Solar一样致力于提升小型AI性能。

◇ 从中央集中式AI迈向各终端自行处理的"边缘AI"时代

经过最优化的小型AI普及可防止超大规模AI的"过度消耗"。也能克服因所需运算量大而只能在大型数据中心以云方式运行的超大规模AI的先天局限。随着运算量激增,ChatGPT运行速度变慢,接入故障也频繁发生。在生活各领域应用AI时,若只依赖中央化的超大规模AI,可能出现"AI停电"事态。在互联网、移动通信普及条件差或国土辽阔的国家,问题更为严重。

小型AI的终极目标是摆脱依赖数据中心的超大型AI的局限。这意味着实现移动设备自行运行AI的"边缘AI(端侧AI)"。其意图在于根据使用环境提供性能与成本相适的AI,同时分散集中于超大规模AI的运算负担。

谷歌已将小型AI"Gemini Nano"应用于Pixel系列,Samsung Electronics将在CES 2024结束后公开的Galaxy S24预计内置生成式AI"Gauss"。苹果明年推出的iPhone 16也很可能搭载Ferret。高通、英特尔等芯片组制造商亦加入其中,从半导体到成品设备加速应用边缘AI,展开抢占市场的竞争。

近期市场调研机构Counterpoint Research分析称,今年仅4700万部的生成式AI智能手机出货量将以年均83%的速度增长,到2027年将达到5.22亿部。预测四年后生成式AI智能手机在全球智能手机市场的占比将突破40%。引领生成式AI智能手机市场的企业预计将是Samsung Electronics。Counterpoint Research预计明年生成式AI智能手机市场的一半将由Samsung Electronics占据。

高通10月推出的PC用处理器"Snapdragon X Elite"和移动AP"Snapdragon 8 Gen 3"大幅强化了AI性能,可分别自行处理拥有130亿个和100亿个以上参数的生成式AI。英特尔也加入了边缘AI阵营。英特尔于本月14日推出了首款内置神经网络处理器(NPU)的笔记本电脑CPU"酷睿Ultra"。

阅读韩文原文