2024-11-17 | 실리콘밸리=윤민혁 특파원

“仅用少量算力即可应对”……状态空间、液体神经网络模型崛起[陷入停滞期的生成式AI]

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

随着生成式人工智能(AI)的“规模法则”出现崩塌迹象,AI学界与科技界寻找替代方案的步伐正在加快。脱离当前生成式AI基础算法“Transformer”结构的新型AI模型接连被提出。同时,也出现了从利用现有图形处理器(GPU)进行训练,转向以推理专用AI加速器为硬件中心的趋势。

17日,据硅谷科技界消息,作为Transformer的有力替代方案,状态空间模型(SSM·State Space Model)与液体神经网络(LNN·Liquid Neural Network)等正迅速崛起。Transformer是谷歌研究团队于2017年公开的模型,大幅提升了自然语言处理(NLP)性能,成为当前生成式AI诞生的基石。但其难以处理较长输入值,且信息量增加时处理速度急剧变慢,被指为局限。模型规模越大,所需的运算资源就越多。

卡内基梅隆与普林斯顿研究团队2023年提出的AI模型Mamba近来备受关注。由于它能够根据各输入值所需信息的“状态”选择性取用“空间”进行运算,因此也被称为状态空间模型。如果说ChatGPT等现有模型会遍历所学的全部信息,那么Mamba则是先决定关注哪些信息再行动。凭借这一特性,即便输入长文本,也能以比Transformer更少的运算资源应对。目前Mamba在小型模型上取得了有意义的成果。据悉,已公开的30亿个参数模型Mamba-3B性能与两倍规模的Transformer模型相当,推理速度快5倍。阿拉伯联合酋长国(UAE)政府研究所也推出了70亿个参数的模型“Falcon Mamba 7B”,加入研究行列。

近来,液体神经网络也取得了可见成果。去年年初由麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)出身的研究人员创立的Liquid AI,上月推出了首个基于液体神经网络的AI基础模型。Liquid AI成立后即获得3.03亿美元(约4200亿韩元)估值认可,并获得3700万美元(约500亿韩元)首轮投资,由此声名大噪。

与现有深度学习不同,液体神经网络的人工神经网络神经元决策方程并非固定,而是具备像液体一样灵活变化的结构。如果说现有模型专长于从已输入的数据中找出答案,那么液体神经网络则能适应实时变化的数据并得出答案。虽然仍处于初期阶段,但据悉在部分性能评测(基准测试)中已超越基于现有Transformer的AI。

阅读韩文原文