可用于商业用途的Meta新一代开源大语言模型(LLM)“Llama2”在万众期待中华丽登场,却未能在评估语言模型性能的Hugging Face性能排行榜上夺得第一。因为它在发布之后曾一度占据榜首,但不久便将位置让给了排名第二的模型。阻挡Meta完美出道的,是韩国人工智能(AI)初创公司Upstage自主研发的模型。
搅乱Meta计划的主角,是Upstage基于“Llama1”自主开发的模型。正如其名,Llama1是Llama2的上一代版本。Upstage的模型以综合得分67分击败了66.8分的Llama2,截至22日被登记为性能最高的模型。
━ 参数不到一半却超越Llama2,秘诀何在? Upstage模型的参数规模为300亿个,不足Llama2(最高700亿个)的一半,却击败了Meta的最新模型,韩国业界对此反应振奋。参数相当于人脑中的突触概念,通常参数数量与模型性能成正比。OpenAI已公开参数规模的模型中,最新的GPT-3.5参数达1750亿个,而GPT-4则有推测称将达到万亿级别。
以不足一半的参数实现高性能,其秘诀的核心被认为在于训练数据质量。Upstage的模型是对Llama1进行微调而成,在这一过程中对所用训练数据质量进行精细化处理被视为其独门诀窍。
模型性能不仅受参数数量影响,训练数据的数量、质量等也会综合产生作用。Upstage正是通过数据质量、以较少参数实现高质量的案例。今年,该公司在全球权威AI学术会议“ICML 2023”中以数据为中心的机器学习研究工作坊DMLR(Data-centric Machine Learning Research)上发表了7篇论文,将研究力量集中于有效构建AI训练数据的方法论。
━ 安全与成本负担较小的sLLM……能否成为语言模型市场的鲶鱼 像这样相较于现有大型科技公司的大模型、大幅缩减模型规模的模型,通常被统称为“sLLM”,意为小型(small)LLM。sLLM除了意味着体量小而聪明的模型之外,对于顾虑安全与成本的企业还具有重要的商业启示。使用数千亿参数的模型需要庞大的算力成本,而sLLM在参数减少的同时降低成本,并仍能保证一定性能。在安全方面也更为有利。因为体量变小,企业便有了在自有服务器上直接部署模型使用的选项。
预计未来sLLM市场将进一步扩大。因为无论行业领域,企业都在整合LLM以升级自身服务。若面对如此旺盛的需求却始终要求与之不相称的高昂成本,市场对小而聪明的sLLM的需求很可能进一步上升。研究界也将持续思考能够替代大型基础模型算力的小模型,看好sLLM而进入市场的企业也预计将越来越多。此外,如今可商用的Llama2刚刚问世,若利用该模型的衍生模型不久后相继亮相,业界预计sLLM的影响力将进一步增强。






