2023-08-20 | 양철민 기자

为韩语优化的国产大模型……增加外语学习叩开海外市场

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

NAVER集团将于24日推出面向生成式人工智能(AI)服务的大语言模型(LLM)“HyperCLOVA X”,同时着手制定进军全球AI市场的路线图。HyperCLOVA X是NAVER集团2021年5月公开的“HyperCLOVA”的升级版本,在韩国国内被视为OpenAI推出的“ChatGPT”的对抗者。

NAVER集团计划通过HyperCLOVA X的推出,不仅守住韩国国内AI市场,还将以与预计10月成立的关联公司“LINE雅虎”的合作为基础,在日本AI市场取得成果。NAVER集团计划今后将AI版图扩展至同为非英语圈、且高度关注本国数据主权的西班牙、墨西哥,乃至使用阿拉伯语的中东国家。

据信息技术(IT)业界20日消息,NAVER集团将“针对韩语最优化的服务”作为自家AI的强项。实际上,HyperCLOVA X对韩语的学习量是ChatGPT的6500倍以上。

特别是以韩语为中心的超大规模AI会分配针对韩语最优化的“token(词元)”,因此能够以相对低廉的价格提供聊天机器人服务。词元是为AI学习而汇集的一种“语料”,生成句子所使用的词元越多,生成式AI的运算过程和时间也必然越长。相反,针对特定语言最优化的LLM经过较短的运算过程即可给出回答,因此答复生成成本低于以英语为基础的LLM。例如对于“想去游乐场玩”这样一句韩语,ChatGPT会将其切分为30个词元。因为仅就一个字来看,其辅音与元音各自被切分为词元,共分配3个词元。按此方式,“想去游乐场玩”这句话共使用30个词元。

相反,对于与“想去游乐场玩”意思相同的英语句子“I want to go to the playground”,ChatGPT只分配8个词元,数量少得多。也就是说,即便ChatGPT生成同样意思的句子,生成韩语句子的成本也必然高于英语句子。NAVER集团计划以空格、音节、语素等为标准对HyperCLOVA X生成的韩语句子进行词元化,预计可用相当于ChatGPT三分之一的词元量生成韩语句子。

特别是对于希望以“插件”形式将自家服务接入LLM以推出新服务的企业而言,使用针对韩语最优化的NAVER集团的LLM有望实现相当可观的成本节约效果。这也是NAVER集团在24日HyperCLOVA X的公开发布会上,将大量时间用于说明收费路线图的原因。NAVER集团认为,今后若在自家LLM上大规模学习西班牙语、阿拉伯语、日语,甚至有可能占据这些国家的AI市场。

当然,NAVER集团的HyperCLOVA X与科技巨头相比也存在诸多弱点。NAVER Cloud Corp.超大规模AI技术总负责人成乐皓三个月前在接受某外媒采访时承认了技术差距,称“从技术角度看,我们(NAVER集团)的技术比OpenAI的ChatGPT落后约8个月”。

在资金实力方面,NAVER集团也远逊于科技巨头。NAVER集团今年上半年单独报表口径的现金及现金等价物为5848亿韩元,与2021年末的9644亿韩元相比实际上减半。原因在于NAVER集团近两年为进军海外市场而集中力量并购二手交易及内容企业,资金余力大幅减少。尤其是NAVER集团持有的现金及现金等价物规模,甚至不及OpenAI去年录得的5.4亿美元(约7236亿韩元)亏损额。

也就是说,若在HyperCLOVA X公开后未能找到合适的盈利模式而仅用户数快速增长,NAVER集团持有的现金可能在短短几年内耗尽。因此,据悉NAVER集团近期将其持有的板桥Tech One Tower 45.08%持股以3500亿韩元出售给新加坡政府投资公司(GIC),显示出正忙于筹措资金的态势。

必须为AI用数据中心升级投入天文数字般的费用,这对NAVER集团也是不利之处。构建LLM基础设施需要搭载针对大数据学习最优化的英伟达图形处理器(GPU),但由于GPU需求暴增,全球科技巨头同样面临供需困难。因此,英伟达GPU“H100”的价格去年约为3.6万美元,今年上半年一路飙升至4.6万美元,下半年涨势仍在延续。AI推理用芯片除英伟达产品外,也可使用Rebellions、SAPEON、FuriosaAI等韩国企业的AI芯片,但学习用芯片除英伟达GPU外别无替代方案,这对资金实力不足的NAVER集团而言是不利局面。一位IT企业相关人士表示,“Kakao集团、NCSOFT、LG等不使用全球科技巨头的LLM,而是自行开发LLM,正说明它们对技术依附的担忧之深”,“特别是NAVER集团推出的是不可避免与科技巨头激战的通用型LLM,因此韩国国内AI产业生态的方向也将在很大程度上取决于NAVER集团的成果”。

阅读韩文原文