2023-08-19 | 강도림 기자

人人都在开发大模型…能存活多少?[AI托邦]

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

不知不觉间,投身人工智能(AI)大语言模型(LLM)开发的韩国企业已超过十家。不仅是能够投入巨额资金和人力东远集团的大型科技企业,连初创公司也纷纷加入。AI生态圈扩张是积极现象,但也有人担忧其是否会重走泡沫破裂的元宇宙和非同质化代币(NFT)的老路。也有观点认为,正如NAVER集团独占的门户领域一样,最终只有获得市场选择的部分LLM能够存活。各企业正以自身特色化方式全力确保LLM竞争力。

19日,信息技术(IT)业界有多家韩国企业和初创公司正在推进LLM开发。由于全球范围内正在进行一场没有硝烟的AI技术主权战争,多数专家对这一现象持积极态度。

NAVER Cloud Corp.AI创新中心负责人河正宇在今年5月大韩商工会议所与科技与贸易论坛共同举办的生成式AI研讨会上强调:“面对全球运营商,韩国企业必须拥有AI主权。”他表示:“虽然GPT-4已公开,但技术并未公开,以韩语为例,在ChatGPT上使用同样的服务却要比英文版多付4.5倍费用”,“从生态圈、数据主权、服务质量角度来看,有必要开展以韩语为中心的AI建设工作。”

也有人指出,让所有投身LLM开发的企业都成功存在现实局限。高性能LLM必须有丰富的数据集(数据集合体),而获取这些数据所需的基础设施或资金实力往往不足。一位专家表示:“只有让AI学习大量数据,才能打造出性能出色的LLM”,“中小企业或初创公司能否确保足够的数据令人怀疑。”

另一位业界人士表示:“NAVER集团不仅二十多年来掌控门户市场,还运营知识问答、博客等各类服务,积累了海量数据”,“Kakao集团(035720)虽有KakaoTalk这一武器,但作为往来对话中含有个人信息的通讯软件,其使用可能存在局限。”也就是说,在韩国国内,没有哪家比Naver更适合训练超大规模AI模型。

AI初创公司Upstage为解决数据不足问题,于14日成立了“1T俱乐部”。“1T”意为“1万亿(Trillion)token”。Upstage计划由为提供文本、书籍、报道等各类形态韩语数据作出贡献的合作企业组成1T俱乐部。Upstage拟借此确保韩语数据,着手开发高品质LLM。对合作企业,将按数据提供量比例给予API(应用程序接口)使用费折扣,并提供分享LLM的API业务所创造收益的优惠。

进入今年下半年,以上月公开超大规模AI“EXAONE 2.0”的LG(003550)为首,韩国企业的LLM大战全面展开。EXAONE 2.0是学习了多达4500万件论文、专利等专业资料的专家用模型,参数量达3000亿个。24日,NAVER集团将公开新一代LLM“HyperCLOVA X”。NAVER集团此前公开的HyperCLOVA参数量为2040亿个。下月将试运行基于生成式AI的搜索服务“Cue:”。Kakao集团也将在年内公开LLM“Ko GPT 2.0”,计划拆分为降低参数的中小型LLM模型,融入KakaoTalk等现有服务。KT(030200)也将在下半年加快超大规模AI“Mi:dm”的商用化。

初创公司的小型语言模型(sLLM)开发也在持续。LLM用于训练的参数量庞大,存在计算资源等硬件(HW)局限和成本问题。相反,它们主张sLLM可弥补这些不足,并通过在特定领域学习大规模数据,在日常对话、专业术语等特定领域和语言上取得可期的性能。IAAE国际人工智能与伦理协会理事长全昌培表示:“如果说LLM是覆盖所有领域提供服务的模型,那么sLLM可以作为法律用、游戏用等特定领域专用垂直模型更便捷地使用。”

ScatterLab早在ChatGPT热潮兴起之前的去年10月,就基于自主研发的sLLM“Luda Gen 1”推出了AI聊天机器人“Lee Luda 2.0”。开发Lee Luda 2.0时侧重于与用户的自然对话,目前正在此基础上学习知识数据,开发可实现逻辑互动的sLLM“Pingpong-1”。ScatterLab代表金钟允表示:“AI技术竞争将从模型之争最终转向独占性数据竞争”,“从长期角度看,我们正投资开发以专注情感对话的数据集为武器的sLLM。”

NCSOFT(036570)也在16日公开了专注于游戏剧本、图像、虚拟人等游戏开发的中小型LLM“VARCO”。AI初创公司Wrtn Technologies则采取支持用户使用多种模型的战略,将谷歌LLM PaLM 2的非英语语言模型以及OpenAI的GPT4、GPT3.5搭载到自家服务中。

高丽大学人工智能研究所教授崔炳浩表示:“AI领域是没有数据就玩不下去的游戏”,“需要高配置计算机、图形处理器(GPU)、高端人才等,也必须有大规模投资支撑。”他接着表示:“企业和初创公司应通过垂直等各自的LLM开发与运营方式来确保竞争力。”

由ChatGPT引发的生成式人工智能(AI)技术开发竞争日益激烈,期待与忧虑并存。与AI共处的当下以及未来,对人类可能是乌托邦,也可能成为反乌托邦。通过“AItopia”,我们分析AI带来的社会与产业变化,展望人类生活的未来。

阅读韩文原文