NAVER集团开发的大语言模型(LLM)“HyperCLOVA X”在针对韩国本土化的问题解决能力方面,表现优于OpenAI和谷歌的LLM。
NAVER Cloud Corp.27日表示,“HyperCLOVA X”在韩国版人工智能(AI)性能评估体系“KMMLU”中取得了高于OpenAI、谷歌生成式AI的分数。
KMMLU是由韩国代表性开源语言模型研究团队“Haerae”主导的AI性能评估指标构建项目。它由人文学、社会学、科学技术等45个领域中考查专家级知识的3万5030道题目构成。评估题目中约80%考查数学推理能力等全球通用知识,20%用于评估朝鲜半岛地理、韩国国内法等韩国本土化问题解决能力,可均衡衡量AI的普遍能力与本地知识,从而综合判断对韩国用户有用的AI。此外,KMMLU由韩语原版考试题目构成,可准确评估国内外AI的韩语理解能力。
根据KMMLU研究论文,HyperCLOVA X的得分高于OpenAI的“GPT-3.5 Turbo”和谷歌的“Gemini Pro”。尤其是综合一般知识与韩国本土化知识的整体性能,已被确认达到可与全球大型科技企业AI竞争的水平。以韩国本土化知识为标准,其得分甚至高于OpenAI的“GPT-4”,证明在教育、法律等本地信息重要性较高的产业领域,HyperCLOVA X可能最为有用。
NAVER Cloud Corp.计划以通过KMMLU验证的性能竞争力为基础,将HyperCLOVA X发展为兼具安全性与性能的“主权AI”解决方案。主权AI指为保障国家数据主权和合规而开发的AI技术。为此,NAVER Cloud Corp.曾于去年10月推出混合云服务“Neurocloud for HyperCLOVA X”,可在客户企业于封闭内网使用HyperCLOVA X时防止数据外泄。此外,NAVER Cloud Corp.还参与了KMMLU的设计过程,通过客观评估AI模型的韩语理解能力,被评价为为在韩国打造高性能AI营造了良好环境。
不仅如此,NAVER Cloud Corp.还在2021年与约30家企业及高校的自然语言处理专家共同构建了韩语自然语言理解基准“KLUE”。去年,通过与社会科学、法学等多个学科的合作研究,公开了用于提升韩国超大规模语言模型可靠性的韩语数据集。NAVER Cloud Corp.今后还计划推出多种企业级解决方案。
NAVER Cloud Corp.超大规模AI技术负责人成洛浩表示:“HyperCLOVA X是在全球通用知识基础上叠加韩国本土化问题解决能力的主权AI,凭借优异性能与强大安全功能,正在韩国产业界全面落地。”他还表示:“鉴于全球范围内对以本国语言为中心的AI存在需求,我们将以在韩国验证的主权AI竞争力为基础,加快进军全球市场的步伐。”






