2025-12-29 | 김흥록 기자

“像现实生活一样同时理解声音、画面与文字”…NAVER集团团队公开自研全模态AI

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

在政府推进的国家代表人工智能(AI)首次发布日前一天,NAVER集团团队发布了不仅能理解文本,还能同时理解语音与场景的自研AI模型。该模型应用了被视为理解现实生活语境的未来AI核心技术的所谓“全模态”。

与此同时,该团队还公开了为使现有推理型AI模型可作为全模态使用而开发的另一款AI模型。经确认,该模型在高考大多数科目中具备达到1等级的性能。

NAVER Cloud Corp.29日表示,作为韩国科学技术情报通信部“自主AI基础模型”项目的主管企业,其正在推进的“Omni基础模型”开发课题取得首个成果,当天对外公开了2个模型。公开的模型为原生全模态模型“HyperCLOVA X SEED 8B Omni”和高性能推理模型“HyperCLOVA X SEED 32B Think”。

首先,8B Omni模型全面采用了将文本、图像、音频等不同形态数据在单一模型中从一开始就共同学习的原生全模态结构。“模态”是“modality”的简称,指AI处理的各种信息形态。现有多模态是指只理解文本的AI之后接触图像或语音,并将其与词语相连接从而理解世界的方式;而全模态则从一开始就同时学习文字、图像、语音和声音,对给定信息进行整合性理解与推理。即使信息形态不同,应用全模态的AI模型也能在同一语义空间中整合理解情境、语境与环境,因此在语言、文字、视觉与语音信息复合交互的真实现实环境中具有高可用性,备受关注为下一代AI技术。

因此,8B模型还具备基于文本指令生成、编辑图像的全模态生成功能。例如,展示一张某人在户外拍照的图像后,若要求“请画出这位拿着相机的人可能拍下的风景照”,它便会生成合适的风景照片。公司相关人士表示:“这是全球前沿AI模型一直提供的功能”,“NAVER Cloud Corp.通过此次模型展示了已具备该水平的多模态生成能力”,以此强调其意义。

NAVER Cloud Corp.为评估8B Omni模型的性能,采用了包括△音频输入—音频输出 △文本输入—图像输出等13项测试标准,与4个全球多模态AI模型进行比较。据此,NAVER Cloud Corp.的8B Omni在13项标准中的11项表现出最高性能。NAVER Cloud Corp.超大规模AI技术总负责人成洛皓表示:“即使把模型规模做得很大,如果数据多样性有限,AI的问题解决能力也只能集中在特定领域或特定科目上”,“因此必须先行完成对尚未数字化的生活语境数据、反映地区地理特性的空间数据等差异化现实世界数据的获取与清洗过程”,以此说明全模态模型的开发意义。

NAVER Cloud Corp.认为通过此次模型公开验证了原生全模态AI的开发方法论,今后计划通过正式训练分阶段推进规模扩展。相关地,NAVER Cloud Corp.还展示了利用Omni 8B模型的咨询智能体、韩语方言外语转换智能体等现实生活应用案例。NAVER Cloud Corp.表示:“与结合文本、图像、语音模型的现有多模态路径不同,单一模型结构的全模态AI在规模扩展上相对容易,这也是其特点”,“将推进高效扩展产业与日常贴近型服务所需的各种规模特化全模态模型的战略”。

NAVER Cloud Corp.与Omni 8B模型一同公开的32B Think,是在原有推理型AI“HyperCLOVA X SEED Think”模型上结合视觉理解、语音对话与工具使用能力的模型。该模型在保持理解与推理文本和图像的视觉语言模型(VLM)能力的同时增加了语音对话,特点是在多模态基础上实现了全模态智能体体验。

据该公司公开的性能评估结果,用32B Think模型解答今年大学入学考试试题的结果显示,在国语、数学、英语、韩国史等主要科目均取得相当于1等级的分数。英语和韩国史取得满分。公司方面表示:“与多数AI模型需要将题目转换为文本输入的方式不同,该模型直接理解图像输入并解题,这一点具有差异化。”

成总负责人表示:“我们确认,在将文本、视觉、语音等AI感官横向扩展的同时强化思考与推理能力时,现实问题解决能力会大幅提升”,“我们认为只有在具备这些基本功的结构之上逐步扩大规模,才能发展为真正有用的AI,而不是单纯体量庞大的模型,并将以此为基础持续推进规模扩展”。

另一方面,韩国科学技术情报通信部与信息通信产业振兴院(NIPA)将于30日在首尔江南区COEX礼堂举行自主AI基础模型项目首次全民发布会。8月选定的5支精锐团队(NAVER Cloud Corp.、Upstage、SK电讯、NC AI、LG AI研究院)将在活动上发布开发成果。

阅读韩文原文