2026-02-03 | 김태영 기자

Kakao集团的AI评估指标获全球学会认可

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

Kakao集团开发的编排能力评估指标在主要国际学术会议上获得认可。

Kakao集团3日表示,其自主开发的“编排基准(Orchestration Benchmark)”被世界三大AI学会之一的ICLR(国际表征学习大会)2026录用为论文。编排能力是指解析复杂的用户请求、调用适当的工具并管理各类任务间依赖关系。

ICLR是人工智能领域的顶级学术会议,今年约有1.9万篇论文投稿,仅前28%被录用。

Kakao集团注意到大型语言模型(LLM)正超越简单问答,向可规划和协调多种任务的智能体AI升级,因而开发了此次基准。现有LLM基准仅停留于片面的性能评估,在评估编排能力上存在局限。为此,Kakao集团提出了基于实际服务场景、将AI模型的任务规划与工具执行分离进行精细评估的框架。

此次编排基准涵盖旅行、购物、金融、日程等17个服务领域及100余个虚拟工具。基于用户变更请求或追加提问等实际服务中的对话流程构建场景,提升了实用性。同时支持韩语和英语两种语言。尤其在韩语方面,反映了文化特性与语境,提高了评估的准确度与可信度。

Kakao集团已将该论文公开在开源平台GitHub上。Kakao集团相关人士表示:“编排基准是评估智能体AI能否在实际服务环境中稳定运行的核心工具,在向自主判断并执行的智能体AI演进的当下,是有意义的研究成果”,“今后也将持续开展强化智能体间协作与编排能力的研究。”

阅读韩文原文