2024-09-27 | 진동영 기자

“激活韩语AI语言模型”Kakao集团公开函数调用性能评估工具

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

Kakao集团(035720)27日表示,公司已构建用于评估人工智能(AI)语言模型函数调用(Function Call)性能的数据集“FunctionChat-Bench”,并于23日以开源形式公开。

函数调用是将语言模型与应用程序接口(API)等外部工具连接的技术,使AI语言模型能够指示其自身无法执行的动作,或实时获取未事先学习的信息。这是基于语言模型实现服务的必备要素。例如,利用函数调用功能将模型连接到地图等特定API后,即可调用实时道路信息进行回答。

Kakao集团的FunctionChat-Bench数据集为推动函数调用技术高度化,在韩国国内信息技术(IT)企业中首次构建了可在韩语对话环境下多维度评估性能的体系。此前的函数调用性能评估数据集大多由全球企业构建,以英语为基础。

该数据集由以下评估基准项目构成:△函数名称与参数提取准确性 △函数调用结果传达准确性 △能否通过识别缺失信息发起追加提问 △与可调用函数的相关性检测等。评估范围还包括在函数调用前后生成与用户适当交互信息的能力。

Kakao集团为促进韩语AI语言模型生态活跃及开放的AI环境,将该数据集公开于开源社区GitHub。今后计划扩大数据集规模并增加英文版本,以拓展其可用性。

Kakao集团 Kanana Alpha成果负责人金炳学表示:“构建数据集并开源公开,具有为基于韩语的国内AI技术生态做出贡献的意义”,“由于首次奠定了函数调用技术的性能评估基础,我们计划持续努力提高数据集的实用性。”

阅读韩文原文