韩国研究团队在全球率先开发出可自动评估基于大语言模型(LLM)生成的作业流程性能的技术。由此有望实现快速、客观的流程生成性能评估。
韩国电子通信研究院(ETRI)7日表示,社会机器人研究室研究团队开发出可自动评估流程生成人工智能(AI)性能的LoTa-Bench技术,该类AI能在人以语音下达作业指令时,自行理解作业流程、制定计划并执行。
ETRI表示,基于ALFRED的基准测试结果显示,OpenAI的GPT-3成功率为21.36%,GPT-4为40.38%,Meta的LLaMA 2-70B模型为18.27%,MosaicML的MPT-30B模型为18.75%。模型规模越大,流程生成能力也越出色。成功率20%意味着100个流程中成功20个。
研究团队在全球顶尖人工智能学术会议之一的国际表征学习大会(ICLR)上发表了论文,并通过GitHub公开了利用该技术对共33种大语言模型的流程生成性能评估结果。
研究团队表示,此次技术开发可大幅减少利用大语言模型的机器人作业规划技术的性能评估时间与成本。此外,研究团队期待,随着软件以开源形式公开,企业、高校等可自由运用该技术,从而加快相关技术的发展。
近来大语言模型除语言处理、对话、数学解题、逻辑证明外,在理解人的指令、自主选择子任务并按顺序执行以达成目标的流程理解领域也表现出优异性能。因此,将大语言模型应用于机器人应用与服务实现的尝试正广泛展开。
ETRI表示,其在全球率先开发出LoTa-Bench技术,可自动评估大语言模型的流程执行结果是否良好达成指令目标,即流程理解技术的性能。
此前由于缺乏可自动进行流程理解性能评估的基准技术,只能由人工直接评估,费时费力。
例如包括谷歌SayCan在内的既有研究采用了由多人直接观察作业执行结果并投票判定成功与否的方法。因此性能评估需耗费极长时间与精力,不仅繁琐,还存在评估结果掺杂主观判断的问题。
ETRI开发的LoTa-Bench技术会按用户指令执行大语言模型生成的作业流程,并自动比较结果是否与指令目标一致,从而判定成功与否。因此可将评估时间与成本降至最低,且结果客观。
性能评估在为机器人与具身智能体智能研发而开发的美国艾伦人工智能研究所(AI2-THOR)与美国MIT(VirtualHome)虚拟仿真环境中进行。研究以“把冷却后的苹果放进微波炉”这类日常家务指令为例,使用包含各作业流程的数据集进行评估。
此外,研究团队利用LoTa-Bench技术可简便快速验证新流程生成方法的优势,还发现了两种通过数据训练改善流程生成性能的策略,即上下文示例筛选法(In-Context Example Selection)与基于反馈的重新规划(Feedback and Replanning)。同时还确认了通过微调改善流程生成性能的效果。
ETRI社会机器人研究室首席研究员张敏洙表示:“LoTa-Bench是流程生成AI开发的第一步”,“今后计划研发在不确定情境下预测作业失败,或向人提问并获得帮助从而持续改善作业生成智能的技术,要实现一户一机器人的生活时代,这项技术必不可少。”
ETRI社会机器人研究室主任金在弘表示:“ETRI正致力于利用基础模型推进机器人智能高级化的研发,以实现能在现实世界中生成并执行各类任务规划的机器人。”






