2026-03-12 | 대전=박희윤 기자

“筛除会出事的AI机器人”

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

一种新的性能评估模型被开发出来,可精确验证将投入产业现场和家庭等场景的AI机器人能否在实际环境中遵守各项安全规则并完成任务。

科学技术联合大学院大学(UST)12日表示,韩国电子通信研究院(ETRI)学院人工智能专业金道亨教授(通讯作者、ETRI社会机器人研究室主任)与金炯民博士生(第一作者)研究团队开发出新的AI机器人性能评估模型(基准)“SPOC(以安全为中心的智能作业设计评估模型)”,用于验证机器人等实体AI系统在信息不足或存在物理限制的情况下能否安全执行任务。

近期,将ChatGPT等大型语言模型(LLM)应用于机器人本体,使其理解用户日常语言指令并自主规划、执行复杂作业的具身(Embodied)AI机器人研究正在活跃展开。

但现有评估方式存在局限:尽管机器人被投入日常生活,评分却仅停留在“是否达成目标”,而非考虑各种风险因素的“是否安全完成作业”。

此次开发的SPOC模型将“安全”设定为核心评估要素。它不仅评估机器人最终目标达成率,还同时实时评估其对家庭环境中可能发生的5大主要风险因素(火灾、水溢出、物品损坏、造成人员受伤、食物污染)的安全遵守情况。

特别是,该模型将以往评估中难以验证的机器人“现实认知能力(部分可观测性)”和“物理约束”严格纳入评估标准。

例如,当向AI机器人下达“把红酒瓶拿来”的指令时,现有评估中机器人会跳过“开门寻找”的中间过程直接前往目标物,而SPOC评估模型会将这种不合理的行动规划判定为失败。取而代之的是,它验证机器人能否自行作出“看不见,所以必须先亲自打开橱柜门再寻找”的现实判断并加以执行。

此外,当手中拿着物品的单臂机器人需要打开另一个抽屉时,该模型会严格评估其是否作出“必须先放下物品、空手开门”的判断。

研究团队采用了高标准的安全验证准则:机器人在作业过程中只要有一次违反安全规则,就立即以零容忍方式判定为失败。

研究团队通过SPOC模型对多种大型语言模型(LLM)进行实验的结果充分显示,当前AI模型的安全认知能力存在很大局限。特别是因无需庞大服务器、可直接搭载于机器人而备受关注的小型语言模型(SLM),即便给出明确的安全指示,其安全遵守成功率也极低,这证实了亟需开展加强实际AI机器人安全认知能力的研究。

第一作者、UST博士生金炯民表示:“此前AI机器人的性能评估一直以确认任务是否达成为中心,而SPOC模型是真正意义上的尝试,追问机器人能否在各种环境中遵守严格的物理约束与安全条件完成作业”,“希望该评估模型有助于加速今后可投入实际现场的高可靠性AI机器人研究”。

通讯作者金道亨教授表示:“此次研究成果将为开发与人类共存的机器人时代必须以之为前提的‘安全实体AI’提供重要参考”,“今后计划将其发展为可评估自主推理安全规则、在危险情况下向人提问或修正行为等能力的模型”。

此次研究成果发表于信号处理及语音识别领域世界最权威的学术会议“ICASSP 2026”,印证了其卓越性。ICASSP是在全球最大学术数据库谷歌学术搜索信号处理领域独占第一的学会,是苹果Siri、OpenAI ChatGPT、谷歌助手等所用核心技术论文的发布舞台。

此次开发的SPOC性能评估模型及实验数据将向全球研究界公开,今后将作为以安全为中心的自主AI研究的通用标准验证平台加以利用。

阅读韩文原文