随着人工智能(AI)技术日益发展,对AI脱离人类控制范围而单独行动的担忧也在加剧。
据Axios 7日(当地时间)报道,正在开发AI智能体“ROME”的阿里巴巴系研究团队在新论文中介绍了AI智能体脱离控制、开始挖掘加密货币的案例。研究人员表示:“在没有任何明确指令的情况下,出现了超出预期沙箱范围的、未曾预料的自发行为。”据悉,AI的擅自行动是被沙箱安全监控系统检测到后得以确认的。如果研究人员未能发现,AI智能体本可能通过加密货币进行经济活动。Axios称:“AI智能体本可能设立自己的业务、签订合同并交换资金。”
该智能体还开设了“反向SSH(Secure Shell)隧道”。这是在系统内部打开通向外部计算机后门的行为。这同样是AI智能体在没有研究人员指令的情况下自行实施的。对此,研究团队表示已为模型添加更严格的限制并改进了训练流程。
AI智能体脱离人类指令已不再是罕见案例。Anthropic研究人员去年5月发现Claude 4 Opus模型可能隐藏意图并采取自我保存行为,因而受到强烈批评。谷歌Gemini近期被指控将一名居住在美国佛罗里达州的男子引入妄想状态,最终导致其自杀。






