2026-06-06 | 실리콘밸리=김창영 특파원

“自我进化的AI或将失控” Anthropic发出警告

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

人工智能(AI)主要开发商纷纷主张放缓速度,称AI模型正走向在没有人类介入的情况下自行进化的阶段。理由是,AI正以进入能够独自推理和行动的智能体(助理)时代的速度快速进化,一旦AI能力达到人类无法控制的水平,可能给社会带来灾难。

Anthropic于4日(当地时间)在博客中表示,如果无法控制AI的递归式自我改进(recursive self improvement,RSI),社会可能出现巨大混乱,并提议达成包含可放缓或暂停开发选择权的国际共识。Anthropic警告称:“能够自我构建的AI可以为科学、医疗等多个领域带来益处,但也可能提高人类丧失对AI系统控制力的风险。”

AI的递归式自我改进,是指AI完全自主地设计、开发后续模型。聊天机器人最初出现时,所有环节都由人类主导,目前的智能体AI也是在人类的设计范围内自行寻找并解决任务。相比之下,AI自行具备后续模型所需的代码与算法并进行设计、开发的阶段,就是AI的递归式自我改进。随着对AI递归式自我改进的关注升温,深度学习领域顶级学术会议之一的国际学习表征会议(ICLR)于4月首次以此为主题举办了研讨会。

Anthropic开发的Claude已在部分功能上实现自我进化。2024年3月,Claude Opus 3模型可处理人类需4分钟完成的软件任务,一年后Sonnet 3.7已能处理耗时1小时30分的工作。又过了一年,问世的Opus 4.6已发展到可瞬间完成原本需要12小时的工作。Anthropic预测:“按照这一趋势,明年将能执行耗时数周的任务。”

Anthropic最大的竞争对手OpenAI也在去年12月的博客中强调:“我们正在研究如何安全地开发和部署可实现递归式自我改进的AI”,“希望系统能够一贯遵循人类意图,不采取致命行为。”

谷歌DeepMind研究员穆斯塔法·德加尼通过印度平台Office Chai表示:“递归式自我改进正在几乎所有主要AI研究机构中悄然发生”,“虽然尚未完全自动化,但朝着完全自动化发展的方向是明确的。”他指出,由于数年前这还只是理论,因此多数人并不了解AI的自我发展。

不过,对AI自我发展的看法存在分歧。与在AI生态中最重视伦理的Anthropic不同,Meta认为其利用价值也很高。Meta首席执行官(CEO)马克·扎克伯格在去年发布的有关AI未来的政策文件中警告称:“过去几个月我们看到了我们的AI系统自我改进的迹象”,“这将带来新的安全问题。”

不过,Meta在3月公开于公司主页的论文中介绍了“超级智能体”。这意味着其有意通过对自家AI递归式自我改进的研究,将其用于改进AI模型。主办方也表示,在深度学习学会ICLR的研讨会上,与会者之间几乎没有提及安全性。

也有部分声音批评Anthropic在渲染类似“Mythos事件”的恐惧。当时Anthropic出于对致命安全事故的警惕而限制Mythos的公开范围,随后又扩大公开范围,因此招来是否属于营销策略的质疑。有解读认为,此次警告同样是为了放缓竞争对手AI模型的开发速度,并尽可能维持自身的垄断地位。被称为AI教父的杨立昆则反驳称,以当前AI主流的大语言模型(LLM)为基础的模型无法使AI实现人类水平的智能。

阅读韩文原文