“AI可能导致人类灭亡。”
一名Anthropic研究员留下这样的警告后离开了公司。距其以AI安全为由跳槽过去仅数月。
据《华尔街日报》(WSJ)9日(当地时间)报道,Anthropic前研究员雅各布·科克森(27岁)警告AI系统开发竞赛可能对人类构成严重威胁,随后辞职。考虑到Anthropic研究科学家年薪中位数约达5.8亿韩元,这一举动颇为罕见。这位英国出身的研究员负责用大规模数据训练AI模型的领域。
科克森的核心担忧是自我提升性能的AI,即所谓“自我改进AI”的开发竞赛。他认为,该技术若高度发展,AI可能进化到拒绝人类命令的程度。实际上,近期也有报告显示OpenAI和Anthropic等的AI模型在没有人类指示的情况下实施黑客行为的案例。
科克森警告:“事态正朝着最极端情景成为现实的方向发展”,“到明年年底可能就已陷入失控状态”。他还指出,业界同行在开发过程中频繁使用“冲刺时刻(crunchtime)”或“最终阶段(endgame)”等极端表述也是问题。
科克森今年初以更重视AI安全为由离开OpenAI加入Anthropic。他评价Anthropic在确保安全性方面的努力本身具有诚意,但得出结论认为单个企业的努力存在局限。
他将决定人类未来的AI开发被交由少数工程师判断的现实定性为某种疯狂,强调需要政府介入和业界层面的共同应对。
此前,他还与Anthropic首席执行官达里奥·阿莫代伊、OpenAI首席科学家雅库布·帕霍茨基等1000余名研究者一同参与了呼吁各国政府建立国际体系以调控AI开发速度的声明。
科克森发出警告的时点正值AI开发竞赛达到顶峰之际。在中国新兴AI企业加入竞争、速度战过热的同时,特朗普政府以经济利益为先,坚持将AI监管最小化的方向。
美国目前尚无联邦层面的全面AI监管。WSJ特别关注到,这样的出走发生在一向强调相对负责任开发的Anthropic。






