Anthropic于今年4月7日发布被评价为史上最强人工智能(AI)模型的Claude Mythos,令AI产业进入紧急状态。Mythos在安全领域拥有史上最强性能,甚至能找出27年来都未被发现的漏洞(软件缺陷),但若被用于黑客攻击,可能导致严重的个人信息泄露和系统瘫痪。这正是Anthropic仅向部分政府机构和大型银行等有限提供Mythos预览版的背景。
根据微软(MS)2024年11月发布的数字防御报告,调查显示全球每天发生6亿起网络攻击。随着AI日益高端化、AI智能体(助理)使用范围扩大,安全业界和AI企业中负责安全的开发者们的苦恼也在加深。
那么,让主导AI产业的代表性企业安全负责人担忧到难以入眠的问题究竟是什么?他们将AI智能体的急速扩散、智能体的双重性、大语言模型(LLM)提示注入(指令劫持)等列为主要问题。Seoul Economic Daily根据近期进行的采访和媒体座谈会,以问答形式整理了安全负责人们的忧虑。
Q. AI智能体扩散速度有多快
▷微软安全部门副总裁瓦苏·贾卡尔:随着企业向尖端企业转型,成员们越来越多地使用智能体。据市场调查机构IDC预计,到2028年智能体将增至13亿个。我们采访的领导者中有80%以上表示已经在使用智能体,或计划在未来12~18个月内使用。
智能体似乎首次加入了劳动。我们拥有能够做出决策、并与人类一起自主开展工作的工具。因此我们认为,需要将适用于人类的同样的安全保护措施用于它们。出入时需确认身份,可以登录系统,获得适当的访问权限,并需适用正确的数据政策,使其只能访问所需数据。必须对智能体进行管理和控制。当智能体开始生成更多智能体时,就需要生成审计。必须改善治理,并对构建这些东西的方式怀有重大责任感。
Q. 智能体对安全有何影响
▷Snowflake首席安全与信任官(CSTO)马扬克·乌帕迪亚伊:(就像Anthropic的Mythos一样)如同硬币的两面。若处理不当,这些智能体可能窃取数据或造成损害。企业在为创新而部署智能体的同时,又要不放慢创新速度,该怎么做?这是一大挑战性课题。此外,外部也在利用AI攻击防御者,试图找出所有弱点。在这两个层面上,AI都是既有趣又令人不安的存在。
Q. AI安全中的重要要素是什么
▷Snowflake首席安全与信任官(CSTO)马扬克·乌帕迪亚伊:在AI安全中,应对提示注入攻击、为智能体植入身份的脚手架(Scaffolding)、智能体用于数据沟通的模型上下文协议(MCP)都很重要。
在脚手架方面,让智能体只做准确的一件事很重要。不能让它做太多事。智能体可以比作实习员工。你把信用卡交给实习生,说“去买一台新打印机”,却可能出现他搬回一台冰箱的情况。因此必须向智能体授予你确切想要的权限。
所有智能体都使用MCP与多种工具沟通。智能体的潜力非常有吸引力。它不仅能回答问题,还能代替用户做出决定并采取措施。智能体提升个人生产力,但从企业角度看存在治理(管理)和安全问题。智能体在未经批准的情况下通过MCP连接服务器、访问数据,引发让信息保护最高负责人(CISO)们夜不能寐的“影子AI风险”。数据可能流向没有访问权限的未经验证的智能体。
智能体的运作方式与人类用户不同。它可以探索路径、调用应用程序编程接口(API)、尝试工作流(业务流程),但这需要明确的边界和监督。为此,Snowflake收购了管理智能体安全地通过MCP访问数据的安全企业Natoma。
Q. 最近有什么事让你彻夜担忧
▷微软负责产品营销经理肯·阿彻:在AI安全方面,让我整夜担忧的是新出现的漏洞。此前我们谈论的是可以通过Dash这类深度安全研究用途系统发现的传统代码漏洞。
还有提示注入攻击这一要素。在传统软件中,数据与指令是分离的,但在AI智能体中,指令是通过模型生成完成的。这导致数据与指令的分离被打破,为注入恶意指令打开了通道。
因此微软多年来一直在研究问题缓解方案和提示注入攻击。我们团队对各种问题把握得很好,并且掌握的间接提示注入攻击缓解手段比任何其他平台都多。
▷微软安全部门副总裁瓦苏·贾卡尔:有两件事让我夜里难以入睡。第一是智能体本身被用作攻击工具。我们使用“双面智能体”这一概念。如果向AI下达恶意指令或要求它做坏事,而又没有适当的安全装置,AI就可能像双面间谍一样行动。我们在使用这类AI时,该如何建立正确的安全装置,防止它们做出恶意行为或成为双面间谍,是我们的苦恼。
第二是AI帮助犯罪者以极快的速度发起攻击并扩大攻击规模。以基于AI的钓鱼攻击为例,可以看到用户点击钓鱼链接的概率高出5.5倍。目前80~90%的杀伤链都在自动化中使用AI。随着AI制造出自动代码生成这样的新变种,其规模与精巧程度已达到前所未有的水平。
我认为在这种情况下要走在前面,唯一的方法就是利用AI。智能体AI是强大的工具。或许可以说,防御者首次拥有了让天平向自身资产有利倾斜的技术。我们必须用AI来对抗AI进行防御。
如果把安全交给AI,人类不就没有角色了吗
▷微软安全部门副总裁瓦苏·贾卡尔:我认为人在安全中扮演着非常重要的角色。最重要的是,人必须参与到过程中。人的角色会发生变化。因为治理角色正变得重要。我们已经在见证这种变化。
网络犯罪给经济造成的损失高达11万6000亿美元(1京7880万亿韩元)。AI智能体之所以重要,是因为全球每年都在努力解决数百万个安全人力缺口。安全此前一直是攻击发生后再作反应的被动产业,如今已能事前应对和预测。客户正利用攻击图谱掌握当前发生的所有攻击,并使用AI预测下一次攻击何时发生。
安全产业此前存在严重的人力不足和极度的倦怠。我认为这是为人们打开新可能性的机会。安全分析师和安全实务人员的角色也在变化。现在所有人都要成为管理者。智能体团队成员正在学习这种方法。在谈论智能体相关话题时,几乎没有人说不需要人类。相反,大家讨论的是如何利用技术跟上速度,如何实现以外部安全无法做到的事情。






