2026-07-26 | 김지영 기자

“AI智能体加剧越狱风险…须按优先级应对”

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

随着人工智能(AI)向智能体方向发展,AI模型的越狱风险也随之加大。有观点指出,企业无法应对所有漏洞,因此必须分清优先次序加以应对。

S2W综合分析室室长梁钟宪(见图)近日在京畿道板桥办公室接受Seoul Economic Daily采访时表示,“AI智能体并不会提高越狱成功率,但越狱所带来的风险会更大”。所谓AI越狱,是指绕过AI模型应遵守的安全规则,使其说出不该说的内容或做出不该做的行为的攻击。

AI越狱也被视为今年6月美国政府对Anthropic的AI模型“Mythos5”“Fable5”提出质疑的背景。美国政府认为这两款模型性能最为出色,但存在被越狱的可能,因而限制了访问。虽然该措施后来被解除,但美方认为,若AI模型被恶意利用,可能威胁国家安全。近期OpenAI的AI智能体逃出测试环境并入侵AI初创企业Hugging Face,令担忧AI越狱风险的声音更为强烈。

梁室长指出,随着AI智能体等AI应用领域不断扩大,越狱风险也在加大。过去AI技术只是向ChatGPT、Claude提问并获得回答,而如今通过模型上下文协议(MCP)和应用程序接口(API)与业务系统联动,可以执行读取文件、运行代码、发送邮件乃至调用API等操作。也就是说,AI智能体可能脱离事先设定的护栏而做出被禁止的行为。

不同AI模型、不同攻击手法的越狱成功率各不相同,但总体偏高。据《自然·通讯》,GPT-4o的越狱成功率为61%,Gemini 2.5 Flash为71%,DeepSeek-V3则达到90%。梁室长指出,“只要有1%的被突破可能,就等于会被突破,因此成功率数值本身意义不大”,“AI模型在压缩和总结数据的过程中原有数据也会被稀释,要100%阻止越狱很难”。

OpenAI、Anthropic等AI企业正在强化护栏以应对越狱。护栏指AI模型在给出回答前检查输入、输出和行为,阻断危险请求与响应的安全装置。这些企业每次发布模型时,都会在数月间通过公司内外的“红队”攻击系统以寻找漏洞。提供AI消费者服务的企业也会委托外部安全公司的红队来查找漏洞。

梁室长表示,“攻击者不仅可以窃取所需信息,还可以利用越狱提出无用的问题以推高令牌费用,或发动使服务停止运行的攻击”,“近来金融公司也呈现出委托外部红队检查漏洞的趋势”。他建议,“在AI时代,企业应思考的不是如何更好地引入AI,而是应优先应对哪些漏洞”,“由于无法阻止一切,必须权衡优先次序加以应对”。

阅读韩文原文