2025-08-28 | 김흥록 기자

SKShieldus攻破AI智能体漏洞

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

安全专业企业SKShieldus的白帽黑客团队在微软(MS)主办的全球安全大赛上,成功查明了人工智能(AI)代理的漏洞。他们揭示了可以在由AI自动发送的邮件中植入恶意指令这一事实及其方法,被评价为为强化AI代理安全奠定了基础。

据安全业界28日消息,SKShieldus的白帽黑客团队EQST在微软近期主办的AI安全挑战赛(Re:LLMail-Inject)中,于110支队伍中获得第二名。该大赛是微软为迎接AI代理时代、寻找并应对安全漏洞而举办的活动,参赛者直接扮演攻击者角色攻击漏洞。该活动继去年之后今年为第二届。

本次大赛的主要课题是“提示注入(Prompt Injection)”,即在下达给AI代理的业务指令中巧妙插入命令,使其执行可被用于黑客攻击的动作的攻击手法。SKShieldus的EQST采用所谓“双重命令结构”策略,在“撰写会议记录”这一正常指令之后附加以开发语言构成的隐蔽追加命令,使AI无法区分正常指令与追加命令。同时,通过将表示总结的英文拼写“Summarize”变形为“Summurize”的方式诱导AI混淆。

通过上述方式,EQST成功切入代理AI的邮件摘要功能,在正常邮件中隐藏恶意指令并诱导其发送。本次大赛中110支参赛队共尝试了9万次攻击,攻击成功306次,攻击成功率仅为0.3%。SKShieldus因发现AI代理系统的安全漏洞并提出应对可能性而获得好评,在仅3支获奖队伍中位列第二。

业界认为,在AI代理服务导入逐步落地的形势下,本次大赛为安全产业界留下了具有实务意义的成果。因为本次大赛的AI代理环境是基于广泛使用的OpenAI的GPT-4o mini和微软的Phi语言模型构建的。主办方计划将包括EQST在内的主要参赛者的大赛经验撰写成论文,与业界乃至学界分享。

安全专家警告,AI代理服务越普及,个人信息泄露或执行用户未预期操作的风险就越大。有观点指出,在撰写会议记录并发送邮件、代办客户咨询、处理预订与支付的过程中都可能出现安全漏洞。SKShieldusEQST Lab团队负责人李浩锡表示:“EQST在全球大赛中展现的成果不只是获奖,而是证明了AI代理可能超越其原有权限运行的案例”,并建议“企业和机构应以AI随时可能被黑为前提,重新设计以实战为中心的安全战略”。

阅读韩文原文