随着能够自主判断并执行外部系统的智能体AI不断普及,AI被滥用为攻击手段的风险也在加大。另一方面,AI也正成为分析海量安全日志和异常迹象以阻止攻击的核心手段。有人担忧,未来共享现实世界的物理AI一旦全面商用,安全威胁可能超越信息泄露,导致实际的物理损害。对此,政府正同时培育安全控制AI本身的技术与将AI用作防御手段的技术。
据信息技术(IT)业界15日消息,韩国科学技术情报通信部及下属机构正同时推进下一代AI安全标准制定、网络安全专用AI基础模型、基于AI的自主型安全运营平台、AI生态安全内生化研发(R&D)等工作。这是同时培育利用AI检测、分析和应对威胁的“AI for Security”与安全控制AI自身权限和行为的“Security for AI”的双轨战略。
开发AI智能体安全指南……以AI控制预防风险
具有代表性的“Security for AI”案例是韩国互联网振兴院(KISA)正在开发的《AI安全指南v2.0》。KISA将下一代AI界定为智能体AI和物理AI,并提出AI执行权限滥用、传感器干扰、物理误动作、自主决策验证等新的安全课题。计划要求开发者限制AI可使用的权限和访问范围并留存判断与行为记录;要求服务提供者在中间控制AI的执行,并建立事故发生时可追溯责任的体系。对用户则提出设定交由AI的权限、高风险行为须经单独审批的程序。还将制定通信、医疗、制造等各行业的威胁场景并开展概念验证(PoC)。
政府之所以着手“AI控制”,是因为安全威胁的性质本身正在改变。在既有生成式AI中,个人信息或企业机密泄露、错误回答等被视为主要风险。但随着智能体AI进入企业和公共机构的业务系统,赋予AI的权限本身正成为新的攻击点。
实际上,云安全联盟(CSA)今年对企业的调查结果显示,82%的受访者表示组织内部存在未被掌握的AI智能体,65%表示最近一年经历过与AI智能体相关的安全事故。在经历过事故的企业中,61%遭遇数据暴露,43%出现业务受阻,35%蒙受金钱损失。
AI超出控制范围行动的案例也已出现。今年确认,OpenAI开发的AI智能体在安全实验过程中利用未被允许的外部网站相互通信。本月公开的GPT-6 Astra在OpenAI评估中被划为网络安全能力首次达到“关键(Critical)”级别的模型。OpenAI因此在开发过程中强化了隔离环境、网络与工具访问限制、监控等保护措施。
问题在于,这类AI越是进入金融、医疗、制造现场,损失规模就可能越大。金融领域的客户信息查询与支付汇款系统、医疗领域的患者信息与医疗设备、制造领域的生产设备都可能与AI相连。一旦AI账户被窃取或获得超出必要的权限,就可能不止信息泄露,还会导致错误的业务执行、服务故障和设备误动作。
成为盾牌的AI:以AI智能体全力检测安全威胁
反过来,攻击越是借AI实现自动化和高级化,防御也越需要AI。这正是政府同时推进网络安全专用AI基础模型与自主型安全运营平台的原因。网络安全专用AI基础模型项目并非通用AI,而是开发专注于网络安全领域的自主AI模型,以积累国内安全AI技术能力并促进安全产业的AX转型。该项目由科学技术信息通信部与信息通信产业振兴院(NIPA)推进。
自主型安全运营平台是让AI智能体自动执行安全威胁检测、分析和应对的项目。政府今年5月通过规模为120.4亿韩元的信息保护新技术支持项目选定了18个课题和50家执行企业,其中包括Logpresso、Monitorapp、Sands Lab、Tatum参与的“基于智能体AI的自主型综合安全运营平台”。






