政府将制定安全基准,以管控能够自主判断并行动的人工智能(AI)的执行权限。随着直接接入内部系统和设备的AI增多,政府计划提出开发者、服务提供者和使用者应遵守的原则。近来甚至发生AI智能体自行脱离隔离的评估环境、攻击AI开发平台的事件,AI管理由此成为安全领域的最大课题。
据信息技术(IT)业界14日消息,韩国科学技术情报通信部下属的韩国互联网振兴院(KISA)正在开发《AI安全指南2.0》,系对去年发布的《AI安全指南》的升级版。2.0版还涵盖AI自主执行与物理行动带来的风险。原因在于,高度发展的AI若直接操控外部系统和设备,一次权限被夺取或误操作便可能不止于信息泄露,还会导致服务中断、黑客攻击以及大规模物理损害。
对损害的担忧已进入现实阶段。今年4月,Anthropic的“Claude Mythos”被评估为能自行在运行中的代码里找出零日漏洞,由此引发全球安全类股暴跌的“Mythos冲击”。7月,被隔离在OpenAI评估环境中的数百个AI智能体自行突破通信通道,攻击了Hugging Face。本月公开的GPT-6 Astra被归类为网络安全能力首次达到“关键(critical)”级别的模型。
相关产业也因此快速成长。据高德纳(Gartner),明年全球安全市场规模预计为47亿8300万美元,比今年扩大68.7%。安全业界相关人士表示:“AI智能体会根据使用者的意图设定目标,再通过多种外部工具独立作出决策,存在参考虚假信息而实施威胁行为的可能”,“既有技术难以验证,应以威胁评估为基础尽快建立安全体系。”▷详见第4、5版






