韩国科学技术院(KAIST)成为韩国国内唯一加入微软(MS)全球人工智能(AI)安全性研究网络的高校。
KAIST28日表示,计算机学部孙秀尔教授研究团队被选为微软AI红队运营的全球AI安全性研究项目“EXTRA(External Red Team Alliance)”的对象。
EXTRA是微软今年启动的项目,是支持高校与研究机构验证生成式AI安全漏洞与安全性的研究网络。该项目不再仅由企业内部负责AI安全性评估,而是扩大到全球高校与研究机构,旨在从多种视角验证AI系统的安全性与安全漏洞,并扩大独立的AI安全性研究生态。
借此次入选,孙教授研究团队将获得2万5000美元(约3700万韩元)研究经费,开展AI安全研究。该项目有全球六大洲10多所高校参与,韩国国内仅KAIST一所。
孙教授研究团队针对生成式AI与大规模语言模型(LLM),分析△通过黑客攻击窃取模型△个人信息泄露△恶意指令(提示注入)等多种攻击手法,并研究相应防御技术。同时还在开发使AI智能体在实际服务环境中也能安全运行的安全技术。
孙教授表示:“AI不仅是性能,安全性与可信性也日益重要”,“我们将分析实际服务中可能出现的安全威胁,为开发人人都能放心使用的AI技术作出贡献。”
领导微软AI红队的拉姆·尚卡尔·西瓦·库马尔表示:“AI安全性研究比以往任何时候都更重要,高校在推动这一领域发展方面发挥着核心作用”,“我们希望通过EXTRA支持那些加深理解如何评估、保护并负责任地管理日益强大的AI系统的研究者。”






