为预防深度伪造、假新闻等人工智能(AI)副作用,以全球科技巨头为中心的“可解释AI(XAI)”技术受到关注。继欧洲之后,美国、韩国等全球范围内AI监管出现全面扩散迹象,作为应对之策的新技术,XAI开发竞争在业界最前线日趋激烈。
据20日信息技术(IT)业界消息,谷歌DeepMind上月公开了“Gemma Scope 2”。Gemma Scope 2是一款通过解析DeepMind最新开源AI模型“Gemma 3”的内部运作方式,从而追踪该模型引发副作用可能性的工具。DeepMind称其为“(所有)AI研究机构以开源形式公开的可解释性工具中规模最大的一次”。该公司上月还与英国AI安全研究所携手,决定共同研究思维链(CoT),即AI思维过程的监控技术。
这是把握AI模型基于何种判断给出答案的思维过程的XAI技术应对的一环。AI的思维过程难以被正确理解,以至于被比作“黑箱”。业界认为,要防止AI副作用,必须先解决这一黑箱问题,对思维过程进行监督。特别是欧盟(EU)的《AI法》和韩国的《关于AI发展与信任基础构建等的基本法》(AI基本法),以及美国继加利福尼亚州之后上月纽约州制定《负责任AI安全与教育法》,监管不断扩散,应对这些监管也需要该技术。韩国科学技术院(KAIST)金在哲AI研究生院教授崔在植表示:“XAI作为在AI模型出现问题时能够了解该模型依何原理学习、应如何修正的技术,其重要性已上升。”
OpenAI近期展示了“稀疏模型学习法”。OpenAI的解决思路是:思维过程难以理解源于构成模型的人工神经网络结构复杂,因此从一开始就打造结构简化的稀疏模型。与神经元之间彼此相连数千个的现有“密集模型”不同,稀疏模型即使只连接数十个也能运作。Anthropic自2024年发表“大型语言模型(LLM)思维映射”论文以来,也在不断深化研究,本月10日(当地时间)推出了通过监控“Claude”模型输入输出以防止越狱(绕过安全机制)的“宪法分类器”最新版本。
学界方面,开发出世界级XAI方法论“Shapley加性解释(SHAP)框架”的韩裔学者、华盛顿大学计算机工程系教授李秀仁颇具代表性。中国政府也在去年9月载有AI风险应对原则的《AI安全治理框架2.0》中,将“可解释性不足”明确列为AI风险类型之一。在韩国国内,由于22日实施的AI基本法纳入了可解释性义务,相关研究预计将逐步扩大。崔教授创办的Inuit的XAI技术去年首次被指定为国家战略技术。






