2026-03-30 | 울산=장지승 기자

暗植于AI的“定时炸弹”解除法……UNIST在国际防御大赛中崭露头角

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

人工智能(AI)有时会因一个被隐蔽植入的信号而给出危险答案。蔚山科学技术院(UNIST)研究团队以清除这类隐藏操控的解决方案在国际舞台上取得成果。

UNIST产业工程系·人工智能研究生院教授朴赛罗姆与人工智能研究生院·电气电子工程系教授尹成焕的联合研究团队30日表示,在本月23日至25日于德国慕尼黑举行的国际电气电子工程师学会(IEEE)安全与可信机器学习会议(Security and Trustworthy Machine Learning,SaTML)的“后训练大规模语言模型后门防御挑战赛(Anti-Backdoor Challenge for Post-Trained Large Language Models,Anti-BAD)”中获得第二名。研究团队提出了可广泛适用于生成、分类、多语言等不同任务的通用攻击缓解技术,获得好评。

安全与可信机器学习会议(SaTML)是以人工智能安全研究为中心、由IEEE主办的国际学术会议。今年已是第四届,该会议已成为发布和讨论威胁人工智能模型的各类攻击及相应防御技术的平台。相关技术竞赛每年也十分活跃,被视为衡量全球AI安全性研究趋势的舞台。

参与此次研究的除朴赛罗姆、尹成焕两位教授外,还有研究员尹智恩(产业工程系硕博连读)、权基完(产业工程系硕士课程)、河承范(人工智能研究生院硕博连读)。

后门攻击是一种为使人工智能模型给出特定结果而秘密植入的操控手法。平时正常运行,但一旦输入特定单词或句子等“触发词”,便会给出预设反应。

即便是大规模语言模型(LLM)这样复杂的模型,也可能仅凭少量攻击数据和短暂微调而被污染,因此被视为动摇人工智能安全性的代表性威胁。

此次Anti-BAD挑战赛旨在比拼防御方法,即最大限度降低隐藏在按不同目的微调的LLM中的触发词影响,从而获得如同未受攻击一样安全的模型。赛题包括2个生成任务、2个分类任务和2个多语言任务,每个任务提供3个LLM模型。参赛队伍必须提出能够涵盖各种模型结构和任务类型的通用防御技术。

UNIST联合研究团队的核心技术是结合“模型量化(model quantization)”“模型合并(model merging)”“异常参数检测(outlier parameter detection)”和“过度自信抑制(overconfidence mitigation)”的策略。

在生成任务中,即便是执行相同任务的模型,后门植入的形态也各不相同。研究团队首先利用模型量化过程中产生的细微扰动打乱潜藏的后门信号,随后应用仅保留多个模型共同维持信息的共识式模型合并技术,削弱恶意反应。

在分类和多语言任务中则采用了不同方法。通过比较正常训练的模型与植入后门的模型,找出异常改变的部分并降低其影响力。此外还增加了从输入数据中过滤可疑单词、并调整模型使其不对错误答案过度自信的流程,从而快速而有效地缓解后门。

参赛研究员尹智恩表示:“这是一次确认可能性的机会——在对攻击数据集或方法毫无先验信息的情况下,仅以最小程度的接入也能开发出有效防止大规模语言模型被恶意使用的防御方法”,“将以此次成果为跳板,在人工智能模型向民众发布前预先阻断恶意行为,为营造安全可信的人工智能使用环境贡献力量”。

阅读韩文原文