<b>今天的人工智能并不完美。如果AI被虚假信息欺骗,将对个人、社会和国家安全构成重大威胁。我们该如何应对?</b>
1900年代初,德国的驯马师兼数学教师威廉·冯·奥斯滕声称自己成功教会了马学数学。此后数年间,他走遍德国各地来证明自己的主张:让他所驯养的一匹名叫“聪明的汉斯(Clever Hans)”的马去解简单的算式。汉斯用蹬脚来表示答案,给它看2+2的算式,它就蹬四下脚,答对了。
但科学家们并不相信奥斯滕的说法,于是成立了由当时著名心理学家卡尔·斯图姆夫领导的汉斯委员会,展开了彻底调查。结果,学者们查明汉斯并不是在解题,而是在对视觉信号作出反应。它开始蹬脚,在与正确答案一致的瞬间,奥斯滕和观众们会鼓掌,它便以此为信号停止蹬脚。实际上,当研究人员让它看不到鼓掌的动作时,它就一直蹬脚不停。
今天的计算机科学从100多年前围绕汉斯的这场骗局中可以学到不少东西。因为迄今开发出的大多数人工智能(AI)只是接受了足以给出正确答案的充分训练,并没有真正理解所学的信息。这样的AI完全可能被欺骗,而且很容易被欺骗。
尽管如此,机器学习算法已经在迅速渗入我们的生活,其影响力也在持续扩大。一个直接的例子是,电子邮件收件箱中垃圾邮件或钓鱼邮件等有害内容被过滤掉,也要归功于机器学习算法。如果这一算法被欺骗,支撑互联网的根基就会动摇。同时也可能对个人与社会的安全,进而对国家安全构成重大威胁。
这并非单纯的可能性。美国宾夕法尼亚州立大学研究团队以及谷歌、美军等多家机构的研究人员组成了各种小型团体,讨论可能针对AI系统发生的攻击,并制定应对方案。根据他们开展的研究,理论上可以把自动驾驶汽车传感器所感知的内容篡改为与事实不符,或用在人听来只是白噪音的声音激活智能手机的语音识别功能,使其连接到植入了恶意代码的网站。甚至据解释,突破防火墙、通过网络植入病毒也并非不可能。
AI欺骗战术与黑客攻击不同。以自动驾驶汽车为例,它不是黑入车辆系统夺取控制权,而是向传感器展示某种幻象,使车辆自己做出错误判断。这种攻击以“对抗性样本(adversarial example)”为武器,指的是在人类感官看来正常、但机器传感器却识别为完全不同事物的图像、声音或文本。
正在研究对抗性机器学习攻击的美国伯克利大学博士生亚历克斯·坎切利安强调,AI攻击者只要借此引发哪怕微小的变化,深度神经网络(DNN)机器学习算法就会得出不准确的结论。
“凡是依靠机器学习做出与安全相关重要决策的系统,都潜在地易受这类攻击。”
积极的一面是,在AI研究尚处初期阶段的现在,已有一些研究者正视这一问题并寻找解法。其中一部分人还声称,凭此他们的机器学习算法在效率与安全性上占据了相对优势。
<br>左侧是未经篡改的原始图像。右侧图像用肉眼看与左侧完全相同,但实际上已被篡改,在基于深度神经网络(DNN)的软件眼中被识别为鸵鸟。中间的图像正是为欺骗算法而施加的微妙扭曲。(资料来源:谷歌—纽约大学联合研究团队,2014年2月)如今主流AI研究的大部分都与机器学习方法之一的DNN有关。而利用计算与统计的机器学习技术,造就了如电子邮件垃圾过滤或谷歌搜索引擎那样、我们每天不知不觉中受益的软件。
过去20多年间,研究者们把这种机器学习技术与“神经网络(neural network)”这一新概念结合起来。简单来说,神经网络是模仿人类大脑的软件结构。正如人脑通过各神经元相互作用而发挥学习能力,神经网络也把一个计算要素分离成数千个以上来处理。并且把这样处理后的要素再交给分成数千个的下层环节,这是其基本概念。
归根结底,以与机器学习相同方式学习的AI算法,可以说追求的是类似人类的学习方式。例如,给计算机看一张猫的照片,AI算法就会知道猫长什么样。但要把外形不同的猫的品种以及从不同角度看到的猫都识别为猫,就需要给它看数千到数百万张猫的照片。某种程度上可以看作与第一次见到猫的小孩子一样。
主导了众多对抗性样本研究的谷歌大脑团队首席研究科学家伊恩·古德费洛博士解释,AI欺骗攻击正是攻击这一学习系统。
“我们可以给它看一张谁都看得出的校车照片,却让它相信那是鸵鸟的照片。”
根据他的研究,只把输入DNN的图像篡改4%,就能把让该图像被归入错误类别的概率提高到97%。甚至宾夕法尼亚州立大学、谷歌、美国陆军研究实验室(ARL)等联合研究团队今年2月还发表论文称,即使不了解网络的图像处理方式,欺骗攻击的成功率也高达84.24%。
像这样在不了解网络架构的状态下进行的欺骗攻击,学界称为“黑箱(black-box)”攻击,而这篇论文是研究基于神经网络的深度学习(deep learning)机器学习系统黑箱攻击的首个成果。
“黑箱攻击是非常重要的研究课题。因为它是在现实世界中实际发生概率最高的AI欺骗攻击。”
<br>根据谷歌研究团队2015年发表的论文,对熊猫的照片[左]施加细微的光线扭曲[中]后,谷歌的图像识别算法“GoogLeNet”把它识别为长臂猿,而且置信度高达99.3%。向机器展示错误信息的行为并不是最近才出现的新问题。不过,研究对抗性机器学习十年的美国伯克利大学教授道格·泰格表示,值得关注的是,AI欺骗攻击起初针对的是简单的机器学习,如今正演变为以更为复杂的DNN为目标。
“恶意攻击者们已经在电子邮件垃圾过滤器等领域打磨相关技术多年。”
泰格教授在2006年发表了论述针对机器学习网络的对抗性样本攻击的论文,开创了这一领域的研究。2011年他还与伯克利大学及微软的研究人员一同开展了后续研究。
到了2014年,正在AI领域进行大规模人力与物力投入的谷歌与纽约大学研究团队一起,发表了首篇论述针对DNN的欺骗攻击的论文。这是在认识到其可能性两年之后的事。此后谷歌仍想明确DNN欺骗攻击的现实可能性,这促成了2015年的第二篇论文。尤其在2015年的论文中,还论述了可应对欺骗攻击的网络防御技术以及提升DNN效率的方法。
安全专家把不可信的信息统称为“拜占庭数据”。经他们之手在深度学习领域也扎根的这一术语,源自计算机科学界的思想实验“拜占庭将军问题(Byzantine Generals Problem)”。它指的是,出征作战的拜占庭时代的将军们必须通过传令兵相互协作,但如果传令兵中有叛徒,就可能传递错误信息,因而无法相信传令兵所带来的信息这一问题。
古德费洛博士强调,拜占庭数据就可能成为这样的叛徒传令兵。因为DNN算法只能查明随机数据的身份,却无法处理拜占庭数据。他表示,要解决这个问题必须先理解欺骗攻击的机制,并把神经网络比作点彩画。
“请把点彩画的每一个点想成DNN需要处理的图像的一个像素。一般的DNN会把这些点用线连起来,试图把握整体形态。因此DNN的判断取决于线的形状。那么,如果有人改变了位于关键位置的一部分点的位置会怎样呢?整体线条的形态会发生变化,DNN就会得出与事实不符的结论。而且如果改变后的线条形态与此前学习过的其他图像相似,出错的概率就会急剧升高。”
谷歌—纽约大学研究团队在2014年的论文中迷惑DNN、使其把校车误认为鸵鸟,用的也是这个方法。即模仿DNN已知的鸵鸟照片的特征来改变校车的像素。由于变化极其细微,人眼无法察觉差异,但DNN算法处理图像并将其简化后,鸵鸟照片中出现的那些数据点便显现出来,于是它判断归类为鸵鸟是合理的。
在深度学习系统黑箱攻击研究中,研究者们先通过测试查明了算法识别特定物体的方式。即向图像分类器(image classifier)输入伪造的输入值,观察它做出何种判定。通过这种方法,他们攻击了很可能用于自动驾驶汽车的图像识别系统,逆向设计出使其把停止标志解读为让行标志的算法。
而且在掌握了欺骗深度学习系统的基本原理之后,他们就能把图像识别系统所看到的一切都改成研究团队想要的样子。研究团队表示,这类欺骗攻击既可以绕过摄像头直接施加于图像系统,也可以通过操纵现实世界中的道路标志来实现。
只是,美国哥伦比亚大学数据科学研究所的艾莉森·毕晓普博士表示,若局限于自动驾驶汽车,这种方式的欺骗攻击相当不现实。理由是,攻击者如果已经成功绕过摄像头,那他想输入什么信息都可以。
“只要向系统输入存在停止标志牌的信息就行了,没必要把事情弄得那么麻烦。”
<br>AI欺骗攻击研究此前一直聚焦于图像的扭曲。
但不久前,伯克利大学与乔治敦大学研究团队证明,不用图像、用声音也可以发起攻击。
具体而言,两个研究团队开发出一种算法,可以用声音——确切地说是人耳无法辨明含义的声音——向苹果Siri、谷歌Now、亚马逊Alexa等应用了AI技术的语音识别个人助手下达命令。这种声音在人听来只是白噪音,因此即便主人就在旁边,也能激活语音识别功能,让设备执行特定命令。
加州大学伯克利分校的学生、正在研究拜占庭声音的尼古拉斯·卡里尼的实验结果显示,Siri和Now以及基于开源的语音识别系统的激活成功率均确认在90%以上。
<br>“这种声音是白噪音与人类语音的混合。在人耳听来不像命令词,而像科幻电影里外星人的通信声。”
他藏在白噪音里的命令是让设备访问播放这段噪音的网站。这样一来,被攻击的手机的扬声器又会播放白噪音,从而向周围其他手机传达相同的命令。
“你问白噪音听着不刺耳吗?可以把白噪音藏在普通音乐里,公然攻击别人的手机。这意味着,如果攻击者在该网站植入恶意代码,就能在无人知晓的情况下把无数手机变成僵尸机。”
为什么这样的攻击能够成立?因为AI被训练成认为几乎所有输入的数据中都存在自己可读的信息或重要的信息。
古德费洛博士正是抓住这一点,使用白噪音和随机生成的黑白图像,成功让DNN相信存在实际上并不存在的图像。
“神经网络并不是真正理解信息,而只是学会在发现正确信息时识别出它是正确的。由于缺乏基础知识,很容易介入算法寻找结果的过程,使其得出错误答案。这与被认为会解数学的聪明的汉斯没有太大区别。”
他表示,要让AI准确理解什么是对的,就必须也理解什么是错的。为验证这一假设,他们向图像分类网络教授了原始图像与被操纵图像之间的差异。结果,欺骗攻击成功率降低了90%以上,原本任务的执行能力也明显提升。关注到这一成果的伯克利大学与乔治敦大学研究团队,以与古德费洛博士团队相同的方式重新训练了语言识别系统,白噪音欺骗攻击的成功率同样下降了90%以上。
<br>美军把AI欺骗攻击视为对未来国家安全的严重威胁。因为它正比世界上任何国家都更超前地推进军用装备与系统的无人化、自主化和AI化。因此它对这一领域的研究抱有极大关注,仅最近就资助了包括黑箱攻击在内的2项研究。
美军会不会不是为了防御,而是为了攻击敌对国家而开发欺骗攻击技术呢?这并非不可想象。不过专家们普遍认为,这项技术要高度成熟到可以配发到部队,还需要十多年时间。
ARL的阿南特拉姆·斯瓦米博士也同意这一点。他参与了最近发表的多篇AI欺骗攻击论文,并表示美国陆军最大的关注点在于探测并阻断恶意的欺骗数据。他反而指出,通过大学或开源项目安装的公共传感器,正在发送一系列欺骗攻击者可以访问的数据。
“敌人欺骗我们、把我们当傻子,也许比想象中更容易。”
斯瓦米博士预计,由于美军正在无人机、机器人、坦克、卡车等的自动驾驶上进行大规模投资,针对这些的欺骗攻击研究也很快会活跃起来。他还认为这项研究会扩散到其他领域,带来实效性更高的防御方法的开发。当然,对于正在提升AI性能、提高应用率的企业而言,不能干等到那一天。万一安全系统崩溃、遭到欺骗攻击,可能会受到无法挽回的打击。因此它们对古德费洛博士团队的再训练方法抱有很大兴趣。
对此,伯克利大学的坎切利安主张,尽管古德费洛博士团队在欺骗攻击防御技术上取得了研究成果,攻击的可能性依然存在。
“我们与AI相处的时间太短,还不足以了解关于它的一切。可现在很多企业还在没有经过细致审视的情况下,就把海量信息交到AI手中。把其他一切都放在一边,仅就计算机安全而言,攻击者永远比防御者领先一步。就像新病毒出现后,杀毒软件才随之升级一样。认为通过再训练就已解决欺骗攻击问题,是相当危险的想法。”
<br>============================<br><b>|注释|</b><br>DNN Deep Neural Network<br>思想实验(thought experiment) 把实验所需的条件与装置作简单假设后,从理论上预测该情境下会发生的现象的研究。
Seoul Economic Daily 科技大众杂志编辑部/BY DAVE GERSHGORN






