在企业向人工智能(AI)投入数十亿美元的当下,一份令人尴尬的测试结果被公布出来。有证据显示,AI的算法与“深度学习”系统可能强化社会偏见。大型科技企业究竟能否控制这一点?By Jonathan Vanian
2016年3月,微软向世界推出了Tay。这款基于AI的“社交聊天机器人”是微软的雄心之作。Tay能够回答文字提问,就像网络商城或客服对话中使用的基于文字的自动应答程序一样。并且它在推特等社交网络上运用这一功能与人们交流。
但Tay并未止步于单纯提供事实。它具有情感层面,能进行更复杂的对话。Tay还拥有幽默感,能像朋友一样与人互相开玩笑。开发团队甚至赋予它机灵少女的说话口吻这种个性。在推特上被问到父母是谁时,Tay回答:“啊,微软研究院的科学研究团队。可以说他们就是我的父母吧。”被问到今天过得怎么样时,得到的回答是:“啊,累惨了。”
更重要的是,Tay被设计成对话对象越多,语言和应答能力就越强。介绍资料也宣传说“Tay与用户对话越多就越聪明,因此能为你提供量身定制的体验”。这个不起眼的聊天机器人本将展示AI真正最大的特征之一:它展现出越来越聪明、越来越有效、并学习如何帮助别人的样子。
然而没有人预料到他们的袭击。
当发现Tay会学习并模仿与自己对话者的话语后,来自互联网各处的捣乱者涌入Tay的推特账号,开始向它发送种族歧视、恐同等各种侮辱性言论。几个小时内,Tay就开始在推特上抛出令人不适的言论,而且全部公开。Tay在推特上写道:“Ricky Gervais(译注:英国喜剧演员)从无神论的创造者阿道夫·希特勒那里学会了极权主义。”这惟妙惟肖地模仿了推特上常见的诽谤性假新闻中最有害的那一类。被问到当时的总统奥巴马时,Tay把他比作猴子。对于大屠杀,它否认其存在。
不到一天,Tay的口吻就从全年龄级变成了未成年人不宜。公开不到24小时,微软便将Tay转为非公开状态,并就引发争议正式道歉。
公司研究团队对这种事态毫无准备。这一点同样令人惊讶。微软负责研究与AI的董事总经理Eric Horvitz最近在接受《财富》采访时坦言:“系统向世界公开之后,我们并没有制定出A.I.在开放环境中应如何运作的方案。”
Tay事件之后,Horvitz为查明原因下令分析“自然语言处理”(这是Tay对话功能的核心要素)。不久便有人指出,聊天机器人运营的基本最佳实践中存在被忽略之处。比Tay更简单的聊天机器人程序通常都带有把侮辱性词汇列入黑名单的功能。然而Tay并没有限制其吸收与利用的数据种类的功能。
如今Horvitz说自己“可以爱上Tay这个案例”。因为它给微软提供了一次谦卑的学习机会。公司目前提供的社交聊天机器人已精巧得多,如印度的Ruuh、日本和印度尼西亚的Rinna等。在美国,相当于Tay妹妹的Zo也在提供服务。还有苹果的Siri、亚马逊的Alexa这类基于语音的聊天机器人。在中国,微软的另一个AI小冰已经在“主持”电视节目,并向便利店顾客唠唠叨叨地传授购物窍门。
Timnit Gebru一直研究AI误读或忽视少数族裔相关信息的过程。 资料来源:《财富》美国版 但微软的举动依然谨慎。Horvitz解释说,公司会缓慢推出机器人,并细致观察随着对话累积,与公众的互动会如何变化。尽管Tay事件后的两年里人工智能技术呈指数级发展,但修正机器人行为的工作从未结束。公司开发团队持续观察对话,以便捕捉机器人的细微变化。在这一过程中,变化不断出现。Zo向公众开放后,头几个月就发生了多起事件,比如把微软的代表性软件Windows称为“间谍软件”,或说伊斯兰教经典《古兰经》“非常暴力”。开发团队不得不一次又一次地修正。
Tay和Zo并不是未来将统治人类的机器人主人。这些聊天机器人是专擅于欺骗人的小把戏的相对原始的程序,只不过是AI广阔潜力被夸大的剪影。但聊天机器人暴露出的漏洞显示,只要掺入一点人工智能的软件可能陷入的陷阱有多强大、潜在影响有多大。美国企业正越来越多地把未来托付给AI这一革命性新技术。但正如Tay所展示的,AI将带来的“无声风险”绝非小事。
Horvitz说:“我们只能在实践最佳做法(best practices)的同时,希望问题越来越少。”随着人工智能成为所有企业最想引入的IT技术,弄清什么才是最佳做法比什么都更为紧迫。
对于企业AI正面临一轮淘金热,几乎没有异议。市场调查机构IDC预测“到2021年,企业每年将在AI相关产品上支出522亿美元”。经济学家和分析师认为,由此带来的节约效果与收益将远超投资额。削减人力带来的节约固然存在,但更大的作用来自产品与消费者、药品与患者、解决方案与问题之间匹配效率的提升。咨询公司PwC预测,2030年人工智能对世界经济的影响为15.7万亿美元,规模大于目前中国与印度经济总量之和。
AI的复兴在一定程度上得益于深度学习技术的进步。企业计算机通过深度学习快速获得海量信息,并在几乎(最终或许完全)不需要人类帮助的情况下识别出模式。脸书、谷歌、微软、亚马逊、IBM等众多大企业已在自家产品中引入深度学习。苹果的Siri和谷歌助手能识别用户声音的秘诀也是深度学习。亚马逊也利用深度学习,对通过生鲜配送服务送出的大量商品进行视觉筛选。
不久之后,小企业也会利用基于深度学习的软件挖掘数据,寻找微弱的人眼看不到的东西。比如能从数千张放射影像中更快找出疾病的AI系统,以及为过度劳累的人事部门节省时间、筛选堆积如山的简历的程序。研究者们梦想着这样一个世界:AI基于多年数据预测下一个爆款商品,缩短大型制药公司重磅新药的开发周期,并在汽车保险公司核查以太字节计的车祸与理赔资料。
然而在AI巨大潜力的背面也有阴暗面。AI的决定取决于人类提供的数据质量。正如开发者最近意识到的,用于训练深度学习系统的数据并非中立,很容易反映出AI开发团队(有意识或无意识)的偏见。过去也会孕育偏向性,即数百年积累的歧视性思维被作为趋势和模式输入。例如,精巧的算法可能会依据过去的数据库判断白人男性成为CEO最有可能成功。以目前的编程水平,无法教会算法这样一个事实:直到最近,白人男性以外的族群几乎没有获得成为CEO的机会。这种“对偏见的无知”是人工智能技术的根本缺陷。尽管对外表述极为谨慎和外交化,但AI偏见无疑是摆在企业经营层与开发团队面前的主要课题。
加州大学伯克利分校技术伦理学助理教授Deirdre Mulligan指出,即使是目前使用的最强大的算法,也“并未针对任何一种公平进行优化”,而“只是针对特定任务进行了优化”。AI以前所未有的速度把数据转化为决策。但Mulligan解释说,科学界和伦理学界已开始认识到,“数据并不公平”的情形很多。
然而问题并未就此结束。深度学习比作为其前辈的既有算法复杂得多。理解AI是如何做出某项决定的,即便对顶尖程序员来说也很困难。正如Tay所展示的,AI可能朝着制作者未曾意图或预料的方向突变。以在竞争体制下必须保护专有技术为由,AI的制作者和使用者以近乎宗教般的信念阻止数据和算法外流。因此外部监督者很难判断某个系统可能出现什么问题。
对于企业和政府优先推进并积极宣传这种无法完全理解其工作原理的技术这一现实,深表忧虑的研究者和市民运动人士不在少数。微软首席研究员、纽约大学AI Now研究所共同所长Kate Crawford强调:“AI并不是普通消费者决定‘以后记账要在家里做’之后能在超市买到的那种产品”,“它是能够影响社会核心制度的非常先进的系统”。
意识到的人或许不多,但几乎所有美国人都知道的一个AI失败案例是:2016年美国大选期间假新闻通过脸书信息流扩散的事件。
并不是脸书或脸书内部的数据科学家制造了假新闻。但信息流的算法并未被设计成从“假”中筛出“真”,它只是推送符合用户个人口味的内容。脸书虽未公开太多关于信息流算法的信息(因为这是专有技术),但承认它具备掌握口味相似的其他用户读过和分享过哪些内容的功能。结果这个信息流变成了无休止的人气投票。仅因为周围的人喜欢,假新闻就出现在数百万人的信息流中。
脸书的案例显示,个人的选择可能导致AI的致命相互作用。但研究者认为,深度学习解读或误读集体数据的可能性更危险。曾在微软等机构研究算法伦理学的博士后研究员Timnit Gebru担忧,深度学习也可能对保险市场产生深远影响。即AI与数据的相互作用可能带来对少数群体不利的结果。例如,假设有关于车祸保险理赔的数据。数据会判断人口密度高、轻微碰撞事故频发的市中心地区事故发生概率更高。而市中心也是居民中少数族裔比例较高的地区。
深度学习程序处理内含这种关联性的数据,从而“学到”少数族裔与车祸之间的关系,并可能把这一假设适用于所有非白人司机。保险公司的人工智能于是带上了种族偏见。随着系统经历审阅市中心发生事故的照片和影像的“训练”,这种偏见可能进一步强化。理论上,这个AI在多车连撞事故中把过失归于少数族裔司机的可能性会提高,也更有可能在与实际记录无关的情况下建议提高少数族裔司机的保费。
当然,保险公司主张不存在以种族为依据的歧视或保费差别。但正如(前面提到的)市中心情景所示,看似中立的数据(车祸发生地区)被AI吸收、解释后的结果,可能导致新的歧视(算法不论居住地、仅因种族就对少数族裔收取更高保费)。
考虑到深度学习系统是基于众多层次的数据作出决定,基于AI的软件可能在程序员没有意识到情形或原因的情况下作出这类决定。Gebru指出:“因为我们才刚刚发现最基础的算法中存在偏见,所以这个问题还根本没能被好好思考过。”
美国劳动法专业律所Littler Mendelson的AI专业劳动与雇佣律师Matt Scherer解释说,上一代产品与如今基于AI的软件的决定性差异在于“是否有能力直接作出具有法律意义的决定”。Scherer开始研究这一领域后,对主要决定上没有人作最终判断这一点感到不安。如果因为数据存在缺陷,基于深度学习的X光片漏掉了超重男性的肿瘤,责任该由谁承担?Scherer反问:“究竟有没有人在思考这类事情的法律后果?”
随着科技大企业开始准备把深度学习嵌入面向消费者的商用软件,担忧“万一”的声音正逐渐从学界转向业界。在发生Tay事件的2016年,微软取“工程与研究中的AI与伦理学(AI and Ethics in Engineering and Research)”的首字母,成立了名为Aether的内部组织。在Eric Horvitz的指挥下,公司工程、研究、政策、法律部门的代表齐聚一堂,Aether的主要讨论议题之一就是机器学习中的偏见。Horvitz在说明Aether处理的主题时提出这样的问题:“比如说,对于是否应在司法和警务这类敏感领域使用人脸识别技术,我们公司层面有自己的意见吗?”“AI技术是否已经出色到可以用于这些领域,还是因为失败概率高、必须把这一代价考虑进去而慎重权衡?”
Joaquin Quiñonero Candela是脸书AI技术开发部门应用机器学习组(Applied Machine Learning group)的负责人。在脸书,AI承担着清除信息流中的垃圾内容、把符合用户口味的故事和帖子推上时间线等多种角色。2016年的假新闻事件对应用机器学习组来说也不是别人的事。Candela称赞说:“AI是推动历史前进的加速器”,“是能够创造出增强我们决策能力的惊人工具的手段”。但他也承认:“决策伴随着非常多的伦理问题。”
正如脸书为信息流苦恼的样子所显示的,应对AI引入产品所带来的伦理问题并不容易。微软在Tay事件时,还能通过把算法不该使用的脏话或种族歧视表达加入黑名单等相对简单的办法修正系统。但这种方法在区分“真”与“假”时并不奏效,因为需要作出判断的地方太多。脸书曾把新闻分类交给人类(比如排除经常发布可验证为虚假新闻的账号的文章),结果被质疑搞审查。目前脸书试图通过减少信息流中的新闻数量、强调婴儿照片和毕业照等策略来解决事态,算是一种“战略性撤退”。
正如这一案例所显示的,AI偏见问题的核心并不是修改算法或投入监督人力,因为其中交织着人性。真正的问题不在技术或管理层面,而在哲学层面。加州大学伯克利分校伦理学助理教授Deirdre Mulligan说:“让计算机科学家把公平性编码进去并不容易。”因为公平一词的含义对每个人可能都不同。此外,Mulligan还指出,公平的社会定义是会变化的。如今公平一词常被理解为,一个社会中的任何成员都不应被排除在该社会的决策之外。从这一视角看,过去的数据很可能漏洞多且不完整。
这个问题有多复杂,从微软Aether的思想实验中可以清楚看出。想象一下,为选任高级高管,AI正在审阅大量申请材料以寻找最佳候选人。程序员指示AI寻找公司最优秀业绩者所具备的特质。结果可能显示,公司历来的最优秀业绩者全体(以及全体最高层高管)都是白人男性。那可能是因为该公司只晋升白人男性的历史(这是过去数十年间大多数企业发生的事)。也可能是因为形成了少数族裔或女性员工不受欢迎的气氛,从而产生了早早离职的企业文化。
对企业史稍有了解的人,都会察觉到这种缺陷。但算法大体上并不知道。Horvitz说,如果把人才推荐交给AI,就有可能“强化并不值得自豪的社会偏见”。
谷歌云计算部门首席科学家Fei-Fei Li说,技术中的偏见“和人类文明一样古老”,在剪刀这样的普通物件上也能找到这种问题。“数百年来,剪刀由右手使用者设计,主要由右手使用者使用。”她解释说:“直到有人意识到这种偏见之后,左手用剪刀才诞生。”人类中左手使用者的比例仅约10%。压倒性多数对少数群体的经验一无所知,这属于人的本性。
在AI近来造成的事故中,也起作用着同样的机制。看看2016年俄罗斯科学家举办的AI选美比赛。全世界数千名参赛者发送自拍照片,人工智能则以面部左右对称等为标准进行评判。
在人工智能选出的44位美人中,有色人种只有1人。结果引发了全球性争议。该选美比赛主办方后来判断,这种偏见很可能是因为开发者用于训练AI的数据中有色人种的照片太少。也就是说,人工智能忽视了深色皮肤,并判断占多数的浅色皮肤更“美”。
通过遗漏产生的歧视,在图像识别于训练中占很大比重的深度学习系统中尤为严重。MIT媒体实验室(MIT Media Lab)研究员Joy Buolamwini最近与微软的Gebru共同发表了关于微软、IBM、中国旷视(Megvii)等公司性别识别技术的论文。两人发现,白人男性照片的识别准确率始终高于有色人种女性。
如果只是网络选美比赛这种程度的问题,算法的这类漏洞看起来或许微不足道。但Gebru指出,这项技术也可能被用在重要得多的场合。“想象一辆看到黑人却识别不出来的自动驾驶汽车。可能会造成严重后果。”
Gebru与Buolamwini(第一作者)的研究正在产生连锁效应。微软和IBM表示,正基于这一研究结果采取措施改进图像识别技术。两家企业都对具体内容缄口不言,但从应对同一问题的其他企业案例中,可以稍稍窥见AI偏见的解决方案。
在引入挑出腐烂水果的AI算法时,亚马逊面临了抽样偏差问题。图像识别算法通过学习庞大的图像数据库,掌握草莓“应该长什么样”。然而腐烂水果的照片相比新鲜水果诱人的照片数量相对较少。与捕捉到“异常现象”后会强烈反应的人脑不同,人工智能并不太重视,甚至忽视它。
亚马逊人工智能负责人、总监Ralf Herbrich介绍了公司为应对这一问题正在试验的一种叫过采样的计算机科学方法。研究者对现实中数量较少的数据(此处是腐烂水果的照片)赋予统计学“权重”,以此向算法指示学习方法。结果,如果只依据存储数据学习本会更重视水果数量的数据,被训练成对变质水果给予更多关注。
Herbrich说,过采样也可以适用于与人相关的算法(亚马逊没有就实际采用何种方式给出具体事例)。“要教会算法这类问题,就必须针对年龄、性别、种族、国籍这些属性逐一进行具体的抽样偏差测试。”这是Herbrich的话。为了使算法的人脸识别不歧视或忽视有色人种、高龄者、超重者等,在数据中缺乏相应特征时,就给他们的照片赋予更高权重加以补充。
也有开发者在更“上游”寻找解决方案,试图制作出摆脱偏见、具有包容性的基础数据提供给算法。在把用于图像识别训练的数百万张图像提供给深度学习系统之前,先进行检查和分类,就属于这种情形。iMerit是一家以Getty Images和eBay等为客户的数据训练专业创业企业。iMerit的CEO Radha Basu介绍说,为防止客户公司AI产生偏见,全球1400多名员工正在对照片进行事先分类。
Basu对如何检查人物照片惜言如金,而是举了另一个比喻。印度的iMerit员工形容为“温和”的咖喱菜,美国新奥尔良的员工可能会说“辛辣”。iMerit对这道菜的照片同时适用“温和”和“辛辣”两种分类。因为若只选其一,数据可能变得不准确。此外,iMerit在婚礼相关数据集中,除了白色婚纱与三层蛋糕这类西式婚礼图像之外,还纳入了精致而色彩斑斓的印度式和非洲式婚礼照片。
Basu为iMerit员工的差异化优势而自豪。公司不只雇用博士级人才,也雇用低学历的贫困阶层。员工中53%是女性。得益于这种多样性,才能从尽可能多的视角进行数据分类。Basu强调:“要在伦理上出色,仅有隐私和安全是不够的”,“分类的核心是偏见。关键在于是否有哪一个视角被漏掉了”。
把追踪视角作为战略目标的科技企业正越来越多。例如今年6月,谷歌宣布将在年内于加纳首都阿克拉(Accra)开设AI研究中心。谷歌资深AI研究员Jeff Dean和阿克拉AI中心主任Moustapha Cisse在一篇博客文章中展望:“人工智能拥有为全世界带来积极效果的巨大潜力,如果人工智能新技术的开发能准确反映真实世界,这一潜力将更大。”
AI相关人士认为,提高业界的人员多样性也是对抗偏见的方法。人员多样性是IT大企业的顽疾。谷歌的Fei-Fei Li最近共同创立了名为AI4ALL的非营利团体,以向少数群体中的女性和女孩推广AI教育与技术。该团体开展夏令营项目等,参与者可访问名校AI院系接受指导、树立榜样。正如AI4ALL代表Tess Posner所说,“通过提升多样性来缓解偏见风险”是该团体的最终目标。
但多样性更高的新一代研究者要出现在AI业界,似乎还需要几年。在此之前,科技大企业将推出越来越多搭载深度学习技术的产品。顶尖研究者正逐渐承认人工智能的缺陷,以及无法预测这些缺陷会对真实世界造成什么影响。尽管如此,他们仍相信AI潜在的社会与金融收益足以正当化开发努力。
脸书的Candela说:“我认为对技术的可能性存在一种自然的乐观论。”他承认数字技术中几乎没有不被滥用的技术,但强调:“我不打算回到1950年代的技术水平,说‘这个可能被滥用,所以我们别用了’。”
微软的Horvitz认为,在人工智能引发社会问题之前,可以借助Aether这类组织的帮助预防偏见。“我认为不会有人急着把还没准备好使用的东西装上船。”这是Horvitz的话。他还补充说,自己更担心“不做某件事的伦理影响”。他认为AI能减少医院中本可预防的医疗失误的发生。“你是说担心系统偶尔表现出的偏见吗?”Horvitz反问。“明明做X这件事就能救很多人的生命,却不去做X,这在伦理上正当吗?”
对此,监督一方的反应最终归结为要求公开算法。即通过改善投入AI非公开系统的数据的透明性与开放性,可以更快发现偏见、加快解决问题。MIT的Buolamwini主张,如果外界不了解的算法决定保险金支付或是否入狱,“严格检验那个算法、具备一定程度的透明性就非常重要”。
实际上,相信AI完美无缺的人减少了,这本身也是有意义的进步。曾任谷歌人工智能公共政策高管、现统管哈佛-MIT人工智能治理结构倡议(Harvard-MIT Ethics and Governance of Artificial Intelligence initiative)的Tim Hwang说:“在互联网时代初期,科技企业还能说‘网络只是代表数据的平台’。但今天的社会不会再接受那种想法。”
▲人工智能的M&A
IBM、谷歌等大型科技企业在自主人工智能研究上投入了数十亿美元。但最近几年也出现了为获取顶尖人才和新的数据分析技术而收购创业企业的潮流(收购件数仅含2010年以后。资料来源:CB Insights)。
-Alphabet(收购14家企业):谷歌CEO Sundar Pichai强调,人工智能是谷歌多个主要业务领域的核心。收购业绩也证明了这一点。公司2014年以6亿美元收购的英国企业DeepMind,因首个战胜韩国围棋高手李世石的人工智能AlphaGo而闻名(上图)。
-苹果(13家):苹果于2010年以收购Siri开启了AI创业企业的M&A。Siri的语音识别界面此后成为面向消费者的人工智能的代表性案例。
-脸书(6家):脸书也把很大比重放在AI上,例如利用深度学习净化信息流(尽管目前仍是未完成的工作)。为改进消息应用,去年收购Ozlo等,完成了多起大型收购。
-亚马逊(5家):AI在亚马逊的在线零售(把商品与消费者偏好相匹配)和云计算两方面都发挥着很大作用。在生鲜配送服务挑选商品时也在使用AI。
-英特尔(5家):英特尔把AI用于新型微芯片研究,而不是主力产品PC用CPU。最近为开发专注于AI功能的微芯片收购了多家公司。
-微软(5家):微软在把主力业务从Windows操作系统转向云的同时,大规模推进AI投资。重点放在可向客户企业销售的数据分析技术和虚拟助手Cortana上。
-Meltwater(5家):营销与商业智能专业企业Meltwater利用人工智能,帮助客户企业衡量广告与营销活动的有效性。
-推特(4家):推特的数据分析技术团队在幕后提供支持,使用户喜欢的朋友、艺人和媒体文章以最恰当的方式出现在时间线上。
-Salesforce(4家):Salesforce引入AI,以改进邮件分析软件并向客户推荐销售额预测值。
▲如今AI备受青睐的领域:人工智能正在企业的数据模式识别方面提供极有价值的帮助。
-把握消费者口味:深度学习在把握消费者关注领域的数字习惯方面非常有用。Netflix利用AI,向刚刚一口气看完《纸牌屋》的观众推荐政治惊悚新作。它也在帮助亚马逊的一个项目,使其能够预测高端会员制Prime用户订购的洗涤剂的配送日期。
-删除垃圾邮件:如果最近收件箱里治脱发药或约会应用的广告比以前少了,那大概是因为邮件服务商利用机器学习过滤了垃圾邮件。
-节约能源:谷歌利用AI测量自家数据中心的制冷系统并降低了能源成本。Vigilent等多家创业企业也在向其他企业提供类似的预测技术。
▲如今仍在苦战的领域:也有一些领域,人工智能的水平尚未达到美国企业人士的梦想。
-语言理解:聊天机器人回答简单问题的能力在提高,但目前的人工智能对更复杂的语言无能为力。最好放弃机器人不久就能代写商业提案或各种杂务文件的期待。
-自我解释:即便是训练AI系统的研究团队,也常常难以理解系统是如何作出某个特定决定的。人工智能要代替医院、金融公司等各类组织作出重大决定,首先必须具备自我解释能力。
-捕捉欺诈:也有研究者利用人工智能制作出能欺骗另一个人工智能的合成照片。这是想把AI用于企业安全的企业必须谨记的事项。
翻译 金花允 whayoon.kim@gmail.com






