看过英国大师级导演肯·洛奇的《我是布莱克》的人,想必都生动目睹了官僚化的福利体系如何把一个模拟时代的人变成体系的不适应者、并将其推入贫困泥潭的过程。这部电影里好歹还出现了想要帮助他的“人”。倘若所有体系都进入黑箱、连其运作原理都无从得知,人类便只能为获得该体系的挑选而挣扎,别无他法。
自数据在金融、医疗、教育等社会各领域如同一种宗教般崛起以来,“数字不会说谎”“数据是民主的”等命题被理所当然地接受。然而,《数学杀伤性武器》的作者、美国数学家凯西·奥尼尔,却把数据以及以数据为原料运转的算法,指认为扩散不平等、威胁民主的“邪恶轴心”。“数学杀伤性武器”(Weapons of Math Destruction, WMD)一词,是对指称核弹、生物化学武器等、并曾作为布什政府时期伊拉克战争理由的“大规模杀伤性武器”(Weapons of Mass Destruction, WMD)的巧妙改写,英文连缩写都相同,可谓绝妙。
该书去年在美国出版时,仅凭作者的经历便备受关注。凯西·奥尼尔在哈佛大学获得学位,在麻省理工学院(MIT)完成博士后研究,并成为巴纳德学院数学系终身教授,是一位前途坦荡的数学家。但她为了把数学运用于现实世界,于2007年成为对冲基金的宽客(运用基于数学模型的计量分析方法的金融分析师)。作为数据科学家开发并运用算法、交易天文数字规模资金的她,在经历2008年次贷危机后,对数学与金融勾结所唤起的破坏性力量感到幻灭,最终离开了华尔街。亲历了与大规模杀伤性武器同样具破坏力的数学真相后,她如今领导着“占领华尔街!”运动下属的替代性金融团体,从事测量并告知“数学杀伤性武器”危险性的工作。
自任内部举报者的作者生动揭示,从大学评价、信用评级、定制化在线广告、罪犯量刑决定、企业人才招聘(人格与适性测试),到汽车保险,这些以扩展性和效率为武器、正向所有领域扩散的大数据算法技术,实际上多么不民主、多么是严重偏见的产物。书中描绘的灰色启示录并非未来,而是当下。举例而言,WMD以除开发者外根本无法掌握评价要素的算法为基础评价教师能力,并把算法判定为低于平均的“坏教师”赶出讲台。问题在于谁都无法验证其标准为何。以依据顾客动向信息、天气、购买信息灵活安排劳动者工时为名,让在商店或咖啡馆工作到深夜的员工在天亮前开店的“闭店后开店”(clopening),是算法正当化“奴隶劳动”的代表案例。clopening的问题不仅是过劳。clopening主要出现在低薪简单劳动中,越是低收入阶层越被推入不规律的生活环境,连获得更好工作所需的教育或培训的时间与机会都无法得到。数据引发贫困恶性循环的案例还有。低收入阶层按照信用评价体系无法获得第一金融圈贷款,求职时也常在书面审查阶段被筛除。此外,他们还通过定制化在线广告被暴露于高利率贷款产品,因使用贷款产品而信用进一步恶化,受害的恶性循环持续不断。
我们明知算法同样是人类的发明,却不愿正视它把与种族、财富、民族、文化交织的偏见编码化这一点。尽管对低收入阶层、少数群体、移民等“土勺”始终不利的警方犯罪打击模型、以求职者人性与适性判定录用与否的就业系统、被滥用于削减工资的健康体检,以至在选举时助长确证偏误的“微目标定位”手法,各种偏见都以大数据与算法的外衣伪装起来,裁判并烙印我们,把我们集团化。
作者通过本书呼吁我们共同参与。当然,她并非主张消除大数据、破坏算法的“卢德主义”。而是认为,大数据与算法可以被用来不是攻击并排除他人的弱点,而是通过帮助他们、把结构改变为共生的社会。作者“唯有人类才能把公正注入体系”的话语给人深深的回响。
“数据处理过程只是把过去编码化,并不创造未来。要创造未来,需要道德想象力。这种能力唯有人类拥有。我们必须把更好的价值明确纳入算法,创造遵循我们伦理指标的大数据模型。为此,有时必须把公正置于利益之前。”
是作为数字留下,还是作为人留下。这一选择取决于我们。1.6万韩元






