2021-10-14 | 박준호 기자

[书架]大数据时代,别被看不见的数据骗了

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

美国交易员伊万·博斯基从1975年起的10年间通过股票买卖赚取了2亿美元。上世纪80年代的主要并购交易中,他都能在绝妙的时机买卖股票,通常在企业宣布被收购前买入该企业股票,从而获得巨额差价。但他收买投资银行员工提前获取内部信息的欺诈行为最终被抓住,博斯基付上了坐牢并被罚款1亿美元的代价。这类事情在21世纪依然屡见不鲜。2015年,律师和会计师们从制药公司Pharmasset的内部人士处听说董事会正在推进公司出售,随后买入股票,遭到起诉。

随着大数据时代开启,只要肯花力气检索就能获得决策所需全部数据的信念日渐牢固。但曾任英国皇家统计学会会长的伦敦帝国理工学院数学系荣誉教授戴维·汉德在新书《黑暗数据》中提醒我们注意那些被遗漏的数据的存在。他把我们未能获取、或忽视其是否存在的数据,比照物理学的“暗物质”,称为黑暗数据。他就黑暗数据警告说:“因为它被隐藏得让我们看不见,我们有可能误解、得出错误结论并做出糟糕的决定”,“它有把我们引向错误道路的潜力,有时甚至招致灾难”。

本书按类型分类介绍了行政、商业、信息技术(IT)等各种现场可能出现的黑暗数据案例,并指出处理数据时应警惕之处。作者还讲述了自己受金融公司委托制作贷款审查评分表时,因黑暗数据过多而陷入困难的经历。作者回顾说,若不考虑这一点就贸然建立预测模型,产生误解的可能性会很大。他表示,即便不是内幕交易那样的欺诈行为,在不违法的范围内为制造对自己有利的数据而更改统计标准或调整对象的“操弄”(Gaming),也属于利用黑暗数据的情形。

作者也指出黑暗数据并非只有坏处。在加入服务的过程中对各种个人信息加密以保护隐私,也可视为黑暗数据的生成。本书建议,要在数据主导的世界中生活,就需要意识到黑暗数据存在的可能性,具备作为“懂得怀疑数据”的健康怀疑主义者生活的技艺。1.9万韩元。

阅读韩文原文