2015-01-22

[金娜英记者的一日一识]“大数据显微镜”

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

正如要观察生物之间的微妙相互作用需要显微镜一样,审视大数据时也需要显微镜式的视角,去分析它因何生成、与其他要素之间存在怎样的因果关系和相关关系。/照片资料来源=morguefile.com 不久前,某IT领域大企业决定利用自身持有的海量数据,制定对客户进行细分的“分群战略”。为此,其首先做的事就是设立大数据专责部门。此前专家之间曾出现这样的说法:分析庞大数量的数据,可以获得以有限样本观察小数据时难以发现的洞察。尤其与一般社会调查分析观察3000至10000个数据不同,大数据的优势在于可直接分析超过10万量级的资料,从而做出更具说服力的材料。

然而问题在于一个悖论:企业越想用大数据来工作,对专业咨询公司的依赖比率就越高。真正的“内部化”(In house strategy)意义就此消失。原因是什么呢?首先在于未能吸引到专业掌握“数据挖掘(Data Mining)”技法、能够从线上空间、地理信息、照片信息等中调取数十万条数据的人才。要进行分析,首先需要把庞大的资料从井中打捞上来并加以整理,构建基础设施。但许多大企业尚未充分建立起这样的组织性基础,因此出现了令人遗憾的局面:大数据专责部门的比重越大,就越要向外部借智。其次成为问题的是在分析和研究数据的过程中能够提炼出多样启示的慧眼。比获取数百万条数据更重要的,是看待它的视角,或是理解它产生的背景。正如社会现象中没有无缘无故发生的事,数据同样是在依据和环境条件下形成的。然而尤其在大企业内部,当宣布用大数据做商品策划或建立新的市场调查分析框架时,常能发现依赖“数字”神话的样态,即把“我们查看了数亿件文档”或“我们构建了10万名客户的数据库并考察了他们的行为模式”这类表述放在最前面。

记者多次谈到,统计同样可以被用作政治工具。它并非人人都必须相信的客观资料,而是可以因构建和加工它的视角、选择分析对象的视角等而随意改变方向。在韩国拥有最强大统计分析基础设施的韩国银行,其各类经济动向指标也要经过“修正值”和“合计方式”之类的加工技巧来打磨。专家把更重要的价值放在哪个数字上,解释就可以随之大不相同。从这一点看,单纯想从“大”数据这个词中发现真理的一系列动向实在过于空洞。

此外还需要能识别优质数据的“眼光”。大数据专家、Daum Soft副社长宋吉永指出,在线上空间流传的数据中,相当多存在“扎堆现象”的严重问题,即某人最初创作的文档或意见被其他人引用和转发。换言之,我们自信拥有庞大数量的数据,实际上可能只不过是少数正在制造巨大变化潮流的意见领袖所留痕迹的扩散结果。因此宋副社长多次强调,需要互补性地考察多种类型和不同时点的资料。

政府发布了雄心勃勃的计划,称将通过公共数据开放和大数据分析培育新的ICT产业参与者。也就是说,今后它似将作为重要的未来增长动力受到瞩目。但要真正收集并运用好大数据,似乎还有很长的路要走。不要只宣传它是多好的决策工具,对于为准确使用它所需的环境以及市场参与者层面的心态,似乎也需要思考。

/iluvny23@sed.co.kr

阅读韩文原文