所谓“大数据”,是指用现有数据库软件难以收集、存储、管理和分析的海量规模数据。近来不仅民间,政府及公共部门对其关注度也在扩大。它不仅包括通过互联网上的社交媒体、多媒体等生成并提供的数据,也包括通过设在百货商店、超市、高速公路收费站等处的闭路电视、信用卡终端、各类传感器所生成并积累的数据。“大数据”首次出现为谷歌搜索词是在2006年,而搜索频率激增则是从2011年中期开始。
“大数据”受到关注的原因在于,企业、政府、互联网门户等通过有效分析“大数据”来预测未来、寻找最佳应对方案,并将其转化为收益,创造新的价值。为我们所熟知的“谷歌(Google)”并非搜索引擎公司,而是具有代表性的“大数据”企业。因为“谷歌”掌握并分析所有与接入互联网、使用其搜索引擎服务的客户相关的数据,并将其用于业务。
与“大数据”相关的价值链大体分为4个阶段:收集、存储、分析并报告大数据。大数据的收集与存储可称为前端价值链,分析与报告则为后端价值链。在价值链的各个阶段形成相关设备与软件市场,在分析并报告大数据的过程中也形成咨询等服务市场。
例如,在互联网、智能手机、百货商店、大型折扣店、高速公路收费站等处收集与客户相关的实时海量数据。为此需要社交网络服务(SNS)相关设备与软件、RSS阅读器等相关设备与软件。其次,为将收集的大数据分散存储,并分类为结构化数据与非结构化数据加以存储,需要数据库相关软件、大容量服务器与存储设备、云计算等。第三,为分析大数据,需要聚类和数据挖掘等分析算法以及分布式并行处理技术。
据市场调研机构IDC,全球数字数据规模预计将从2011年的1.8泽字节增至2020年的35泽字节,增长逾19倍。韩国国内数字数据规模也从2006年的2.9艾字节以年均约57%的速度增长,2011年已达27艾字节。以国会图书馆藏书截至2012年6月为465万册计算,这一数据规模约相当于其60万倍。IDC预测,全球“大数据”市场到2015年将实现年均39.4%的惊人增长率。
那么,大数据中最重要的是什么?曾任奥巴马连任竞选团队首席技术官的哈珀·里德谈到利用大数据赢得大选的秘诀时表示:“数据的大小并不重要。重要的是能多么‘迅速、准确地找到核心答案’。”今年4月,在波士顿马拉松终点发生的爆炸恐袭案中,大数据为抓获嫌犯作出了重大贡献。
美国联邦调查局从附近商店、加油站、奥特莱斯等处安装的600余台闭路电视收集信息,并获得观众的手机照片和视频、转播机构拍摄的照片和视频资料,通过分析10太字节(相当于1万部电影)的“大数据”,成功锁定嫌疑人。大数据的重要性此前已被过多强调。但今后,人们的关注将更多集中于如何利用大数据创造价值。
Seoul Economic Daily·现代经济研究院联合策划






