大数据是生活中不断生成的数字资料的集合体,用于汇集实时产生的结构化与非结构化信息,从中得出有意义的结果。/图=Seoul Economic Daily资料库
1分钟内互联网上产生的数据量/图片提供=kt经济经营研究所
◇数据种类
结构化 数据 销售额、 收据、 报纸 报道、 广播、 书籍、 政府 发布 等 具有既定形态的 数据 非结构化 数据 互联网 评论、 GPS 位置、 博客、 网上 照片视频 等 普通人 实时 生成的 数据
作为新产业代表的第四次工业革命背后的大数据,其科学原理与应用领域正受到越来越多关注。大数据是实现智能工厂的必需品,也与关乎生老病死的医疗产业直接相关。其用途无穷,包括电子商务等营销活动、企业风险管理、防范逃税等违法行为。谷歌的自动翻译系统、IBM的超级计算机“沃森”、亚马逊的图书推荐系统等,没有大数据也无法实现。
举例来说,拥有大量专利的A公司分析了过去多起泄露公司内部信息的案例,找出了泄露者的行为模式。这些人习惯频繁下载与业务无关的公司文件,并经常访问求职网站,还频繁与外部企业往来电子邮件。掌握泄露者的这些特征后,公司便能事先甄别出有泄密风险的员工,并在泄露发生后加以应对。IBM沃森也通过分析与医疗卫生相关的大数据“智慧健康数据”,融合医疗卫生、生命工程与信息技术,再收集发病与DNA等信息,提供定制化服务。就智能工厂而言,在工厂内多种设备上安装传感器并以数字方式连接,分析由此产生的大数据,就能提升质量与生产率。
从消费者角度看,居住在日本东京的K先生走进销售生活用品的“无印良品”门店时,就会通过智能手机收到当天适用的折扣券。这是名为Treasure Data的数据公司将顾客偏好、所访门店库存量、销售规模等作为数据进行分析,从而提供定制化优惠券。Treasure Data Korea首席数据架构顾问高英赫表示:“无印良品正通过大数据实现真正的O2O(Online to Offline)服务。”
因“阿尔法狗”而备受关注的人工智能(AI),也需要积累大数据才能实现。机器人、无人机、自动驾驶汽车、物联网(IoT)等的底层同样是大数据。未来创造科学部为激活大数据等新产业而着手放宽个人信息相关监管,原因也在此。
大数据是将模拟世界的一切转换为使用0和1二进制的数字信息加以保存,再由计算机快速分析而成。分析结果被应用于企业营销以及未来预测、AI、成本节约等各领域,正在改变我们的日常生活与产业现场。高丽大学媒体学部教授金成泰解释称:“人的行为或人类的历史既具重复性又具累积性”,“若能很好地分析过去与现在所有可用的数据,就能预测未来。”
据IBM称,一天涌现的数据量就超过250京字节,相当于每天生成39亿部600MB电影的资料量。随着互联网与移动通信爆发式增长,据称人类迄今积累的数据中有90%产生于最近两年。
在大数据中,官方资料或客户使用记录等结构化数据仅占20%,而互联网评论、UCC视频、GPS位置数据、博客、网上照片与视频等非结构化数据占绝大部分。必须汇集这类非结构化信息并从中发现价值。金司机或T map等智能手机导航、基于历史数据的犯罪预防系统、通过消费模式分析的商品推荐服务等,都是利用大数据的典型案例。
要从大数据中产出有意义的资料,需要分析技术与专业人才。如洪水般涌出的数据也要像书店那样按目的分类,用于各产业与科学技术。例如利用大数据分析美食店评价,就是把从博客、评论、各类社交网络服务(SNS)等随机收集的信息,按“好吃”“一般”“还想再来”“美食店”等关键词进行分类。通过“非常”“真的”“十分”等情感相关词汇,还可判断肯定或否定的程度。
大数据分析技术包括基于自然语言处理技术的“文本挖掘”、判别偏好的“意见挖掘”、利用社交网络的“社交网络分析”、发掘具有相似特征群体的“聚类分析”等。每天产生的庞大规模数据由计算机加工、处理、分析并学习。由此,计算机能像人一样自主思考,并与物体相连,以物联网为中心在无人介入的情况下作出判断。
韩国信息化振兴院院长徐丙祚表示:“AI正随着大数据与云产业的发展而成为现实”,“不仅要利用民间数据,还要利用公共数据信息,以产生协同效应。”研究机构Trend Spectrum研究员朴正培表示:“大数据应能把握使用者的脉络(context),提出未来行为模式或解决方案”,“对人的关注越高,就越能获得准确的信息。”/权容民·金志映记者 minizzang@sedaily.com






