大数据处理之道
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

0 “疯狂”的大数据

0.1 大数据时代

大数据?多么时髦的词!就连农民在看新闻联播的时候,都经常听到“大数据告诉我们……”。只要能涉及大数据、云计算的,各个行业都不会放过,比如汽车、在线教育、饮食、传媒、医疗、金融、零售业、农业等。是的,“大数据”已经不是IT界的专有名词了,而是与我们的生活息息相关的事物,我们已经大踏步地迈进了大数据时代。相信对于大多数人来说,第一反应就是:大数据最多算是无形的资产,要说具有划时代意义,还是有点夸张了吧。笔者个人认为一点也不夸张。要特别说明的是,这种观点不是笔者杜撰的,而是很多专家学者不约而同提出来的,最具典型性的是有哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教经历的维克托·迈尔·舍恩伯格教授。他在2012年出版了一部著作《大数据时代》(Big Data: A Revolution That Will Transform How We Live, Work, and Think),引起了很大的反响。此书观点既大胆又新颖,他提到“大数据时代,我们关注的不是随机样本,而是全体数据;不是精确性,而是混杂性;不是因果关系,而是相关关系”。我们已经身处大数据时代。

那么大数据对我们的生活造成了哪些影响?或者说带来哪些好处?让我们来简单地看几个例子。

(1)大数据帮助我们购物。相信大家都在淘宝或者京东等电商平台上有过购物的经历,如果用心的话,你就会发现,展现在你面前的都是你近期购买的或者感兴趣的东西。这就是后台大数据服务器运行的结果。它根据你的浏览记录或者购买记录,分析你的行为,挖掘你的喜好,进而为你推荐相关的产品。

(2)大数据让我们避免堵车。我们每天在公路上行驶时,可以通过智能手机查看道路信息,从而判断前面的路是否畅通,进而选择最佳的行车路线。同时可以最快速地找出附近的餐馆、银行、加油站等信息。

(3)大数据帮我们治疗疾病。很多先进的医院已经引进机器人来为患者诊疗,甚至做手术。大数据告诉我们各种症状的真正原因和解决方案。相信大家都读过一则新闻,科技巨头IBM跨界医疗对抗癌症,通过IBM Watson计算系统,几分钟就可以处理完一支专家团队通常需要几小时或几天来处理的数据。其实,目前已经有医院试点用机器人来做手术和制订治疗方案,虽然没有得到大规模的应用,但大数据医疗已经成为一种趋势。

(4)大数据帮助我们娱乐。典型的例子是Google AlphaGo和韩国围棋大师李世石对弈,最终以4:1获胜。Google AlphaGo通过收集李世石之前所有的棋局,加上专家的修缮,最重要的是结合机器深度学习的大数据处理算法,最终获胜。

(5)大数据帮助反腐。是的,大数据可以对一个人的财产情况进行分析,即时显示其清廉与否。还可以迅速查出偷税漏税等情况(已有例证)。

(6)大数据可以帮助警察破案。这个貌似不太稀奇,大数据几秒钟内就可以找到犯罪嫌疑人的车辆,甚至其最近出现的地点。满大街都是“天眼”(摄像头),大数据让这个世界真正做到了“天网恢恢,疏而不漏”。

(7)大数据帮助我们做健康检查。健身腕带可以收集有关我们走路或者慢跑的数据,例如我们走了多少步、每天燃烧了多少卡路里、我们的睡眠模式或者其他数据,然后结合这些数据与健康记录来改善我们的健康状况。国外有很多私人健康医生推荐客户使用这样的“健康手环”,以此来记录客户的身体情况。

类似的案例不胜枚举,相信读者也感觉到大数据正在无时无刻地影响着我们的生活。正如马云所说的,“很多人还没搞清楚什么是PC互联网,移动互联网来了;我们还没搞清楚移动互联网的时候,大数据时代又来了”。毫不夸张地说,我们生活在一个疯狂的大数据时代,大数据会让我们的生活越来越舒适、便利。大数据作为新一轮信息战的主角,将创造无限商机,既便利,又危及每个人的生活。

那么,什么是大数据呢?我们来看看官方的定义:大数据(Bigdata),或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工在合理时间内截取、管理、处理并整理成人类所能解读的信息。IBM提出了大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)、Veracity(真实性)。

维克托·迈尔·舍恩伯格教授在《大数据时代》一书中指出,大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。简言之,从各种类型的数据中快速获得有价值信息的能力就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备了走向实际应用的潜力。