第3章 认识大数据的基本常识(2)

这当然不是死而复生，而是一个大数据时代的奇迹。如果顺着这个剧情设想，我们不难做出预测，在未来，现在不能数据化的东西都可以数据化，直到最后一切都可以数据化，包括一个人、一个世界。

这个故事到后来发展到玛莎订购了一个具有艾什特征的机器人，然后发现机器人毕竟只是机器人，没有艾什的灵魂，最终玛莎放弃了这个机器人。导演似乎是要告诉我们，科技到任何时候都无法代替一个真正的人。可是，灵魂到底是什么？不就是说机器人还不够像艾什吗？那也只是因为艾什留下的数据还不够大，如果艾什从出生到车祸死去前的所有行为特征都被采集到了，根据这个采集到的大数据定制出的艾什和真正的艾什又有何不同呢？

所以，凡事皆可量化。只要我们能够找到观察问题的方式，并从一个新的角度去衡量它，不管从这个新的角度衡量它到底精准度如何，只要它能让我们知道得比以前更多，那么它就是一种可行的量化方法。实际上，对那些看似不可量化的东西，人们总能找到相对简单的量化方法。

1938年诺贝尔物理学奖得主、著名的物理学家恩里科·费米在使用各种高明技巧方面很有天分，在量化工作方面也是如此。

很多人都知道他的一些有关量化的有趣故事。

1945年7月16日，美国新墨西哥州洛斯阿拉莫斯附近的特里尼蒂沙漠进行了第一枚原子弹爆炸的试验。在其他科学家对量化爆炸当量的仪器进行最后校正时，作为基地观测爆炸情况的原子弹科学家之一的费米正在把一张纸撕成碎纸屑。当第一波冲击波冲过营帐时，他把碎纸屑慢慢撒向空中，观察它们在冲击波的冲击下能飘多远，最远的碎片承受的就是波的压力峰值。费米知道一条简单规则，那就是碎纸片在风力作用下的漂移和他想要量化的数据有关。据此，费米得出结论：爆炸当量至少有1万吨。这应该是一条新闻，因为其他观测者还没有算出这个下限。人们都在估计这次爆炸的当量，有说5000吨的，有说2000吨的，但都是非常感性的猜测，没有一个很好的估算办法去衡量，也没有其他的原子弹爆炸参数去对比，因为这是原子弹的第一次爆炸。在人们根据仪器的读数做了大量分析后，最终的计算结果为1.86万吨，这证实了费米的猜测。

在大数据时代，数据在以我们无法想象的速度增长着，有些问题是无法实现非常精确的计算的，而费米分解就为我们提供了很好的思路。我们要避免陷入不确定性及“无法”分析的泥潭，为了避免被显而易见的不确定性压倒，应该从知道的事情开始提问。评测我们已了解的事物的数量，是量化那些似乎根本不可量化的事物的重要步骤。

在未来的世界里，一切都可以数据化。一切都保存在互联网的数据库中，当你有一天需要的时候，数据库服务商能够将这些数据调出来给你，对其进行数字化。

统计学：解析大数据的工具

统计学是一门通过搜索、整理、分析数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。通过寻找和挖掘现象，把现象变成可用数字标识的数据，并把大量数据进行汇总，从而找出事物的本质和规律。其核心思想是把大量具备一定偶然性的事件汇总，从中找出规律。因为虽然单个事件是偶然的，但是大量事件汇总就会具备一定的必然性。

在企业管理中，无论是市场的运营，还是对人的管理，如果认真观察单个客户或员工的表现，然后汇总起来分析，就会发现各种现象背后的规律。所以说，大数据时代，一定离不开统计学，它是管理数据的最有用的工具。

统计学的概念最早出现在古希腊的亚里士多德时期，最初的用途是计算各个城邦王国的经济和居民状况等社会经济问题。

现在，统计学被广泛应用于国家管理、企业运营、科学研究各个不同领域。以统计学在社会中的作用来看，其发展经历了三个阶段。

1.城邦政情

有观点认为，古希腊亚里士多德撰写的“城邦政情”是最早应用统计学方法的记录。公元前8世纪，古希腊建立了很多以城邦为基础的国家。主张科学与数学管理的亚里士多德，为了抵御波斯帝国的入侵，对希腊各城邦的人口、军队、经济、粮食等方面进行了统计，来分析希腊抵抗外来入侵的能力。这种方法很快在欧亚地区流传开来，到了17世纪，正式发展成为现代意义的统计学。

2.政治算术

“政治算术”的特点是，统计方法与数学计算、推理方法开始结合，分析社会经济问题的方式，更加注重运用定量分析方法。延续至今，“城邦政情”已经演变成对国家和社会经济、社会发展的统计，现在大家经常听到的GDP、CPI、基尼系数就属于统计学的重要工作。

以基尼系数为例，基尼系数为意大利经济学家基尼于1922年提出的，根据劳伦茨曲线所定义的判断收入分配公平程度的指标。其比例数值在0和1之间，越接近0就表明收入分配越趋向平等；反之，收入分配则越趋向不平等。根据长期的数据统计发现，如果某个国家基尼系数超过0.4，则意味着贫富差距较大，社会上也会存在不稳定的因素，甚至会出现失业、动乱、罢工等危机事件。而当基尼系数达到或超出0.6时，则表示收入相差悬殊。

3.大数据时代

随着计算机和现代检测技术的发展，提取数据越来越容易。

应用计算机技术，我们可以轻易统计出一个银行每天的客流量和业务办理情况。同时，我们还可以快速把多个银行的信息汇总在一起分析。应用软件技术，可以根据客户的身份信息快速转换为年龄、地址等信息，每个业务或客户又可以快速添加很多信息标签。这种情况下每个企业都可以积累庞大的数据，而这些数据又可以通过网络和检索网站汇总为更大的数据。于是，“大数据”的概念随之出现，统计学也随之被重用。

大数据用于形容那些数量庞大到无法用人工，甚至用简单的计算机软件进行处理的海量数据。比如，商场一客户的购买信息，还有搜索网站上众多网民对于某词条的查询记录，当然也包括全国性的人口普查信息。这些海量信息的出现，使得管理者从过去单纯分析销售额、客户成交率，转变为可以分别针对不同年龄、不同性别、不同地区的客户来计算成交率。

检测技术还可以越来越方便地统计温度、压力、湿度、亮度、粉尘颗粒等信息，从而积累大量的数据，用于分析人们在不同条件下的行为变化。比如，据中国互联网络信息中心统计，截至2012年12月底，我国网民规模达6亿人，普及率为43%，较2011年底提升4%；我国手机网民规模为4亿人，较上年底增加约6000多万人；2012年70.6％的网民通过台式电脑上网，相比上年底下降了近3个百分点；手机上网的比例保持较快增速，从69.3％上升至74.5%。另外，百度也通过统计得出结论，2012年网民上网活跃时间依次为：20∶00～21∶00（6.53%），21∶00～22∶00（6.44%），16∶00～17∶00（6.20%），19∶00～20∶00（6.13%），15∶00～16∶00（6.09%）。晚饭后的3个小时（19∶00～22∶00）依然是网民最活跃的时间段。

大数据现在也成为另一种概念，也就是用大量的数据信息进行统计，从看似没有关联的事物中获取有价值的规律。京东商城的老总刘强东通过统计发现：只有女性用户超过一半，才有机会赚钱。秘密在于，男人买的东西都是毛利率“超低”的产品，而女人不同，比如服装、鞋帽、家居和化妆品等都是高毛利的。他表示：“我们希望做的是一个大型综合购物平台。如果这么一个平台只有男人，没有女人，那这个平台就是有缺陷的……”

所有这些，都离不开统计学。所以说，大数据时代，我们离不开统计学，否则，大数据时代的建立和数据的实际运用就是一场空谈。

数据大小怎么算

人们发现，大数据的主要特点为数据量大（Volume）、数据类别复杂（Variety）、数据处理速度快（Velocity）以及数据真实性高（Veracity），合起来被称为4V。

大数据中的数据量非常巨大，而且这庞大的数据之中，不仅仅包括结构化数据，如数字、符号等数据，还包括非结构化数据，如文本、图像、声音、视频等数据。这使得大数据的量化很难利用传统的计量方式去完成。大数据，顾名思义，一定是一个巨大的数据，那么，它的大小怎么算呢，用什么去量化呢？

我们在生活中接触比较多的是各类电子文档和影音资料，比如一个10万字的TXT文档大约200K，一首未经过压缩的APE格式歌曲大约30M，一张CD的容量大约为700M，一张普通DVD的容量大约为4.3G……K、M、G这些是表示文件大小的单位，我们一般比较熟悉。可是，很少有人听说过T、P、E、Z、Y、D和N等单位。

这些单位我们不常遇到，但是在大数据里十分常见。大数据又叫海量数据，光从名字看就知道数据的规模之大了，用一般的计量单位不是很方便。现在，个人、企业、政府手中的数据每天都海量产生，不断地爆发着。由于这些数据量是如此之大，已经不是以我们所熟知的多少G和T（约1000G）为单位来衡量，而是以P（约1000T）、E（约100万T）或Z（约10亿T）为计量单位的。

那么，这些单位之间存在什么关系呢？它们之间如何换算呢？

在十进制的世界里，人们用以记录数据的数字符号有10个，分别是从0到9，数数的方式是0、1、2、3、4、5、6、7、8、9、10、11、12、13……而在计算机里，使用的是二进制，记录数据的符号只有0和1，数数的方式是0、01、10、11、100、101、110、111、1000……二进制数系统中，每个0或1就是一个位（bit），8bit为1Byte，称为1字节。字节是计算机文件大小的基本计算单位。一个英文字母占用一个字节，一个汉字占用两个字节。

按照从小到大的顺序，单位分别为：bit（比特）、Byte（字节）、KB（千字节）、MB（兆字节）、GB、TB、PB、EB、ZB、YB、DB、NB。从KB到NB，人们习惯省略后面的“B”而直接用“多少K”，或“多少N”这样的说法。

它们按照进率1024（即210）来计算：

1Byte＝8bit

1KB＝1024Bytes

1MB＝1024KB＝1048576Bytes

1GB=1024MB＝1048576KB＝1073741824Bytes

1TB=1024GB＝1048576MB＝1073741824KB＝1099511627776Bytes

1PB＝1024TB＝1048576GB＝1125899906842624Bytes

1EB＝1024PB＝1048576TB＝1152921504606846976Bytes

1ZB＝1024EB＝1180591620717411303424Bytes

1YB＝1024ZB=1208925819614629174706176Bytes

1DB=1024YB＝1237940039285380274899124224Bytes

1NB＝1024DB＝1267650600228229401496703205376Bytes

越到后面看上去越像天文数字，我们似乎没有办法衡量到它们到底有多大。

百度公司对此给出了更形象的描述：百度新首页导航每天就要从超过1.5PB的数据中进行挖掘，这些数据如果打印出来将超过5000亿张A4纸。这些纸全部接起来超过4万千米高，接近地球同步卫星轨道，平铺可以铺满海南岛。而2020年新增的数字信息成长幅度将是2009年的近45倍。如今，只需两天就能创造出自文明诞生以来到2003年所产生的数据总量。