2.4 Hadoop大事记
我们来看Hadoop技术发展的时间轴,如图2-7所示。
图2-7 Hadoop发展的时间轴
Hadoop的发展历程中发生过的一些里程碑式事件如下。
2003年10月,Google发布关于GFS的研究论文。
2004年,Doug Cutting实现了HDFS和MapReduce的雏形。
2006年1月,Hadoop系统从Nutch系统上派生出来。
2006年2月,MapReduce从Apache Nutch系统上迁移出来加入Hadoop系统中。
2006年4月,Hadoop 0.1.0正式发布。
2006年4月,在一个实验中,Hadoop在188个节点上用47.9小时对1.8TB数据进行了排序。
2006年5月,Yahoo配置了拥有300台计算机的Hadoop集群。
2006年10月,Yahoo的Hadoop集群扩展到600台计算机。
2007年4月,Yahoo正式运营两个1000台计算机的Hadoop集群。
2007年10月,HBase第一次被加入Hadoop正式版本中。
2007年10月,Yahoo实验室把Pig系统贡献给ASF。
2008年2月,Yahoo把搜索引擎的核心——网页索引迁移到Hadoop系统之上,这个集群中有超过10000台的计算机。
2008年4月,Yahoo的一个有910个节点的Hadoop集群在209s对1TB的数据进行了排序,成为最快的TB级数据排序工具。
2008年10月,提供Hadoop系统的大数据服务公司Cloudera正式成立。
2009年3月,Yahoo内部的Hadoop集群数量达到17个,共有24000台计算机。
2009年7月,Hadoop Core系统被重命名为Hadoop Common。
2009年7月,提供Hadoop服务的大数据公司MapR正式成立。
2009年7月,HDFS和MapReduce从Hadoop系统中分离出来,成为单独的子项目。
2010年1月,Hadoop添加对身份认证Kerberos系统的支持。
2010年5月,HBase从Hadoop系统中分离出来,成为单独的ASF子项目。
2010年6月,Facebook运行2300个Hadoop集群,存储40PB的数据。
2010年9月,Hive和Pig从Hadoop系统中分离出来,成为单独的ASF子项目。
2011年1月,Zookeeper从Hadoop系统中分离出来,成为单独的ASF子项目。
2011年6月,大数据技术公司Hortonworks在Rob Bearden的带领下从Yahoo正式剥离出来。
2012年11月,Apache Hadoop 1.0版本正式发布。
2013年,专注于Hadoop商用系统的星环科技正式成立。
2013年3月,YARN在Yahoo的生产环境中被正式启用。
2014年2月,Matei Zaharia主导开发的Spark成为ASF的顶级开源项目。
2014年8月,Spark 1.0版本正式发布。
2015年6月,在Apache Hadoop2.6发表的7个月之后,Apache Hadoop 2.7版本正式发布。
和大数据与Hadoop相关的产品和事件层出不穷,让人目不暇接,由于篇幅所限,其他很多的产品和事件发布在此就不一一列举了。