更新时间:2019-01-01 20:07:50
封面
版权信息
作者简介
序
前言
第1章 大象也会跳舞
1.1 大数据时代
1.2 大数据分析时代
1.3 简单、粗暴、有效——这就是Hadoop
1.4 MapReduce与Hadoop
1.5 看,大象也会跳舞
本章小结
第2章 大象的肚子——HDFS文件系统详解
2.1 HDFS基础详解
2.1.1 HDFS设计思路
2.1.2 HDFS架构与基本存储单元
2.2 HDFS数据存取流程分析
2.2.1 HDFS数据存储位置与复制详解
2.2.2 HDFS 输入流程分析
2.2.3 HDFS输出流程分析
2.3 HDFS命令行操作详解
2.3.1 HDFS中4个通用的命令行操作
2.3.2 HDFS文件18个基本命令行的操作
2.3.3 HDFS文件访问权限详解
2.4 通过Web浏览HDFS文件
2.5 HDFS接口使用详解
2.5.1 使用FileSystem API操作HDFS中的内容
2.5.2 使用FileSystem API读取数据详解
2.5.3 使用FileSystem API写入数据详解
2.6 HDFS文件同步与并发访问
第3章 “吃下去吐出来”——Hadoop文件I/O系统详解
3.1 Hadoop的压缩类型介绍
3.2 Hadoop的压缩类库
3.2.1 从一个简单的例子开始
3.2.2 CompressionCodec接口
3.2.3 CompressionCodecFactory类详解
3.2.4 压缩池
3.2.5 在Hadoop中使用压缩
3.3 I/O中序列化类型详解
3.3.1 Text类详解
3.3.2 IntWritable类详解
3.3.3 ObjectWritable类详解
3.3.4 NullWritable类详解
3.3.5 ByteWritable类详解
3.4 实现自定义的Writable类型
3.4.1 Writable接口
3.4.2 WritableComparable接口与RawComparator接口
3.4.3 自定义的Writable类
3.4.4 为了更快的比较
3.5 Hadoop中小文件处理详解
3.5.1 SequenceFile详解
3.5.2 MapFile详解
第4章 “大象的大脑”——MapReduce框架结构与源码分析
4.1 MapReduce框架结构与源码分析
4.1.1 MapReduce框架分析与执行过程详解
4.1.2 MapReduce输入输出与源码分析
4.1.3 MapReduce中Job类详解
4.2 编程实战:经典的MapReduce单词计数程序
4.2.1 准备工作
4.2.2 MapReduce过程分析
4.2.3 计数程序的MapReduce实现
4.2.4 计数程序的main方法
4.2.5 注意事项
4.2.6 运行结果
4.2.7 Mapper中的Combiner详解
第5章 深入!MapReduce配置与测试
5.1 MapReduce环境变量配置详解
5.1.1 使用XML配置新的配置文件
5.1.2 修改已有的配置文件
5.1.3 辅助类ToolRunner、Configured详解
5.2 使用MRUnit对MapReduce进行测试
5.2.1 MRUnit简介与使用
5.2.2 使用MRUnit完成Mapper单元测试
5.2.3 使用MRUnit完成Reduce单元测试
5.2.4 使用MRUnit完成MapReduce单元测试
5.3 在本地磁盘上进行MapReduce测试
5.3.1 伪环境欺骗
5.3.2 在Eclipse中配置Hadoop插件
5.3.3 编写本地测试代码
5.4 MapReduce计数器
5.4.1 使用计数器的MapReduce程序设计
5.4.2 通过Web接口进行任务分析
5.4.3 通过Web接口查看计数器
第6章 大象的思考流程——MapReduce运行流程详解
6.1 经典MapReduce任务的工作流程
6.1.1 ClientNode执行任务的初始化
6.1.2 消息传递
6.1.3 MapReduce任务的执行
6.1.4 任务的完成与状态更新
6.2 经典MapReduce任务异常处理详解
6.2.1 MapReduce任务异常的处理方式
6.2.2 MapReduce任务失败的处理方式
6.3 经典MapReduce任务的数据处理过程
6.3.1 Map端的输入数据处理过程
6.3.2 Reduce端的输入数据处理过程
6.3.3 Java虚拟机重用