MapReduce 2.0源码分析与编程实战
上QQ阅读APP看书,第一时间看更新

本章小结

HDFS是构成Hadoop文件存储的基础,而其主要是由NameNode和一系列的DataNode两部分构成的。NameNode对HDFS的目录和文件元数据进行管理。DataNode则是对文件进行存储和处理的具体工作节点。DataNode 会定时地将本地存储的可用文件列表汇报给NameNode,并且接受由NameNode对系统的下一步工作作出进一步的指示。

对于HDFS中文件的存储,可以采用命令行的形式对文件进行操作,这点与普通的文件操作相类似,只是采用命令行方式进行而已。本章已经给出了大多数的常用操作命令。除此之外,HDFS还提供了一整套基于Java代码的API接口,可以通过使用代码的形式对文件进行操作。这种接口的提供可以为我们带来更多好处,例如,通过搭建 B/S 服务器对文件进行查询和处理。我们在本书的最后实例部分给大家演示了通过HDFS提供的API搭建的“云存储模型”,请读者自行查看。