Hadoop的组成

1： HDFS （一个高可靠、高吞吐量的分布式文件系统）

管理者：NameNode 作用：1 确定指定的文件块到具体的Datanode结点的映射关系。 2 负责管理整个文件系统的元数据（描述数据的索引），名字空间，目录树的维护 3 维护、管理工作者的心跳信息

工作者：DataNode 作用：1 负责工作，进行读写数据。 2 周期向NameNode做心跳报告 （节点是否可用、数据是否丢失、校验和）10分钟没有心跳NameNode认为该节点宕机。每三秒发送一次心跳报告 3 负责数据的流水线复制（一点一点复制） 4 负责管理用户的文件数据块.

辅助者：SecondaryNameNode 作用：1 责辅助NameNode管理工作。 2 辅助namenode管理元数据信息

2： MapReduce （一个分布式的离线并行计算框架）

3：YARN （作业调度与集群资源管理的框架）

管理者：ResourceManager 工作者：NodeManager HDFS可用的总容量是集群中所有节点的综合，HDFS目录下的数据在任何一个节点都可以使用或访问 hdfs中默认的数据块切分大小是128M，128直至 一个数据切分的分界线，若上传数据超过128M，那么对数据进行 切分。若小于128，有多大上传多大，数据块就是多大。