《快学BigData》--Hadoop总结（C）（36）

Hadoop总结 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 210

概述 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 211

CDH - - - - - - - - - - - - - - - - - - - - - - - - - - - - 211

安装Hadoop2.6.4 非Zookeeper集群版 - - - - - - - - - - - - - - - 211

安装Hadoop2.6.4 Zookeeper集群版 - - - - - - - - - - - - - - - 216

MapReduce整体的流程详解 - - - - - - - - - - - - - - - - - - - - 225

Hadoop HDFS 系统详解 - - - - - - - - - - - - - - - - - - - - - 226

JAVA 操作HDFS - - - - - - - - - - - - - - - - - - - - - - - - 241

Hadoop MapReduce 实例 - - - - - - - - - - - - - - - - - - - - 248

Hadoop 其他总结 - - - - - - - - - - - - - - - - - - - - - - - - 259

Hadoop 优化总结 - - - - - - - - - - - - - - - - - - - - - - - - 259

MapReduce整体的流程详解

1、MapTask会去执行InputFormat的getRecordRead的方法

2、getRecordRead去执行LineRecordReader组件中的RecordRead方法中的nextKey与nextValue去获取数据

3、nextKey与nextValue去split重拿数据

4、在回到MapTask去执行key与value

5、在wordCountMapper中map去获取数据，最后再把数据通过上下文context写出去

6、MapOuputConllecter中的conllecter(key,value)，也就是reduce阶段

7、拿到上一步的数据后会落入到唤醒缓冲区中做排序与溢出，在溢出时会用到compareTo组件进行排序

8、拿到上一步的溢出数据后通过组件splier溢出到磁盘

9、内部的merge组件会把小文件合并成大文件