两个阶段
map阶段:主要负责分开
Map: 将一个Job分解为若干个task
reduce阶段:主要负责结果汇总,进行合并
Recude: 完成分解的task,并且汇总结果
eg:图书馆以书架进行图书清点。这里“以书架为单位”,就是map的过程,分配任务。而每个书架安排人来清点并且汇总最后的清点结果就是Reduce的过程。
基本概念
作业(Job)
任务(Task)
键值对(Key/Value)
Map(),Reduce() 函数的输入/输出都是的形式
核心思想
分治 分而治之小的问题集与大的问题集解决思路是一致的
架构特点
1.分布式编程架构
2.以数据为中心,更看重吞吐率
3.分而治之
4.Map将一个任务分解成多个子任务
Reduce将分解后多个子任务分别处理,并将结果汇总为最终结果
相关举例
1.车站各个车次人数统计
2.清点图书馆藏书
3.统计单词出现次数
领取专属 10元无门槛券
私享最新 技术干货