首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

MapReduce教程

intermediate_values: result += ParseInt(v); Emit(output_key, result); 3.上升到构架-自动并行化并隐藏低层细节 如何提供统一的计算框架...MapReduce提供一个统一的计算框架,可完成: —计算任务的划分和调度 —数据的分布存储和划分 —处理数据与计算任务的同步 —结果数据的收集整理(sorting, combining, partitioning...,…) —系统通信、负载平衡、计算性能优化处理 —处理系统节点出错检测和失效恢复 MapReduce最大的亮点 —通过抽象模型和计算框架把需要做什么(what need to do)与具体怎么做(how...to do)分开了,为程序员提供一个抽象和高层的编程接口和框架 —程序员仅需要关心其应用层的具体计算问题,仅需编写少量的处理应用本身计算问题的程序代码 —如何具体完成这个并行计算任务所相关的诸多系统层细节被隐藏起来...,交给计算框架去处理:从分布代码的执行,到大到数千小到单个节点集群的自动调度使用 MapReduce提供的主要功能 —任务调度:提交的一个计算作业(job)将被划分为很多个计算任务(tasks), 任务调度功能主要负责为这些划分后的计算任务分配和调度计算节点

1.5K80
领券