MapReduce Types
MapReduce是一个简单的数据处理模型,map与reduce的输入和输出类型都为key-value形式的键值对。...map: (K1, V1) → list(K2, V2)
reduce: (K2, list(V2)) → list(K3, V3)
一般来讲,map的输入key与输出value类型(K1,V1)不同于...map的输出类型(K2,V2).reduce的输入类型比如与map的输出类型保持一致,reduce的输出类型可能会有不同的形式(K3,V3)。...这里有一点,如果在map阶段调用了combine方法,那么就与reduce的入参相同
map: (K1, V1) → list(K2, V2)
combine: (K2, list(V2)) → list...(K2, V2)
reduce: (K2, list(V2)) → list(K3, V3)
使用parition方法对中间结果的key与value进行操作时,将会返回parition的位置(index