5 spark入门键值对foldByKey

天涯泪小武

发布于 2019-01-17 04:00:38

1.2K00

代码可运行

文章被收录于专栏：SpringCloud专栏SpringCloud专栏

运行总次数：0

代码可运行

foldByKey函数是PairRDD<K, V>对V做合并处理，方法是这样的

可以看到，第一个参数是zeroValue，这个就是用来对原始的V做合并操作的，后面的参数是一个JFunction操作。

对于一个PairRDD，如Array(("A",0),("A",2),("B",1),("B",2),("C",1))

进行foldByKey(2)、并且function是x+y的操作时，运算过程是这样的，先将2去加上key为"A"的第一个元素的value，变成了（"A", 2），然后拿这个初始化的结果再去执行"A"与后续元素，结果就是("A", 4)。对于key为"B"的结果就是("B", 5)

看代码：

import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.sql.SparkSession;
import scala.Tuple2;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;

/**
 * @author wuweifeng wrote on 2018/4/18.
 */
public class Test {
    public static void main(String[] args) {
        SparkSession sparkSession = SparkSession.builder().appName("JavaWordCount").master("local").getOrCreate();
        //spark对普通List的reduce操作
        JavaSparkContext javaSparkContext = new JavaSparkContext(sparkSession.sparkContext());
        List<Tuple2<String, Integer>> data = new ArrayList<>();
        data.add(new Tuple2<>("A", 10));
        data.add(new Tuple2<>("A", 20));
        data.add(new Tuple2<>("B", 2));
        data.add(new Tuple2<>("B", 3));
        data.add(new Tuple2<>("C", 5));

        JavaPairRDD<String, Integer> originRDD = javaSparkContext.parallelizePairs(data);
        //初始值为2，那么就会将2先与第一个元素做一次Function操作，将结果再与下一个元素结合
        Map map = originRDD.foldByKey(2, new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer v1, Integer v2) throws Exception {
                return v1 * v2;
            }
        }).collectAsMap();

        //{A=400, C=10, B=12}
        System.out.println(map);
    }
}