MapReduce分组排序OrderBean（二）

原创

堕落飞鸟

发布于 2023-05-13 11:03:09

26800

代码可运行

文章被收录于专栏：飞鸟的专栏飞鸟的专栏

运行总次数：0

代码可运行

Map阶段

在Map阶段，我们需要对输入数据进行处理，并输出一个或多个键值对。在分组排序中，我们需要将输入数据按照group分组，并对每个组内的数据按照value进行排序。因此，我们可以在Map函数中实现对输入数据的分组和排序操作。具体实现如下：

public class OrderMapper extends Mapper<Object, Text, Text, OrderBean> {
    private Text groupKey = new Text();

    @Override
    protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
        String[] fields = value.toString().split(",");
        String group = fields[0];
        int val = Integer.parseInt(fields[1]);
        OrderBean orderBean = new OrderBean(group, val);
        groupKey.set(group);
        context.write(groupKey, orderBean);
    }
}

OrderMapper继承自Mapper类，输入数据的键类型为Object，值类型为Text；输出数据的键类型为Text，值类型为OrderBean。在map函数中，我们首先将输入数据按照逗号分隔符进行切割，获取group和value两个属性。然后创建一个OrderBean对象来表示当前的输入数据。最后将group作为键，OrderBean作为值，输出到上下文中。

Reduce阶段

在Reduce阶段，我们需要将Map阶段输出的数据按照group进行分组，并对每个组内的数据按照value进行排序。具体实现如下：

public class OrderReducer extends Reducer<Text, OrderBean, Text, NullWritable> {
    @Override
    protected void reduce(Text key, Iterable<OrderBean> values, Context context) throws IOException, InterruptedException {
        List<OrderBean> orderBeans = new ArrayList<>();
        for (OrderBean value : values) {
            orderBeans.add(new OrderBean(value.getGroup(), value.getValue()));
        }
        Collections.sort(orderBeans);
        for (OrderBean orderBean : orderBeans) {
            context.write(new Text(orderBean.toString()), NullWritable.get());
        }
    }
}

OrderReducer继承自Reducer类，输入数据的键类型为Text，值类型为OrderBean；输出数据的键类型为Text，值类型为NullWritable。在reduce函数中，我们首先将同一组内的所有OrderBean对象存储在一个List中。然后对List进行排序操作，按照OrderBean定义的比较规则进行排序。最后将排好序的OrderBean对象输出到上下文中。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

hadoop

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

hadoop

登录后参与评论

0 条评论

热度