将Reducer的输出添加到Hadoop中的列表
在Hadoop中，Reducer是MapReduce框架中的一个关键组件，用于对Map阶段的输出进行汇总和聚合。Reducer的输出会被添加到Hadoop中的列表，这个列表通常被称为输出文件或结果文件。
Reducer的主要作用是将Map阶段输出的中间结果进行合并和归约，以生成最终的计算结果。在MapReduce任务中，多个Mapper会将输入数据划分为若干个键值对，并将这些键值对按照键的哈希值进行分区，然后分发给不同的Reducer进行处理。每个Reducer会接收到一组具有相同键的键值对，并对这些数据进行处理，最终生成一个或多个输出键值对。
将Reducer的输出添加到Hadoop中的列表是通过Reducer的输出上下文（Context）实现的。Reducer的输出上下文提供了一个接口，允许开发人员将计算结果写入Hadoop分布式文件系统（HDFS）或其他存储介质。开发人员可以使用输出上下文的write()方法将键值对写入输出文件，这些键值对将作为最终的计算结果被存储和使用。
在腾讯云的云计算平台中，推荐使用Tencent MapReduce（TMQ）来执行MapReduce任务。TMQ是腾讯云提供的一种弹性、高可靠、易扩展的大数据计算服务。对于将Reducer的输出添加到Hadoop中的列表，可以使用TMQ提供的Reducer函数来实现。TMQ支持Java、Python和Scala等多种编程语言，开发人员可以根据自己的需求选择合适的语言进行开发。
更多关于Tencent MapReduce的信息和产品介绍，可以访问腾讯云官方网站的TMQ产品页面：https://cloud.tencent.com/product/tmq
相关·内容
我想将一个JSON字符串作为命令行参数传递给我的reducer.py文件，但我无法这样做。
我执行的命令是：
hadoop jar contrib/streaming/hadoop-streaming.jar -file /home/hadoop/mapper.py -mapper 'mapper.py' -file /home/hadoop/reducer.py -reducer 'reducer.py {"abc":"123"}' -input /user/abc.txt -output /user/output/
当我在re
浏览 2提问于2015-02-11得票数 4
回答已采纳
我正在使用Oozie触发一个流式MapReduce作业，为此，我希望收集以下Hadoop EL常量：
MAP_IN: Hadoop映射器输入记录计数器名称。
MAP_OUT: Hadoop映射器输出记录计数器名称。
REDUCE_IN: Hadoop reducer输入记录计数器名称。
REDUCE_OUT: Hadoop reducer输入记录计数器名称。
我看到可以使用以下命令访问它们
${ hadoop:计数器(‘mr-action’)记录}
但是，我不知道如何通过STDOUT将这些值输出回屏幕，或者输出到服务器上HDFS中的文件，我将从服务器上启动Oozie工作流。
我曾尝试将这些值传
浏览 1提问于2015-10-23得票数 2
1回答
我想让我的hadoop流媒体工作。
但是我想使用第一步的输出作为我的mapreduce作业的第二步的输入，而不是存储在hdfs中，可能输出为stdout。有没有像linux管道这样的东西？如hadoop jar hadoop-streaming.jar -mapper map1.py -reducer reducer.py -input xx | hadoop jar hadoop-streaming.jar -mapper map2.py -reducer -input 2.py -output /output
浏览 3提问于2016-02-06得票数 1
在Hadoop中，所有映射器输出都存储在本地磁盘中(而不是HDFS中)。任何Hadoop作业都有可能没有reducer。
在这种情况下，映射器输出仍然存储在本地磁盘中吗？如果输出存储在本地磁盘上，可靠性如何？如果没有可用的reducer，有没有办法将映射器输出存储在HDFS上？
感谢和问候，KB Devaraj
浏览 0提问于2015-07-23得票数 1
我正在尝试设置一个完全分布式的Hadoop/MapReduce实例，其中每个节点将在一些输入上运行一系列C++ Hadoop流任务。但是，我不想将所有输入任务移到HDFS上，而是想看看是否有一种方法可以从每个节点的本地文件夹读取输入数据。
有这样的事吗？
编辑：我想运行的hadoop命令示例类似于：
hadoop jar $HADOOP_STREAM/hadoop-streaming-0.20.203.0.jar \
-mapper map_example \
-input file:///data/ \
-output
浏览 3提问于2011-11-20得票数 1
我正在使用Hadoop 0.20，我希望有两个reduce输出文件，而不是一个输出文件。我知道MultipleOutputFormat不能在Hadoop0.20中工作。我将hadoop1.1.1-core jar文件添加到Eclipse中我的项目的构建路径中。但它仍然显示最后一个错误。
下面是我的代码：
public static class ReduceStage extends Reducer<IntWritable, BitSetWritable, IntWritable, Text>
{
private MultipleOutputs mos;
public
浏览 10提问于2013-09-25得票数 1
我试图将多个输入目录中的多个文件合并为一个文件，出于各种奇怪的原因，我将不再赘述。我最初的尝试是编写一个'nul‘映射器和reducer，它只是将输入复制到输出，但失败了。我最新的尝试是：
vcm_hadoop lester jar /vcm/home/apps/hadoop/contrib/streaming/hadoop-*-streaming.jar -input /cruncher/201004/08/17/00 -output /lcuffcat9 -mapper /bin/cat -reducer NONE
但我最终还是得到了多个输出文件。有人知道我怎样才能把所有东西都转换
浏览 0提问于2010-04-09得票数 0
回答已采纳
2回答
我正在使用hadoop编写mapreduce程序。
我的还原器里有这部分代码：
public void reduce(Text key, Iterable<TextLongWritable> values,Context context) throws IOException, InterruptedException {
long word1count = 0;
List<TextLongWritable> cache = new ArrayList<TextLongWritable>();
String decade = ke
浏览 3提问于2016-07-11得票数 0
回答已采纳
我想使用hadoop流方法在中运行python映射减少作业。我的地图减少python脚本、输入文件和作业结果输出都位于中。
我试着运行这个命令
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -file gs://bucket-name/intro_to_mapreduce/mapper_prod_cat.py -mapper gs://bucket-name/intro_to_mapreduce/mapper_prod_cat.py -file gs://bucket-name/intro_to_mapreduce/redu
浏览 1提问于2017-12-28得票数 2
回答已采纳
1回答
我试图在hadoop中实现页面排名。我创建了一个shell脚本来迭代地运行map-还原。但是while循环不起作用。我有两个地图-缩减，一个找到最初的页面排名和打印邻接列表。另一个是第一个减速器的输出，并将其作为第二个映射器的输入。
shell脚本
#!/bin/sh
CONVERGE=1
ITER=1
rm W.txt W1.txt log*
$HADOOP_HOME/bin/hadoop dfsadmin -safemode leave
hdfs dfs -rm -r /task-*
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hado
浏览 2提问于2022-09-29得票数 0
我目前正在使用Hadoop和Cassandra来运行Map任务。
它工作得很好，但我想让reduce输出开始使用Map列类型将数据插入Cassandra表。
我尝试过简单地将值out类型更改为Reducer中的Map，但这开始在cassandra.hadoop实现内部引发问题，因为它总是需要一个列表。
我试图更改OutputValueClass设置，但没有效果。
有没有其他人幸运地输出了清单以外的东西，或者能够指出我的方向，去理解它是如何实现的。
浏览 0提问于2015-03-25得票数 0
回答已采纳
我是Hadoop的新手！现在，我尝试在Hadoop2.2.0中使用MultipleOutputFormat，但似乎它们只使用不推荐的“JobConf”，而后者又使用了弃推荐的Mapper和Reducer (org.apache.hadoop.mapred.Reducer)等等。如何使用新的“org.apache.hadoop.mapreduce.Job”实现多个输出功能？
浏览 0提问于2013-11-26得票数 2
回答已采纳
1回答
我正在使用“Hadoop in Practice”一书学习Hadoop，在阅读第1章时，我看到了这个图表：
来自Hadoop文档：()
1.Shuffle
减速器是输入一个映射器的分组输出。在这个阶段中，框架为每个Reducer通过HTTP获取所有Mappers输出的相关分区。
2.Sort
在这个阶段，框架按键分组减缩器输入(因为不同的Mappers可能输出相同的键)。洗牌和排序阶段同时进行，即在获取输出时，它们被合并。
虽然我理解shuffle和sorting同时发生，但我不清楚框架如何决定哪个reducer接收哪个mapper输出。从文档中看，似乎每个reduc
浏览 3提问于2014-01-04得票数 3
回答已采纳
我正在尝试在Hadoop0.20.1中使用MultipleOutputFormat，它们似乎只适用于过时的'JobConf‘，而后者又使用过时的映射器和还原器(org.apache.hadoop.mapred.Reducer)等。有什么想法可以使用新的'org.apache.hadoop.mapreduce.Job‘来获得多个输出功能(或者至少命名reducer输出功能)？
浏览 0提问于2011-03-19得票数 0
回答已采纳
1回答
我正在使用Python元组，并且有一个文本文件，如下所示
(1,value1)
(2,value2)
(3,value3)
...
(100,value100)
如何将MapReduce作业配置为按元组中的第一个键作为整数进行排序？
我的reduce作业需要输出一个有序的元组列表，所以我不想开始用制表符替换括号和逗号。这将是一个痛苦的转换回元组。
我使用以下参数从bash运行我的hadoop作业：
hadoop jar /usr/local/Cellar/hadoop/2.*/libexec/share/hadoop/tools/lib/hadoop-streaming-2*.jar
-D
浏览 0提问于2016-05-02得票数 0
我尝试使用定义为的基本字数统计。有没有可能当IntSumReducer执行context.write时，该context.write可以被传递到第二个reducer或输出类，从而将IntSumReducer给出的最终列表减少/更改为单个最大频率？
我对Hadoop/MapReduce和Java语言中的作业概念非常陌生，所以我不确定我到底需要如何修改默认的WordCount才能使其成为可能。我是否可以编写第二个Reducer函数并将其放入同一作业中？我该怎么做呢？我如何发出信号，表明在IntSumReducer之后还有另一个要运行的reducer？
基础WordCount：
import jav
浏览 0提问于2017-03-29得票数 0
1回答
我收到一个错误，我认为这与我设置目录的方式有关：
运行后：
hadoop-0.20.205.0/bin/hadoop jar hadoop-0.20.205.0/contrib/streaming/hadoop-streaming-*.jar -file mapper.py -mapper mapper.py -file reducer.py -reducer reducer.py -input cs4501input -output py_wc_out
我得到: packageJobJar: mapper.py，reducer.py，packageJobJar/tmp/mapper.py j
浏览 1提问于2012-04-09得票数 2
当我在不使用hadoop流命令的情况下运行时，我的python映射器和缩减程序代码运行良好。
hadoop fs -cat /user/root/myinput/testfile3_node.csv | ./mapper_1.py | sort | ./reducer_1.py
当我使用hadoop流命令运行代码时，它会失败
hadoop jar /usr/iop/current/hadoop-mapreduce-client/hadoop-streaming.jar -mapper ./mapper_1.py -reducer ./reducer_1.py -file ./mapper_1.
浏览 1提问于2016-12-13得票数 0
我对从Mapper获得的输出感到有点困惑。
例如，当我使用以下输入文本运行一个简单的wordcount程序时：
hello world
Hadoop programming
mapreduce wordcount
lets see if this works
12345678
hello world
mapreduce wordcount
这是我得到的输出：
12345678 1
Hadoop 1
hello 1
hello 1
if 1
lets 1
mapreduce 1
mapreduce 1
programming 1
see 1
this 1
w
浏览 1提问于2014-07-16得票数 6
回答已采纳
我在Azure的Linux集群上使用Hadoop Streaming在C#中运行mapreduce作业。但是，我需要使用MathNet.Numerics库。我使用NuGet包管理器获取dll，然后将dll作为参考文件包含在lib文件夹中，并确保构建操作设置为: Embedded Resource。
每当我尝试运行以下命令时：
hadoop jar ./hadoop-streaming-2.6.0.jar -input wasb:///CSV/ -output
wasb:///Output/reducer1.txt -file ./Mapper.exe -mapper Mapper.exe
浏览 1提问于2016-02-26得票数 1
我正在努力学习MapReduce，并且对它非常陌生。我研究了Combiner通过减少数据节点级别上的映射器输出而提供的优化。
现在，可以理解映射器输出键/val和组合器输入键/值需要相同。但是，我不能理解这样一个事实:组合器输出键/值和映射器输出键/Val需要相同。
如果我想找到数据的平均值，即名称，格式，那么我可能会选择如下：
Mapper<LongWritable, Text, Text, IntWritable>
Combiner<Text, IntWritable, Text, FloatWritable>
Reducer<Text, IntWritabl
浏览 1提问于2021-02-13得票数 0
回答已采纳
2回答
我是hadoop的新手。我有多个文件夹，其中包含在hadoop中处理数据的文件。我对map-reducer算法中的mapper实现有疑问。我是否可以指定多个映射器来处理多个文件，并使用单个reducer将所有输入文件作为一个输出？如果可能，请提供实施上述步骤的指导原则。
浏览 1提问于2012-08-30得票数 0
回答已采纳
我正在努力解决hadoop流媒体中"-file“选项中的一个非常基本的问题。
首先，我尝试了流媒体中最基本的示例：
hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop jar contrib/streaming/hadoop-streaming-0.20.203.0.jar -mapper org.apache.hadoop.mapred.lib.IdentityMapper \ -reducer /bin/wc -inputformat KeyValueTextInputFormat -input gutenberg/* -output guten
浏览 0提问于2011-07-22得票数 2
回答已采纳
在我的map-reduce作业中，我使用4个reducer来实现reducer作业。因此，通过这样做，最终输出将生成4个part-files。
我的问题是，我如何将hadoop的配置设置为只输出一个部分文件，尽管hadoop使用4个reducers来工作？
浏览 0提问于2013-03-12得票数 4
回答已采纳
我真的被卡住了。为什么我的Map/Reducer类不能显示任何内容？我在Reducer类中放入了以下代码：
@Override
public void reduce(Text key, Iterable<LongWritable> values, Context context)
{
// Standard algorithm for finding the max value
long sum = 0;
for (LongWritable value : values) {
sum++;
}
try
{
浏览 2提问于2013-07-17得票数 1
3回答
MapReduce程序产生空输出
、、、、
我创建了一个mapreduce程序来获取World Indicator数据，以显示我想要分析的特定指标的结果。(即CO2排放)。在我的映射器中，我试图只保留我想要的数据(首先只保留具有特定指标的行)，然后保留国家和所有排放水平(在字符串数组中)。
我的整个程序都在运行，但我注意到它正在接收Map输入记录，但没有Map输出记录或Reduce输入/输出记录。
我一直试图找出我的逻辑哪里错了，但我被难住了。任何意见都是值得感谢的。
我的代码如下：
-Mapper--
package org.myorg;
import java.io.IOException;
import org.apache.
浏览 1提问于2014-09-30得票数 2
1回答
我只是在使用3台机器集群测试单词计数示例。除以下代码外，我的代码与相同：
在"output.collect(key，new IntWritable(sum))“行之前，我在还原器代码中添加了两行代码：
System.out.println(key);
key.set(key + " - Key in Reducer");
然后我检查我的减速机日志(最后8K，我找到了这个：
3M3WI - Key in Reducer - Key in Reducer
3M3WIG - Key in Reducer - Key in Reducer
3M3WL - Key in Redu
浏览 0提问于2013-09-16得票数 0
回答已采纳
对于我的一个hadoop作业，输入到我的reducer任务中的数据量非常不平衡。例如，如果我有10个reducer任务，其中9个任务的输入大小将在50KB范围内，最后一个任务的大小将接近200 10。我怀疑我的映射器正在为单个键生成大量的值，但我不知道这个键是什么。这是一个遗留下来的工作，我不能再访问源代码了。有没有一种方法可以在作业运行时查看键/值对，既可以作为映射器的输出，也可以作为缩减程序的输入？
浏览 0提问于2012-12-05得票数 2
回答已采纳
我使用hadoop来处理xml文件，所以我用python编写了mapper文件，还原器文件。
假设需要处理的输入是test.xml
<report>
<report-name name="ALL_TIME_KEYWORDS_PERFORMANCE_REPORT"/>
<date-range date="All Time"/>
<table>
<columns>
<column name="campaignID" display="Campaign ID
浏览 0提问于2012-11-08得票数 4
回答已采纳
1回答
自动化Hadoop批处理命令
、、、、
我是这个领域的乞丐，所以不知道确切的术语，对不起
问题库：想要自动处理批处理层
问题：我无法理解人们是如何运行诸如
"hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.0.0-mr1-cdh4.4.0.jar \
-mapper mapper.py \
-reducer reducer.py \
-input nfldata/stadiums \
-output nfldata/pythonoutput \
-file simple/map
浏览 3提问于2015-12-22得票数 2
回答已采纳
当我试图在我的工作中使用组合器时，我得到了下面的例外
java.lang.NullPointerException
在org.apache.hadoop.mapred.IFile$Writer.append(IFile.java:193)
在org.apache.hadoop.mapred.Task$CombineOutputCollector.collect(Task.java:1315)
在org.apache.hadoop.mapred.Task$NewCombinerRunner$OutputConverter.write(Task.java:1632)
原因是，我使用空作为还
浏览 2提问于2015-12-27得票数 0
回答已采纳
当我删除job.setSortComparatorClass(LongWritable.DecreasingComparator.class);时，我无法理解这个bug是什么
我得到了输出，但是当我尝试使用它时，我得到了这个异常。
I试图根据值从减速器中按递减顺序得到输出，因此我使用了setsortcomparator类，所以请帮助我
package topten.mostviewed.movies;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.i
浏览 0提问于2018-10-11得票数 1
1回答
package com.delhi;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.i
浏览 1提问于2017-05-03得票数 0
回答已采纳
$ hadoop jar /usr/lib/hadoop/hadoop-streaming-2.6.0-cdh5.13.0.jar -file mapper.py -mapper mapper.py -file reducer.py -reducer reducer.py -input /user/cloudera/test.txt -output /user/cloudera/result
我使用这个命令执行MapReduce程序，使用Mapper作为mapper.py，Reducer作为reducer.py
它引发一个错误Not a valid JAR:/usr/lib/hadoop/ha
浏览 4提问于2019-11-10得票数 0
回答已采纳
2回答
我试图在Hadoop上运行Python程序。该程序涉及NLTK库。该程序还使用了Hadoop，正如所描述的。
mapper.py:
#!/usr/bin/env python
import sys
import nltk
from nltk.corpus import stopwords
#print stopwords.words('english')
for line in sys.stdin:
print line,
reducer.py:
#!/usr/bin/env python
import sys
for line in sys.stdin:
浏览 6提问于2013-09-27得票数 1
回答已采纳
1回答
基于键分发Hadoop流输出文件
、、、、
我已经编写了一个映射器函数，该函数解析XML并将结果输出为以"\t“分隔的列，如下所示
Name Age
ABC 23
XYZ 24
ERT 25
使用下面提到的Hadoop流代码，我尝试根据键对数据进行分区。我想为不同的键设置不同的输出文件夹
我希望将part-00000、part-00001和part-00003作为输出文件夹"out_parse_part16“中的输出文件，而不是像这样创建这些文件夹
/out_parse_part16/ABC，
/out_parse_part16/XYZ，
/out_parse_part16/ERT
我希望将数据分区到由键定义
浏览 0提问于2016-06-13得票数 0
使用hadoop流：
hadoop jar hadoop/contrib/streaming/hadoop-streaming-1.0.3.jar -file mapper.rb -mapper mapper.rb -file reducer.rb -reducer reducer.rb -input textfile.txt -output output
假设我所在的目录是“/home/user/sei/ textfile.txt”和
1) is in the same folder as the directory I am currently in
2) I did not use -
浏览 0提问于2013-05-01得票数 0
回答已采纳
我试图在python的dumbo包的帮助下，从hadoop的序列文件中获取文件名。但它为我提供了某种标识。如何将此映射到文件名？
下面是我在hadoop系统上获取文件名的步骤：
步骤1) 生成序列文件
指挥：
hadoop jar /mnt/Clustering/Checking/AllJars/binarypig-1.0-SNAPSHOT-jar-with-dependencies.jar com.endgame.binarypig.util.BuildSequenceFileFromDir /mnt/Clustering/Checking/text_files text_files_seq
浏览 7提问于2015-01-05得票数 0
1回答
我是hadoop新手。
我想在输出文件上得到一个分区号。
一开始，我做了一个定制的分割器。
public static class MyPartitioner extends Partitioner<Text, LongWritable> {
public int getPartition(Text key, LongWritable value, int numReduceTasks) {
int numOfChars = key.toString().length();
return numOfChars % numReduceTasks;
浏览 3提问于2014-04-26得票数 0
回答已采纳
1回答
我目前有一个hadoop命令，我想使用AWS SDK复制该命令。
我当前使用的命令
hadoop jar /home/hadoop/contrib/streaming/hadoop-streaming.jar -input /no_dups -output /sorted -mapper mapper.py -reducer reducer.py -file mapper.py reducer.py other_file1.py other_file2.py
据我所知，Hadoop类没有提供一种方法来让StreamingStep知道还需要其他文件，以及映射器和reducer。
此功能是否可用？
浏览 1提问于2013-04-26得票数 0
回答已采纳
当我使用MRUnit运行基本MultipleOutputs时，会得到以下异常：
java.lang.NullPointerException
at org.apache.hadoop.fs.Path.<init>(Path.java:105)
at org.apache.hadoop.fs.Path.<init>(Path.java:94)
at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.getDefaultWorkFile(FileOutputFormat.java:264)
at org.apac
浏览 4提问于2015-04-30得票数 0
回答已采纳
我浏览了Hadoop网站，找到了以下hadoop流的链接。 https://hadoop.apache.org/docs/current1/streaming.html 但是，我对Hadoop YARN (MRv2)流命令行选项更感兴趣。 如果有人有详尽的列表，你能把它张贴在这里吗？ 如果没有找到，请告诉我以下命令中是否有任何命令行选项是非法的。 yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
-D mapred.jab.name="Streaming wordCou
浏览 17提问于2019-02-04得票数 2
回答已采纳
我正在尝试对大量数据运行hadoop作业，最多使用32个reducers。但是，当我查看每个reducer的输出时，我发现可能会有多个reducer获得一个键(当然，值不同)。在使用更多的reducers时，可以避免这种行为吗？
LE:我已经尝试并使用了Text类，但问题是，尽管它工作得很好，但我的jvm最终还是会因为堆空间不足而崩溃。除了compareTo之外，hadoop用于将数据分区到密钥池的标准是什么？
浏览 2提问于2012-03-21得票数 2
回答已采纳
我编写了一个MapReduce程序(mapper.py和reducer.py)来处理Hadoop中的PageRank问题。
我想迭代MapReduce大约10个迭代。如何将第一轮MapReduce的输出转换为第二轮MapReduce的输入？
1 2 10
[mapper->reducer] -> [mapper->reducer] -> ... -> [mapper->reducer] -> final result
浏览 1提问于2017-04-13得票数 0
回答已采纳
1回答
我正在尝试使用Hadoop Streaming在Hadoop集群上运行python脚本进行情感分析。与我在本地机器上运行的脚本相同，该脚本运行正常并给出输出。
要在本地机器上运行，我使用以下命令。
$ cat /home/MB/analytics/Data/input/* | ./new_mapper.py
为了在hadoop集群上运行，我使用以下命令
$ hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.5.0-mr1-cdh5.2.0.jar -mapper "python
浏览 89提问于2015-04-22得票数 4
我正在使用ControlledJobs在Hadoop2.2.0中实现一系列MR-job。基本模式如下：
mapper1 -> reducer1 -> mapper2 -> reducer2
但是，mapper2是身份。有没有一种方法可以轻松地让reducer1生成键值对并将它们传递给reducer2？
现在，两轮的作业输出配置如下：
// set intermediate/mapper output
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);
// set red
浏览 0提问于2014-04-29得票数 1
我在Hadoop中运行一个MapReduce作业。为了简单起见，我的reducer函数输出了键，以及键出现的次数。
我的管道中的下一步是将这些数据发送到MySQL数据库(具体地说是RDS实例)，但是我在尝试访问jdbc驱动程序时遇到了一些问题。这可能是因为驱动程序并没有被发送到所有的缩减程序，而只是打包在我的jar中。
对于这个程序，我相信与其尝试调试reducer，不如改正另一个简单地从hdfs获取数据并逐行发送到数据库的程序。
让每个Reducer连接到数据库是否通过我期望的并行化改进了进程？在这种情况下，花时间与Reducers jdbc驱动程序角力是否值得呢？
示例输出:hdfs:/u
浏览 3提问于2014-01-23得票数 0
我的工作是计算密集型的，所以我实际上只使用Hadoop的分布函数，并且我希望所有的输出都在一个文件中，所以我将reducer的数量设置为1。我的reducer实际上什么都不做……
通过将reducer的数量显式设置为0，我可以知道如何在映射器中进行控制，以强制将所有输出写入相同的1输出文件中？谢谢。
浏览 6提问于2013-10-31得票数 1
我和Hadoop在EMR上合作。我写了一个简单的程序，只运行一个map-reduce进程。我得到的输出并不是我所期望的，并且通过调试打印，我发现reducer实际上被调用了两次:一次使用映射器的输出作为输入，第二次使用第一个reducer的输出作为输入。
最后，reducer第二次运行的输出就是我得到的输出。
我在AMI 3.1.1上使用Hadoop 2.4.0，reduce方法签名是：
@Override
public void reduce(Text key, Iterable<Text> values, Context context) throws IOExceptio
浏览 3提问于2014-08-22得票数 1
2回答
我有以下Reducer类
public static class TokenCounterReducer extends Reducer<Text, Text, Text, Text> {
public void reduce(Text key, Iterable<Text> values, Context context)
throws IOException, InterruptedException {
JSONObject jsn = new JSONObject();
for (Text va
浏览 0提问于2013-06-05得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
