1回答
为了设计一些算法，我需要模拟map-reduce环境。我假设我有两个作业，每个作业都由一组map和reduce任务组成。我必须对map和reduce任务的处理时间做出假设。例如，作业"j1“有3个map任务和2个reduce任务。那么，map任务与reduce任务在处理时间上有什么限制吗？通常是怎么回事？
浏览 0提问于2012-12-13得票数 0
回答已采纳
1回答
作业j由"M“个map任务和"R”个reduce任务组成。 Reduce(1) Reduce(2) ...Reduce(R)
您如何知道map和reduce任务之间的顺序？我们知道Map任务的输出将是Reduce任务的输入。但是如果我想要模拟排序，我应该怎么做呢？
浏览 0提问于2012-11-29得票数 1
回答已采纳
3回答
我需要一个在reduce任务之间共享的变量，每个reduce任务都可以原子地读写它。我需要这样一个变量的原因是为reduce任务创建的每个文件提供一个唯一的标识符( reduce任务创建的文件数量不是确定的)。
谢谢
浏览 0提问于2011-08-10得票数 0
回答已采纳
我在Hadoop平台(cloudera发行版)中编写了一个相对简单的map-reduce程序。除了常规的map-reduce任务之外，每个Map & Reduce还将一些诊断信息写入标准输出。但是，当我查看这些日志文件时，我发现Map任务相对均匀地分布在节点上(我有8个节点)。但是reduce任务标准输出日志只能在一台机器上找到。我猜，这意味着所有的reduce任务最终都在一台机器上执行，这是有问题的，也是令人困惑的。
有人知
浏览 0提问于2011-09-01得票数 0
回答已采纳
我理解了通过编写自定义的partiotiner，我们可以控制Reduce Task的数量，从而创建。这很好。但我不能理解的一个问题是在hdfs中生成的输出文件的数量，因此这取决于所谓的Reduce任务的数量或每个Reduce任务的Reduce调用的数量。(对于每个Reduce任务，可能会发生许多reduce调用)。
如果需要任何其他细节，请让我知道。代码是非常基本的，所以不要张贴它。
浏览 1提问于2013-10-05得票数 0
我是hadoop的新手，正在测试不同数量的map任务和reduce任务之间的性能差异。-D mapred.reduce.tasks=2和reduce是用python编写的，所以我用python指定map任务的数量，用python指定reduce任务的数量。问题+----------+----------+----------+
| map | r
浏览 0提问于2013-11-28得票数 1
问题是:当我启动Hadoop作业时，需要首先运行“job setup”任务。在我看来，Hadoop随机选择了这个任务，要么是map任务，要么是reduce任务。我们为map任务配置了比reduce任务更多的容量，所以每当我不走运，有一个reduce启动任务时，我的作业甚至要花很长时间才能开始运行。有什么办法可以克服这个问题吗？
浏览 1提问于2015-04-25得票数 0
Reduce方法处理来自地图的分组数据。但我想知道reduce任务是如何获取组数据的？如果映射输出许多分组数据，每个reduce任务是否只读取相同数量的组？？机制是什么？？
浏览 0提问于2016-04-14得票数 0
2回答
我有点困惑；reduce任务和reduce任务有什么区别？这就是我的例子；我读到reduce只有在所有映射完成后才会开始...但在hadoop输出中，我看到了不同的情况：12/02/11 10:58:54 INFO mapred.JobClient: map 60% reduce 20%
12/02&#
浏览 0提问于2012-04-17得票数 1
回答已采纳
15回答
我目前正在运行一个作业，我将map任务的数量固定为20，但获得了更高的数量。我还将reduce任务设置为零，但我仍然得到一个非零的数字。MapReduce作业完成的总时间也不会显示。:48:56 INFO mapred.JobClient: Job Counters 11&#x
浏览 3提问于2011-07-31得票数 40
回答已采纳
1回答
不同的reduce任务需要不同的文件。例如，reduce 1需要文件A，reduce 2需要文件B，依此类推。在reduce类配置方法中，我使用DistributedCache.getCacheFiles()来获取文件。有没有可能在reduce 1的内存中只有文件A，在reduce 2的内存中只有文件B。或者在reduce任务开始之前，这两个文件都被添加到内存中。
如果我理解了这一点，我就可以对我的程序使用分布式缓存。我关心的是可伸缩
浏览 1提问于2012-10-24得票数 0
回答已采纳
1回答
我想在每个作业的基础上更改集群的reduce插槽的容量。也就是说，最初我为一个任务跟踪器配置了8个reduce插槽，因此对于一个有100个reduce任务的作业，将会有(8 * datanode number)个reduce任务同时运行。但是对于一个特定的工作，我想将这个数字减少到一半，所以我做到了：
conf.set("mapred.tasktracker.reduce.tasks.maximum", "4")
浏览 1提问于2013-05-02得票数 0
回答已采纳
5回答
我使用Hadoop开发Map/Reduce。我的驱动程序向Hadoop的作业跟踪器提交一个MapReduce作业(包含Map和Reduce任务)。我有两个问题: a)我的Map或reduce任务是否可以提交另一个MapReduce作业？(使用相同的群集Hadoop和到相同的Job Tracker)。这意味着，我的初学者驱动程序提交一个mapreduce作业，在这个作业中，它的map或reduce任务产生另一个MapReduce作业，并将其提交到相同的集群Had
浏览 1提问于2012-03-15得票数 2
在YARN上的MapReduce应用程序中，Reduce任务的最大内存是否需要超过Map任务？就像下面..。mapreduce.map.memory.mb = 7mapreduce.map.java.opts = 0.8 * 7 = 5,6
mapreduce.reduce.java.opts
浏览 2提问于2016-01-03得票数 1
根据权威指南，OutPutCommitter的setUpJob()将创建mapreduce输出目录，并为任务设置临时工作区。Mapred.output.dir/_临时上面的两个陈述有点令人困惑。
浏览 0提问于2013-12-06得票数 0
我的map任务成功完成，我可以看到应用程序日志，但reducer仍处于挂起状态map 100.00% 200 0 0 200 0 0 / 40当我查看reduce任务时，我看到
All Task
浏览 2提问于2011-11-01得票数 0
回答已采纳
2回答
在我的reduce任务中，我必须使用一个静态变量，因为我希望它被许多线程编辑(这些线程是从reduce函数中调用的)。问题是这个变量正在被当前reduce任务的线程编辑，也被其他reduce任务的线程编辑，我想避免这种情况。
所以我的问题是:是否有一种方法或技巧可以仅通过当前缩减程序的线程来修改此变量？
浏览 1提问于2014-06-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
