映射/减少计数的两阶段排序
映射/减少计数的两阶段排序是一种在分布式计算中常用的排序算法。它将排序任务分为两个阶段：映射阶段和减少阶段。
映射阶段（Map Phase）：在这个阶段，原始数据被分割成多个小块，并由多个映射任务并行处理。每个映射任务将输入数据映射为键值对的形式，其中键表示排序的依据，值可以是任意数据。映射任务将生成的键值对发送给减少任务。
减少阶段（Reduce Phase）：在这个阶段，多个减少任务并行处理接收到的键值对。减少任务按照键进行排序，并将相同键的值进行合并。最终，减少任务将排序好的结果输出。
映射/减少计数的两阶段排序算法的优势在于它的可扩展性和并行性。由于映射和减少任务可以并行处理，这种算法能够有效地处理大规模数据集。此外，它还能够充分利用分布式计算资源，提高计算效率。
该算法的应用场景包括大数据处理、搜索引擎、日志分析等需要对大规模数据进行排序和统计的领域。
腾讯云提供了适用于映射/减少计数的两阶段排序的产品和服务，例如腾讯云数据处理服务（Tencent Cloud Data Processing Service）。该服务提供了强大的分布式计算能力，支持基于映射/减少计数的两阶段排序算法，能够高效地处理大规模数据集。您可以通过访问以下链接了解更多关于腾讯云数据处理服务的信息：腾讯云数据处理服务
请注意，以上答案仅供参考，具体的产品选择和使用需根据实际需求进行评估和决策。
相关·内容
Hadoop输出以下统计数据：
平均地图时间
平均减少时间
平均洗牌时间
平均合并时间
通过将已完成地图的数目/减少与这些平均数相乘，可以得到总地图和缩短时间。但是，如何才能获得总的洗牌/合并时间？或者:如何计算平均洗牌时间？
浏览 4提问于2015-01-23得票数 1
1回答
我在网上阅读了权威指南和其他一些链接，包括one 。
我的问题是
洗牌和分拣究竟发生在哪里？
根据我的理解，它们发生在地图绘制器和减速器上。但一些链接提到，洗牌发生在地图绘制和排序在减速器上。
有人能确认我的理解是否正确吗?如果没有，他们能提供更多的文档给我看吗？
浏览 4提问于2016-09-18得票数 9
我有一个python和还原器，我正在使用w/。在命令行上，这些脚本运行良好，并执行预期的工作。
我有一个美国宇航局的访问日志样本，你可以看到这里是正确的处理和排序。
tail -n 10 NASA_access_log_Jul95 | ./mapper.py | sort | ./reducer.py | sort -r -k1,1
4 163.205.53.14
1 tornado.umd.edu
在图中尝试相同的减少作业时，排序没有得到尊重。
hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-st
浏览 0提问于2013-12-27得票数 0
回答已采纳
我对从Mapper获得的输出感到有点困惑。
例如，当我使用以下输入文本运行一个简单的wordcount程序时：
hello world
Hadoop programming
mapreduce wordcount
lets see if this works
12345678
hello world
mapreduce wordcount
这是我得到的输出：
12345678 1
Hadoop 1
hello 1
hello 1
if 1
lets 1
mapreduce 1
mapreduce 1
programming 1
see 1
this 1
w
浏览 1提问于2014-07-16得票数 6
回答已采纳
3回答
在单词计数示例中，约简函数被用作组合器和减速器。
public static class IntSumReducer extends Reducer<Text, IntWritable, Text,IntWritable> {
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int sum = 0;
for (IntWrit
浏览 3提问于2016-10-14得票数 2
回答已采纳
我知道地图是如何减少工作的，以及我有哪些步骤：
映射
洗牌分拣
减缩
当然，我有分区，组合器，但这现在并不重要。
有趣的是，当我运行map还原作业时，看起来像映射器和还原器并行工作：
所以我不明白这怎么可能。
问题1.如果有多个节点在执行映射操作，还原器如何开始工作？因为Reducer不能在没有排序的情况下开始工作？(输入必须为Reducer排序-如果映射器仍然工作，则输入不能排序)。
问题2.如果我有多个减速器，最终的数据将如何合并在一起？换句话说，最终的结果应该被分类，对吗？这意味着我们要花费额外的O( n*Log )时间来合并“多重还原剂结果？”。
浏览 0提问于2019-05-29得票数 3
回答已采纳
当k太大，不适合内存中的k元素时，什么是有效的MapReduce算法来从数据集中找到最上面的k元素？我指的是数以百万计的元素的数据集，k是其中的3/4。假设每个元素都有一个值，我们希望找到具有最高值的k元素。
例如表格中的数据：
e1: 5
e2: 10
e3: 7
e4: 8
然后，排名前2位的是e4和e2 (不关心他们的相关顺序)。
我见过，但它没有扩展。显然，使用单一的还原器，将再次是不切实际的(内存错误)。
浏览 5提问于2014-07-11得票数 2
回答已采纳
1回答
我是hadoop的初学者&当我运行hadoop作业时，我注意到进度日志显示了map，减少了80%，减少了25%。我对地图约简的理解是，映射器产生了一堆中间值。在映射器生成输出后，就会出现洗牌/中间对的排序&这些值被发送来减少作业。有人能解释一下地图/还原是如何并行工作的吗？
浏览 3提问于2013-11-15得票数 0
回答已采纳
1回答
在Hadoop MapReduce中，我有几个基本问题。
假设执行了100个映射器和零减速器。它会生成100个文件吗？所有的人都被分类了？所有映射器输出都排序了吗？
减速器的输入是关键的->值。对于每个键，所有的值都被排序了吗？
假设有50名减速器被处决。它会生成50个文件吗？所有单独的文件都被排序了？所有减速机的输出都是排序的？
在MapReduce中有保证排序的地方吗？
浏览 1提问于2015-07-16得票数 3
回答已采纳
我有一个关于Hadoop纱2.7.1平均合并时间的问题。
我在集群上运行了一个带有txt文件(1.5GB)的7个节点的wordcount示例。
正如您在下面的图片中所看到的，作业有12个映射任务和一个约简任务，平均合并时间是零吗？这是否意味着12映射输出的排序或合并为零？
请引导我
浏览 0提问于2015-11-14得票数 1
在采访中，我被问到一个问题:你能告诉一个国家什么:地图绘制者: 80%，减速器: 20%？
我的理解是进入那种状态是不可能的。因为在还原器开始作业之前，所有映射器都应该完成运行:收集所有键值对并按键分组。
我说的对吗？
浏览 4提问于2017-01-12得票数 2
回答已采纳
2回答
通常，如果我们创建一个带有parquet或ORC的Hive表，那么它将扫描我们在select查询中提到的特定列。
但让我们说，我有10个CSV文件，并在上面创建了一个外部表。现在，如果我做了select col1, col2, col3 from external_table;，那么它会扫描我的所有行和做还原剂将只选择选定的列或它将如何工作？
浏览 1提问于2019-04-16得票数 1
回答已采纳
一些运算，如median和mean，是非交换的。在这种情况下，似乎只能有一个reducer，因为reducer需要有全局视图。map-reduce中有没有可以并行执行的非交换reducer？当遇到非交换操作时，人们真的会使用map-reduce吗？或者只是在一些非常强大的机器上运行它？有没有将非交换操作分解为交换操作的常用方法？
谢谢
浏览 1提问于2013-02-14得票数 4
回答已采纳
select * from Table_name limit 5;
select col1_name,col2_name from table_name limit 5;
当我运行第一个查询时，将不调用MapReduce，而对于其他查询，则调用MapReduce。你能解释一下原因吗。
浏览 3提问于2015-06-18得票数 9
回答已采纳
我对Hadoop的实现感到困惑。
我注意到，当我使用多个映射器和还原器运行Hadoop MapReduce作业时，我会得到许多部件-xxxxx文件。同时，一个键确实只出现在其中一个中。
因此，我想知道MapReduce是如何工作的，以至于一个键只能指向一个输出文件？
提前谢谢。
浏览 3提问于2013-11-22得票数 0
回答已采纳
在Spark中对DataFrame进行排序时，幕后会发生什么？
例如,
df = spark.read.format('csv').option('foo')
df.sort(i)
我知道当您将数据读取到DataFrame时会发生什么，但是我很好奇当您排序时会发生什么？与MapReduce相比有什么不同？
浏览 2提问于2018-08-14得票数 0
1回答
我对mapreduce和hadoop.I有两个概念上的疑问，我知道一个简单的迭代映射--约简程序，知道什么是映射器，减速器，洗牌器。但仍然想知道以下问题
1)迭代映射约简何时完成？
2)我知道同一性映射器/减速器给出的输出与输入相同。但是我们什么时候使用身份映射器/减速机呢？
浏览 3提问于2013-10-23得票数 5
我有250万行数据和6列。当在蜂巢上执行一个查询时，我有时得到一个作业，一个任务，两个作业。然而，在我看来，这完全是随机的。为查询运行的映射减少作业的数量是多少？
我很感激你的回答！
更新
查询：
SELECT r.title, r.rank FROM ratings r JOIN genres g ON r.title=g.title WHERE g.genre='Action' ORDER BY r.rank DESC LIMIT 1;
-> 2工作
select distinct(genre) from genres
-> 1工作
浏览 2提问于2013-12-08得票数 0
回答已采纳
3回答
我对MapReduce框架非常困惑。我对从不同来源读到这件事感到困惑。顺便说一句，这是我对MapReduce工作的想法
1. Map()-->emit <key,value>
2. Partitioner (OPTIONAL) --> divide
intermediate output from mapper and assign them to different
reducers
3. Shuffle phase used to make: <key,listofvalues>
4. Combiner, compone
浏览 3提问于2016-10-06得票数 2
我正在与Hadoop MapReduce合作。我有HDFS中的数据，每个文件中的数据都已经排序了。有可能迫使MapReduce在地图阶段之后不使用数据吗？我试图将map.sort.class更改为no，但它没有工作(也就是说，数据没有像我预期的那样排序)。有没有人尝试过做类似的事情，并设法做到这一点？
浏览 2提问于2011-06-27得票数 2
我很困惑，因为我找到了两个答案。
1)根据Hadoop最终指南--第6章--第3版-- Map Side说：“在写入磁盘之前，线程首先将数据划分为与减缩器对应的分区，最终将它们发送到这些分区。在每个分区中，后台线程按键执行内存中的排序，如果有组合器函数，则在排序的输出上运行。
2)雅虎开发者教程()说，Combiner在分区之前运行。
谁能澄清哪一个先跑。
浏览 7提问于2016-02-04得票数 1
我提交了一个mapreduce，这是我的输出。
文件和HDFS之间有什么区别，如下所示？
16/01/07 21:49:58 INFO mapreduce.Job: Counters: 38
File System Counters
FILE: Number of bytes read=4011012
FILE: Number of bytes written=8400605
FILE: Number of read operations=0
FILE: Number of large read operations=0
浏览 0提问于2016-01-07得票数 0
回答已采纳
3回答
我有一个问题，那就是洗牌什么时候开始。
假设我有2个映射器和1个减速器。每个映射器将生成输出map1和map2。此map1和map2存储在各自数据节点的临时磁盘中。
现在reducer应该等待map1和map2的输出吗？换句话说，洗牌是什么时候开始的？只要map1完成，或者它也必须等待map2完成？
我正在听reducer上的混洗流量，我找不到任何流量，但控制台输出显示已经完成了70% (大约)的缩减。
14/12/18 17:45:55 INFO mapred.JobClient: map 97% reduce 22%
14/12/18 17:45:58 INFO mapred.JobCl
浏览 0提问于2014-12-19得票数 0
1回答
我们假设键“the”、“the”、“is”的键值对由减缩器1处理，键值对的键“it”、“右”、“声音”由减缩器2处理。
这两个减速器的输出是什么？
每个减速机的输出文件会被排序，然后合并，然后再排序吗？
当减速机接收到它们时，它是否已经按字母顺序排序，使减速器1接收到“is”、“it”、“right”，而减速器2收到“the”、“that”、“收音”？
浏览 0提问于2018-02-16得票数 0
回答已采纳
3回答
下面是一个map-reduce程序，它计算几个文本文件的字数。我的目标是让结果按照出现次数的降序排列。
不幸的是，该程序按键按字典顺序对输出进行排序。我想要一个整数值的自然顺序。
所以我用job.setSortComparatorClass(IntComparator.class)添加了一个自定义比较器。但这并不像预期的那样工作。我得到了以下异常：
java.lang.Exception: java.nio.BufferUnderflowException
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner
浏览 0提问于2013-06-16得票数 1
回答已采纳
我知道蜂箱里的桶是什么，我对它有很深的了解。我正在浏览，这里提到：
桶形表是非常棒的，因为它们比非桶形表允许更有效的采样，并且它们以后可能允许节省时间的操作，例如映射体连接。
有谁能解释一下，铲斗对地图侧连接有多大的好处？
提前谢谢。
浏览 0提问于2016-06-22得票数 2
回答已采纳
我只是想确认一下我对0减速器和同一性减速器的区别的理解。
0还原器意味着减少步骤将被跳过，映射器输出将是最终的身份减少器方法，然后仍然会发生洗牌/排序？。
浏览 0提问于2012-05-17得票数 26
回答已采纳
3回答
当mapreduce作业运行时，映射任务结果存储在本地文件系统中，然后还原器的最终结果存储在hdfs中。问题是
将任务结果存储在本地文件系统中的原因是什么？
在映射减少作业的情况下，在没有减少阶段(仅存在映射阶段)的情况下，最终结果存储在哪里？
浏览 8提问于2016-04-29得票数 2
回答已采纳
我有一个关于在Hadoop中为多个映射器配置Map/Side内部连接的问题。假设我有两个非常大的数据集A和B，我使用相同的分区和排序算法将它们分割成较小的部分。对于A，假设我有a(1)到a(10)，对于B，我有b(1)到b(10)。确保a(1)和b(1)包含相同的密钥，a(2)和b(2)具有相同的密钥，等等。我想设置10个映射器，特别是mapper(1)到mapper( 10 )。据我所知，Map/Side联接是映射器之前的预处理任务，因此，我希望将a(1)和b(1)连接到mapper(1)，将a(2)和b(2)连接到mapper(2)，等等。
在阅读了一些参考资料后，我仍然不清楚如何配置这十
浏览 1提问于2011-06-12得票数 4
我有一个视图表连接一个临时表，并有意启用了以下参数。
hive.auto.convert.join=true;
hive.execution.engine=tez;
代码片段是，
CREATE TABLE STG_CONVERSION AS
SELECT CONV.CONVERSION_ID,
CONV.USER_ID,
TP.TIME,
CONV.TIME AS ACTIVITY_TIME,
TP.MULTI_DIM_ID,
CONV.CONV_TYPE_ID,
TP.SV1
FROM VIE
浏览 5提问于2018-03-13得票数 1
在Hadoop中，以下指标是在作业执行之后提供的：
地图时间
缩短时间
洗牌时间
合并时间
我找不到这些时间的确切定义，因为所有的资料来源都不清楚这些时间是如何计算的。我就是这么看的：
映射时间是读取输入并应用映射函数和对数据排序的时间。
减少时间是应用精简函数并编写输出的时间。
洗牌时间是合并的时间，地图排序的数据是传递给减速机的。
合并时间是合并地图输出的时间，只有在还原端。
我对这些事情不太确定。我的分析正确吗？
浏览 2提问于2015-12-09得票数 4
回答已采纳
我在大学的讲师说，(Hadoop)裁减操作只能在所有地图操作完成后才能开始。
这与有时显示的映射减少流操作的输出形成鲜明对比：
map 80% reduce 13%
map 80% reduce 27%
and then
map 100% reduce 27%
.
.
map 100% reduce 100%
(我在家里有一个map还原三个节点集群，我运行了几个流作业)。
考虑到我的讲师知道他在说什么，输出是什么意思？还原开始时任务处于什么状态，但地图没有完成？
浏览 4提问于2014-02-02得票数 7
回答已采纳
在蜂箱中，如order，count(1)，减少的数字只能设置为1。那么，造成这种情况的根本原因是什么呢？谢谢
浏览 3提问于2014-07-03得票数 0
因此，我有一个有趣的用例，我被困在寻找一个有效的mongo查询。
首先，我有12000个职类和10万个员额。我需要随机选择100对帖子，从随机类别。这些对是从类别中随机选择的，但每对必须同时拥有属于同一类别的两个帖子。
用户查看每一对来打分，一旦看完这100条，他们就会获得另外100条随机帖子(最好不是他们已经看到的任何一对)。
因此，所需经费如下：
从一组随机类别中随机获取100对帖子
任择要求：
不返回他们已经评级过的相同的一对
蒙戈藏品
用户
类别
发布
CategoryId
评级(在帖子中嵌入收集)
我在蒙戈怎么做..。如果
浏览 5提问于2013-01-23得票数 1
回答已采纳
1回答
在蜂巢上，我相信计数(不同)比分组更有可能导致减员工作量的不平衡，最终导致一个可悲的减速机磨掉。下面的示例查询。
为什么？
示例查询：
select count(distinct user)
from some_table
带有组-by的版本(建议更快)：
select count(*) from
(select user
from some_table
group by user) q
注：的幻灯片26描述了这个问题。
浏览 4提问于2013-10-11得票数 17
1回答
假设我们必须从外部排序一些大的数字。我们要审查两个案件：
4盘磁带:2盘输入磁带，2盘输出
3盘磁带:2英寸，1盘
案例1：
我们从k运行开始，然后将这些运行复制到2个输入磁带(在下面的图中左边)，每次迭代我们从输入磁带中进行两次不同的运行，合并(和排序)它们，在一次迭代中将它们保存到第一个输出磁带，在下一个迭代中保存到第二个输出磁带，如下所示。然后，我们切换输出磁带与输入的，并重复这个过程。因此，如果我们有，比方说，n=10^6元素和k=1000运行，那么在第一个阶段之后，运行的大小将是2000，在第三个4000之后，等等。所以相的总数是ceil(log_2(n))
浏览 2提问于2017-12-22得票数 0
回答已采纳
地图中动作/组件的执行顺序是什么?减少- Mapper -> Combiner ->改组/排序->分区-> Reducer
订单相同吗？？
浏览 1提问于2014-12-19得票数 2
回答已采纳
据我所知，在映射和缩减之间有合并(如果适用的话)，然后是分区，然后是洗牌。
虽然分区和洗牌和排序显然是map/reduce中的不同阶段，但我无法区分它们的角色。
它们必须一起从许多映射器(或组合器)获取键/值对，并将它们发送到还原器，所有共享相同密钥的值都被发送到同一个还原器。但我不知道这两个阶段中的每一个都是干什么的。
浏览 0提问于2019-04-12得票数 2
回答已采纳
2回答
下面是一系列的步骤和中间的问题。如果我错了，请纠正我，再详细说明一下。
客户端/用户向JobTracker提交请求。JobTracker是驻留在名称节点中的软件。
JobTracker将任务划分为小的子问题并交给TaskTracker。TaskTracker是驻留在数据节点中的软件。TaskTracker可能会再次这样做，从而导致多层树结构。
映射步骤只发生在TaskTracker中，而不是在JobTracker中？
洗牌和排序发生了。这个步骤是在Mapper步骤还是减速机步骤中进行的？
洗牌和排序的输出被输入到减速机步骤中？
还原步骤只发生在JobTracker，而不
浏览 4提问于2013-12-15得票数 0
回答已采纳
1回答
我正在努力提高我的星火应用程序的性能。为此，我试图确定数据集的最优洗牌分区数。我从多个来源读到，每个分区应该是128 MB左右。
因此，如果我有一个1GB文件，我需要大约8个分区。但我的问题是如何找到文件大小？我知道我可以使用以下方法在hdfs上找到文件大小
hdfs dfs -du -s {data_path}
但据我所知，这是压缩大小和文件的实际大小是不同的。(默认情况下，snappy在编写拼花文件时使用压缩编解码器)。这就引出了两个问题
如何找到文件的实际未压缩大小？
洗牌分区的数量应该是基于压缩大小还是实际大小？
浏览 1提问于2019-05-27得票数 0
我是hadoop yarn的新手，希望reducers在完成所有地图之前开始实际的缩减过程。我试图找出调用缩减程序的类，但找不到。在这方面，有没有人可以帮我？
浏览 1提问于2015-07-15得票数 1
2回答
我是MongoDB新手，最难理解的是如何确保数据的完整性。
我有两个收集后的->评论(一对多)。
是否有办法存储每个帖子的注释数，而不使用
Post {
_id,
text,
commentsNumber
}
Comment {
_id,
text,
postId
}
添加/删除注释时，commentsNumber必须递增/减少。这是对两个不同集合的两个请求。例如在MongoDB中，写操作在单个文档的级别上是原子的，可能会添加/删除注释，但是commentsNumber不会被更新，反之亦然。
保证诚信的技术是什么？
每段时间运行脚本以
浏览 1提问于2018-03-08得票数 1
回答已采纳
1回答
我正在Hadoop1.0.3上的一个5节点集群上运行一个测试。这个测试由三个作业组成。第一份工作运行得很好。第二个作业接受第一个作业的输出(约100 of )。在映射顺利地达到100%之后，作业被卡在映射阶段和还原阶段之间。减少到5%需要很长时间。这是完整的Hadoop输出与时代。
13/11/19 13:39:25 INFO mapred.JobClient: map 0% reduce 0%
13/11/19 13:40:12 INFO mapred.JobClient: map 1% reduce 0%
13/11/19 13:40:20 INFO mapred.JobClient:
浏览 0提问于2013-11-20得票数 3
背景
我是星火公司的一名新手，我想了解如何在星火中穿梭。我有两个关于在Apache中洗牌的问题。
1)：为什么no有变化。执行洗牌前的分区？Spark默认情况下是通过将分区计数更改为spark.sql.shuffle.partitions中给定的值来实现的。
2)洗牌通常发生在大范围的转换时。我在一本书中读到，数据也保存在磁盘上。我的理解正确吗？
浏览 3提问于2020-06-09得票数 0
回答已采纳
我们能用组合器来代替Mapreduce作业中的约简吗？如果没有，我们可以用什么来替换mapreduce作业中的减速器？
浏览 3提问于2016-05-25得票数 2
回答已采纳
它是否会留下一个并删除其他的，或者将它们全部传递到mapper和reducer中？
浏览 1提问于2012-10-31得票数 0
回答已采纳
10回答
在地图约简编程中，约简阶段有洗牌，排序和缩减作为它的子部分.分拣是一件昂贵的事情。
地图缩减程序中减速机的洗牌和排序阶段的目的是什么？
浏览 7提问于2014-03-03得票数 137
回答已采纳
1回答
恐怕我不明白地图-减少作业的时间结果。例如，我正在运行的作业给出了以下作业跟踪器的结果。
完成时间:1分39秒
CPU时间(ms) 150 460 152 030 302 490
CPU时间(ms)中的条目分别用于Map、Reduce和Total。但是，如何衡量"CPU时间“，它意味着什么呢？这是分配给任务的每个映射器和减速机的累计总时间吗？是否可以从框架中度量其他时间，如洗牌时间、排序时间、分区时间等？如果是这样的话，是怎么做的？
第二个问题困扰着我。我在这里看到了一些帖子(， )，它们建议在驱动程序类中使用getTime()：
long start = new Date().get
浏览 6提问于2012-07-30得票数 7
2回答
我有这样的数据：
2013-11 localhost kern
2013-11 localhost kern
2013-11 192.168.0.59 daemon
2013-12 localhost kern
2013-12 localhost daemon
2013-12 localhost mail
你明白了吧。我试图按日期(作为行键)对上面的内容进行分组，并有一个列，该列对应于每个kern、daemon等的计数。简而言之，我想要的输出如下：
-- date, count(kern),
浏览 4提问于2013-11-21得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
