2回答
我正在读原始的MapReduce报纸。我的理解是，当使用数百GB的数据时，传输这么多数据的网络带宽可能是MapReduce作业的瓶颈。对于映射任务，我们可以通过将映射任务调度到已经包含任何给定拆分的数据的工作人员上，从而减少网络带宽，因为从本地磁盘读取不需要网络带宽。当使用数百个GB或更多
浏览 1提问于2016-07-05得票数 0
回答已采纳
1回答
+---------------------------------+按定义：C_i_j = sum( A_i_k * B_k_j )考虑到MapReduce集群中有多个实例--这是估计所提供算法复杂性的最正确的方法吗？当我们假设MapReduce集群中的实例数是K时。但是这个估计没有考虑到很多细节:比如MapReduce集群实例之间的网络带宽，在距离之间分配数据的能
浏览 3提问于2014-05-15得票数 4
我是MapReduce的初学者。根据我的理解，可以通过在单个Map节点上进行聚合来使用Combiner来提高性能。
我的问题是:组合器会在Map的所有数据集上执行吗？还是在MapReduce中运行组合器步骤是可选的？
浏览 2提问于2018-04-10得票数 0
回答已采纳
我想从应用程序的角度了解Hbase的MapReduce，需要一些它的实际用例来更好地理解编写这些作业的有效用例。
如果有任何解释真实用例的文档或示例的链接，请分享。
浏览 1提问于2015-05-25得票数 0
MapReduce已被证明是以并行/分布式方式解决大数据集问题的强大工具。
一些组合优化问题，如最大网络流，最小费用网络流，多商品最小费用流，或最短距离路径/路径对问题，都能够扩展到非常大的规模。是否有人有成功/失败的经验来应用MapReduce来处理这些类型的问题？你能分享一下你的看法吗?用MapReduce来解决这类问题是个好主意还是坏主意？
浏览 0提问于2011-08-10得票数 2
目前，我们在亚马逊网络服务EC2(single instance)中使用text2vec处理大数据集，未来文本数据会越来越大，我们可能会尝试RHadoop(MapReduce)架构，但不知道它是否能兼容text2vec和RHadoop(MapReduce)。
浏览 7提问于2017-08-13得票数 0
回答已采纳
我对并行计算很陌生，刚刚开始在Amazon上试用MPI和Hadoop+MapReduce。但我不知道什么时候该用一种而另一种。
但是，我也看到了MapReduce on MPI ()的实现，它不提供容错，但在某些基准测试上比在Hadoop上的MapReduce更有效，而且似乎使用外存来处理大数据。此外，
浏览 5提问于2015-01-06得票数 17
回答已采纳
3回答
地图缩减框架/基础设施
、、、
地图减少是一种模式，最近似乎得到了很多牵引力，我开始看到它体现在我的一个项目，重点是一个事件处理管道(iPhone加速度计和全球定位系统数据)。
浏览 9提问于2010-03-15得票数 6
回答已采纳
1回答
有一张要加起来的字典清单。combined_dictionary = {}
combined_dictionary = Counter(combined_dictionary) + Counter(dictionary)
我想使用多核，因为list_of_di
浏览 0提问于2019-05-15得票数 1
我想了解下面的w.r.t到Hadoop MapReduce。
Hadoop、MapReduce和Spark的映射任务的输出有何不同？如果有很多小的中间文件作为输出，那么火花如何处理网络和I/O瓶颈？
浏览 6提问于2016-02-18得票数 8
1回答
我正在与亚马逊的MapReduce网络服务的一个大学项目。为了将数据用于MapReduce，我需要将它们从关系数据库(AWS RDS)转储到S3中。在MapReduce完成后，我需要拆分输出文件并将其中的一大块加载到它们自己的S3存储桶中。
在Amazon Web服务环境中执行此操作的好方法是什么？最好的情况:除了用于RDS和MapReduce的实例之外，是否可以在不使用额外的EC2实例的情况下实现这一点？我将python用于映射器和reducer函数，并将json说明
浏览 2提问于2011-01-12得票数 0
回答已采纳
1回答
我在具有3个节点(1个主节点和2个从节点)的Hadoop集群上按顺序运行三个MapReduce作业(其中一个是对另一个的输入)。我使用Hadoop流，我的代码在python2.7中。
浏览 0提问于2013-12-28得票数 0
回答已采纳
1回答
我有一个项目要做，我必须解释MapReduce是如何工作的。
这个名字本身就是"MapReduce框架“，这就是问题所在。这是什么意思？?
浏览 8提问于2016-04-07得票数 0
回答已采纳
包含Mapper/Reducer类的jar文件是否需要部署在运行Hadoop的所有节点上？还是只在主节点(名字节点)上？
浏览 4提问于2015-09-14得票数 0
回答已采纳
1回答
假设我有一个10k对数据(键，值)，并搜索具有最佳值的10个数据。我认为，这可能是因为mapreduce需要更多的服务来运行，需要更多的网络活动，需要更多的精力来读取和写入hdfs。还有其他因素可以证明mapreduce (在这种情况下)比不使用<
浏览 2提问于2014-08-31得票数 2
回答已采纳
1回答
我试图分析包含follower和followee对的社交网络数据。有人能向我解释如何使用MapReduce来从海量数据中找到不对称对吗？
非常感谢。
浏览 2提问于2018-03-21得票数 0
回答已采纳
2回答
我试图分析包含follower和followee对的社交网络数据。我想找到十大用户中使用MapReduce最多的用户。我用一步userID和number_of_followee做了一对MapReduce。有人能解释一下我如何使用数据结构对海量数据进行排序吗？
非常感谢。
浏览 0提问于2018-03-20得票数 0
回答已采纳
Microsoft的白皮书记录了以下内容：
但是，我无法理解“对相同的输入数据反复运行MapReduce作业”将如何帮助压缩和解压缩的性能？即使每次数据不同，压缩也应该具有相同的性能。
浏览 3提问于2016-06-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
