因此，我在Hadoop集群上使用WordCount运行了50MB的数据。我在5个不同大小的集群上运行测试，单节点集群最多5个节点集群。问题是，执行时间没有太大变化。它每次只有1-2分钟的时间不同。将节点添加到群集不是会导致更多的</
浏览 27提问于2019-06-17得票数 0
回答已采纳
2回答
我正在按照教程设置多节点集群并运行示例MapReduce程序。我正在设置Hadoop版本2.2.0。在Hadoop2.2.0中没有控制的目录。我使用当前目录中的find命令搜索jars。搜索结果是我的问题是如何在Hadoop多节点集群环境下运行mapred
浏览 3提问于2014-02-15得票数 0
大多数教程都涉及下载VM以使用Hadoop。是否有一种方法可以从头创建Hadoop项目，或者使用IntelliJ导入现有项目？另外，我正在Windows 10上工作，添加环境变量HADOOP_HOME和JAVA_HOME似乎不起作用。
但是，
浏览 2提问于2016-06-28得票数 0
我使用Cloudera Manager免费安装了我的测试集群。我只能从主NameNode浏览文件系统。在运行hadoop dfs时，-ls仅显示本地文件夹。Jps显示节点上的JPS、TaskTracker、DataNode。MapReduce任务/作业作为集群在所有节点上运行良好。使用我的</
浏览 0提问于2013-05-28得票数 0
我不确定hadoop能做什么和不能做什么，也不知道事情有多容易。hadoop还擅长/容易使用什么？我的问题是:我想提供数据，mapreduce的结果。由于我有很多流量，我需要3个前端服务器。Hadoop能帮助我在3个n个<e
浏览 3提问于2014-04-01得票数 0
1回答
一台机器上的猪
、、
假设我有一个包含100 MM记录的文件，我想使用pig来处理它。我没有集群，但出于生产效率的原因，我仍然想使用PIG。我可以在一台机器上使用PIG吗，否则它的性能会很差？Pig会在一台机器上模拟MR作业，还是会使用self backend engine来执行该过程？
浏览 0提问于2015-04-06得票数 1
3回答
我正在努力学习星火框架。在其主页中，有人说它比Hadoop框架更好。但是他们说:火花运行在Hadoop..。我真的不明白为什么可以在Hadoop上运行，而它应该比Hadoop更好。有人能解释一下这两者之间的等级吗？
浏览 6提问于2017-10-22得票数 1
回答已采纳
我是Hadoop / Hive的新手，我刚刚开始阅读文档。有很多关于在集群模式下安装Hadoop的博客。另外，我知道Hive运行在Hadoop之上。我的问题是: Hadoop安装在所有集群节点上。我是应该在所有群集节点上也
浏览 2提问于2011-12-10得票数 17
回答已采纳
4回答
我在搜索hadoop和mapreduce关于straggler问题和这个问题的论文遗憾的是，没有论文讨论纱线中的散布问题。所以我想知道MapReduce和Yarn在部分掉队方面有什么不同？纱线有掉队的问题吗？当MRmaster向资源管理器请求资源时，资源管理器会给MRmaster提供它需要的所有资源，还是根据
浏览 1提问于2014-11-15得票数 5
我已经阅读了很多关于Hadoop的文档和信息，但是我不知道如何实现这个简单的工作流：
我想在我的工作机器上用Hadoop开发和编译 Hadoop MapReduce，包括所有已安装的IDE等等。我希望以最简单的方式将部署并在Hadoop集群上运行
浏览 4提问于2016-01-04得票数 0
回答已采纳
3回答
有人能给我解释一下hadoop中Edge节点的架构吗？我只能在互联网上找到定义，我有以下问题-
1)边缘节点必须是集群的一部分吗(如果它在集群内，我们有什么优势？)它是否在hdfs中存储任何数据块。2)边缘节点可以在集群外吗？
浏览 5提问于2013-05-22得票数 12
最新版本的Hadoop提供了mapred-site.xml.template，我们需要使用它创建一个新的mapred-site.xml文件吗？任何与Hadoop 2.2.0相关的文档或解释的链接都将不胜感激。
浏览 0提问于2013-11-24得票数 13
回答已采纳
我在弹性MapReduce上运行Nutch，有3个工作节点。我使用的是Nutch 1.4，带有它附带的默认配置(在添加用户代理之后)。但是，即使我正在抓取30,000个域的列表，获取步骤也只从一个工作节点运行，即使解析步骤在所有三个节点上都运行。
如何让它从
浏览 0提问于2012-04-22得票数 4
回答已采纳
4回答
我一直在努力让Hadoop和Map/Reduce开始使用单独的临时目录，而不是根目录上的/tmp。</property><property>
<name>mapreduce.cluster.local.dir</name这是在一个10
浏览 0提问于2013-12-18得票数 0
我正在尝试设置Apache Mesos集群并在其上运行Hadoop-Job。文档不在我的级别，所以我不能理解，也许这里有人可以解释我：
首先，我应该设置一个正常工作的Hadoop集群吗？还是先建立一个Mesos集群？我该把这些奴隶放在哪里？在Hadoop-slaves文件或注册的Mesos从文
浏览 8提问于2013-11-13得票数 7
2回答
我把YARN和MR2搞混了。它们是一样的吗？我在一些文档中看到了YARN作为运行分布式应用程序的平台，MapReduce作为分布式应用程序，这是什么意思？这是一个由程序员构建的MapReduce应用程序(例如：wordcount程序)吗？我又一次看到“编写你自己的YARN应用程序”，这是什么意思？如果它不在堆栈溢出标准中，请纠正问题，我试图表达我所有的疑问。
浏览 1提问于2017-10-09得票数 1
我对hadoop并不熟悉，我正在努力理解它。我说的是hadoop 2。当我想要做一个MapReduce的输入文件时，在MapReduce程序中，我会说拆分的参数，所以它会产生和拆分一样多的映射任务，对吗？资源管理器知道文件在哪里，并将任务发送给拥有数据的节点，但是谁说有多少节点将执行这些任务？在映射完成之后，就
浏览 6提问于2015-10-22得票数 1
回答已采纳
1回答
我想知道一些可以帮助我快速开始使用亚马逊网络服务的好书，以及一些可以帮助我学习亚马逊网络服务的书籍。我的实际目标是使用EC2 & S3建立一个properly.My集群。
浏览 1提问于2011-12-23得票数 0
我正在探索这个python包mrjob，以便在python中运行MapReduce作业。我试过在本地环境中运行它，并且运行得很好。现在，我已经在
浏览 16提问于2022-10-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
