2回答
我有一个在2个节点(主节点和从节点)上运行的Hadoop集群，每个节点都有126 32的RAM和32个CPU。当我运行集群时，我只能看到每个节点8 GB的内存。我如何增加这个值呢？每个节点分配的最优内存是多少?如何分配？
浏览 6提问于2015-04-11得票数 2
1回答
我们可以使用hadoop在多个图像上运行SIFT吗？如果是的话，如果我们有3个集群，那么它可以通过什么因素减少运行时呢？
浏览 2提问于2014-05-14得票数 1
回答已采纳
1回答
我在具有3个节点(1个主节点和2个从节点)的Hadoop集群上按顺序运行三个MapReduce作业(其中一个是对另一个的输入)。我使用Hadoop流，我的代码在python2.7中。
浏览 0提问于2013-12-28得票数 0
回答已采纳
3回答
有人能给我解释一下hadoop中Edge节点的架构吗？我只能在互联网上找到定义，我有以下问题-
1)边缘节点必须是集群的一部分吗(如果它在集群内，我们有什么优势？)它是否在hdfs中存储任何数据块。2)边缘节点可以在集群外吗？
浏览 5提问于2013-05-22得票数 12
我目前正在使用apache hadoop2.7.1，集群包括1个名称节点和3个数据节点。提前谢谢。
浏览 4提问于2016-02-07得票数 1
我已经创建了hadoop集群，并希望在集群中添加一个新节点，作为从节点运行，而不重新启动主节点。
这怎么能办到
浏览 3提问于2022-05-05得票数 0
Hadoop将通过从Hbase读取数据并将数据写入Hbase来运行许多作业。假设我有100个节点，那么有两种方法可以构建Hadoop/Hbase集群：
分离数据库()，然后我们有两个集群：60节点Hadoop集群和40节点Hbase集群
浏览 4提问于2014-04-19得票数 1
回答已采纳
我希望将文件从Hadoop集群复制到远程集群。我知道远程名称节点的IP和端口。hadoop -cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file
但是，如果不配置hadoop</em
浏览 1提问于2018-04-20得票数 0
回答已采纳
最近，我用很少的ARM开发板构建了一个多节点Hadoop2.5.0集群，我无法决定是否应该使用相同类型的主板，是否应该使用更快的arm板作为主板，或者是否应该使用桌面作为主程序来管理从节点？在同一个集群中拥有比从节点更快的主节点有什么好处吗？
除了增加RAM的好处外，主节点CPU性能的提高是否重要？
浏览 3提问于2014-08-25得票数 0
回答已采纳
我正在尝试在我的Hadoop-1.2.0单节点集群上设置包含文件，这样除了包含文件中的内容之外，其他节点都不能与namenode通信。我不知道该怎么做
我已经设置了一个单节点集群，并且目前是Hadoop的新手。我安装了一个openssh-server，并设置了namenode目录，您可以在这里查看我的。
浏览 13提问于2016-08-23得票数 0
1回答
在Hadoop中，我读到可以通过提供机架的IP地址或相关主机名来配置机架拓扑。这是否意味着，在一个Hadoop集群中，理论上您可以在完全独立的地理位置上拥有不同的机架，只要它们可以从NameNode到达(可以点击)？
浏览 0提问于2020-03-20得票数 1
回答已采纳
当Secondary NameNode失败时，hadoop集群会发生什么。
Hadoop集群被认为是单点故障，因为所有的medata都是由NameNode存储的。如果次要名称节点失败，群集将失败或继续运行，那么辅助NameNode怎么办？
浏览 0提问于2014-01-15得票数 1
回答已采纳
我正在四个非常小的虚拟服务器(2GBRAM，2Cores )上准备hadoop集群，以证明概念。一个服务器作为名称节点和资源管理器，三个是数据节点。每次我运行测试作业(包含数据的3，4 GB文件)--两个数据节点(随机节点)的工作能力最大，其中一个节点处于休眠状态(通过htop进行监视)。在hadoop中，所有3个数据节点都是可见的。:8031</value><
浏览 2提问于2015-10-11得票数 0
回答已采纳
1回答
我在一个有大约10个节点的aws emr集群上运行一些Map-Reduce-Jobs。(emr 4.7.11，m3.xlarge)当节点发生故障时，工作节点上的磁盘使用率为96%。因此，我假设节点上的磁盘使用率达到100%，并且没有文件可以写入磁盘。
因此，我尝试为每个实例附加一个500 to的EBS卷。但是Hadoop只使用/mnt，而不使用附加卷(/mnt2)。"
浏览 1提问于2016-12-21得票数 2
1回答
我想知道是否有可能安装一个“背景”hadoop集群。我的意思是，毕竟，它意味着能够处理节点有时不可用或慢。
所以假设某所大学有一个计算机实验室。在我看来，在系统空闲时将其用作Hadoop集群是个好主意。当然，最简单的设置是让cron作业在晚上启动集群，并在早上关闭。然而，在白天，许多计算机也将被闲置。但是，当任何用户登录到中时，Hadoop对节点被关闭会有什么反应呢？是否可以很容易地“暂停”(抢占！)hadoop中的一个节点<
浏览 4提问于2012-09-25得票数 0
回答已采纳
我最近正在学习Amazon，据我所知，EMR集群允许我们选择3个节点。
Master，它运行主要的Hadoop守护进程，如NameNode、作业跟踪器和资源管理器。我问你们为什么EMR会提供任务节点？正如hadoop所建议的，我们应该在同一个节点上拥有Datanode守护进程和Tasktracker守护进程。亚马逊这么做背后的逻辑是什么？您可以将数据保存在S3流中，将其保存到核心节点上，在HDFS上进行处理，而不是将数据从HDFS共享到任务节点，这
浏览 6提问于2017-01-07得票数 23
假设有一个拥有20台机器的Hadoop集群。在这20台机器中，有18台机器是从机，19台机器用于NameNode，20台机器用于JobTracker。现在我知道hadoop软件必须安装在所有这20台机器上。
但我的问题是，将文件xyz.txt加载到Hadoop Cluster涉及到哪台机器。客户端机器是否是一台独立机器。我们需要在那台clinet机器上安装Hadoop软件吗？客户端机器如何识别Hadoop集群？
浏览 1提问于2014-03-07得票数 14
我正试图在我的PC上设置一个单节点Hadoop2.6.0集群。1/1 local-dirs are bad: /tmp/hadoop-hduser/nm-local-dir; <em
浏览 7提问于2015-03-18得票数 38
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
