我使用了以下属性来减少死节点超时。Propertyname : dfs.heartbeat.recheck.interval但是，当我从集群中删除datanode时，未从hadoop中删除的详细信息cluster.It仅在该集群中处于死节点状态。请建议如何从hadoop集群中删除已删除的datanode详细信息。
浏览 1提问于2015-07-02得票数 1
我在本地集群上运行Hadoop2.7.1(所有运行Ubuntu14.x或更高版本的节点)。我的mapreduce程序是用Python编写的，我正在使用流API来运行任务。我想知道所有节点上所有映射的任务所花费的总时间。怎么做？我找不到工作档案。(可能从Hadoop2.x开始删除)。
浏览 5提问于2015-11-20得票数 0
回答已采纳
我打算开发一个web服务，它可以与Hadoop主节点对话，执行一些任务。这些任务包括: 1.启动和停止hadoop集群2.从hadoop集群3中添加和删除从节点。但是请告诉我如何从我的web服务中调用Hadoop。包括在类路径中的Hadoop罐子够了吗？我想我也需要一些配置。请指导我在web服务和Hadoop集群之间建立一个简单的调用流程。
浏览 0提问于2011-02-26得票数 0
2回答
我意外地删除了hadoop集群上的一个大目录我怎么才能解开这个。我忘记了在删除所有内容之前，只有集群中的客户端节点的快照。如果我恢复到这个快照，会发生什么？我知道文件实际上并没有被删除/覆盖，而是访问内存中那个
浏览 3提问于2016-04-03得票数 0
3回答
有人能给我解释一下hadoop中Edge节点的架构吗？我只能在互联网上找到定义，我有以下问题-
1)边缘节点必须是集群的一部分吗(如果它在集群内，我们有什么优势？)它是否在hdfs中存储任何数据块。2)边缘节点可以在集群外吗？
浏览 5提问于2013-05-22得票数 12
1回答
我们有一个cassandra DSE集群，其中10个节点用于cassandra环，10个节点用于hadoop环。现在，应用程序将数据写入cassandra环，cassandra将将数据复制到hadoop环。如何将集群分离？我们在集群中有600 it的数据，我们不能删除它。
浏览 1提问于2014-01-20得票数 2
我目前正在使用apache hadoop2.7.1，集群包括1个名称节点和3个数据节点。提前谢谢。
浏览 4提问于2016-02-07得票数 1
我已经创建了hadoop集群，并希望在集群中添加一个新节点，作为从节点运行，而不重新启动主节点。
这怎么能办到
浏览 3提问于2022-05-05得票数 0
Hadoop将通过从Hbase读取数据并将数据写入Hbase来运行许多作业。假设我有100个节点，那么有两种方法可以构建Hadoop/Hbase集群：
分离数据库()，然后我们有两个集群：60节点Hadoop集群和40节点Hbase集群
浏览 4提问于2014-04-19得票数 1
回答已采纳
1回答
怎么修？
、
我一直在运行一些基准测试，我对hadoop和hdfs还很陌生。我已经安排好了一切，他们运转得很好。但是现在我面临着这个问题，jps在主上显示的是1.二级名称节点2.作业跟踪器，而不是名称节点和任务跟踪器。
类似地，从节点上的jps只显示名称节点，但任务跟踪器没有运行。编辑:我试着清除tmp文件，删除过时的java进程并重新启动。但我还是遇到了同样的问题。谢谢。
浏览 3提问于2012-08-30得票数 1
我希望将文件从Hadoop集群复制到远程集群。我知道远程名称节点的IP和端口。hadoop -cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file
但是，如果不配置hadoop</em
浏览 1提问于2018-04-20得票数 0
回答已采纳
我正在尝试在我的Hadoop-1.2.0单节点集群上设置包含文件，这样除了包含文件中的内容之外，其他节点都不能与namenode通信。我不知道该怎么做
我已经设置了一个单节点集群，并且目前是Hadoop的新手。我安装了一个openssh-server，并设置了namenode目录，您可以在这里查看我的。
浏览 13提问于2016-08-23得票数 0
5回答
我正在编写一个shell脚本，以便在数据生成后立即将其放入hadoop中。我可以ssh到我的主节点，将文件复制到那里的一个文件夹中，然后将它们放入hadoop。我正在寻找一个shell命令，以避免将文件复制到主节点上的本地磁盘。为了更好地解释我需要什么，你可以在下面找到我到目前为止所拥有的：scp test.txt username@masternode:/folderName/
我已经使用密钥设置了2)我可以使用ssh远程执行hadoop
浏览 0提问于2012-06-30得票数 36
回答已采纳
在Hadoop中，如果我让一个节点退役，Hadoop将在整个集群中重新分发文件，以便正确地复制它们。数据会从被释放的节点中删除吗？
我正在尝试跨特定节点上的磁盘平衡数据。我计划通过释放节点，然后重新分配节点来实现这一点。解压缩完成后，我是否需要从该节点删除数据，或者只需将其重新发布(从excludes文件中删除并运行hadoop dfsadmin -refresh
浏览 1提问于2013-07-25得票数 5
当Secondary NameNode失败时，hadoop集群会发生什么。
Hadoop集群被认为是单点故障，因为所有的medata都是由NameNode存储的。如果次要名称节点失败，群集将失败或继续运行，那么辅助NameNode怎么办？
浏览 0提问于2014-01-15得票数 1
回答已采纳
我们有一个用于开发和研究的集群，其中有3个节点，其中hadoop 1.*是由其他人安装的。我正在考虑从早期版本的hadoop中删除一个数据节点，并安装Hadoop2.*，并将其用作名称节点。另外，我想与hadoop 1.*共享第二个数据节点。更正:我希望与另一个名称节点共享数据节点。
浏览 0提问于2014-02-14得票数 0
10回答
我试图以伪分布式模式安装Hadoop2.2.0。当我试图启动datanode服务时，它显示了以下错误，请告诉我如何解决这个问题吗？**2**014-03-11 08:48:15,916 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool <registering: IPC Server Responder: starting
2014-03-11 08:48:15,922 INFO org.apache.hadoop.ipc.Server: IPC Serv
浏览 15提问于2014-03-11得票数 42
回答已采纳
我想从hadoop集群中删除datanode，但不想丢失我的数据。有没有什么技术可以将我要删除的节点上的数据复制到扩容数据节点上？
浏览 1提问于2015-08-28得票数 1
假设有一个拥有20台机器的Hadoop集群。在这20台机器中，有18台机器是从机，19台机器用于NameNode，20台机器用于JobTracker。现在我知道hadoop软件必须安装在所有这20台机器上。
但我的问题是，将文件xyz.txt加载到Hadoop Cluster涉及到哪台机器。客户端机器是否是一台独立机器。我们需要在那台clinet机器上安装Hadoop软件吗？客户端机器如何识别Hadoop集群？
浏览 1提问于2014-03-07得票数 14
我正在尝试运行mapreduce作业，但Hadoop-3.1.3中出现了错误 at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1000)
at org.apache
浏览 1提问于2020-04-04得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
