5回答
用Java往腾讯云服务器里的Hadoop写入数据时出现异常ipc.RemoteException？
云+校园、云服务器、java、hadoop
我用腾讯云的学生机在CentOS7的系统上搭建了Hadoop的伪分布式的环境，配置等都正常，datanode，namenode 等进程都正常开启，http的50070也都能正常访问，空间足够，然后用Windows\n".getBytes()); output.close();下面是Hadoop的logs文件夹中hadoop-ma-namenode-spring.log文件的报错
2018-04-19 19:22:42,078
浏览 4205提问于2018-04-19
2回答
通过Knox获取到配置单元的JDBC连接时出错
hadoop、jdbc、hive、kerberos、knox-gateway
我有一个运行Hortonworks Data Platform 2.4.2的Hadoop集群，它已经运行了一年多。集群是Kerberised的，外部应用程序通过Knox连接。今天早些时候，集群停止接受通过Knox到Hive的JDBC连接。Knox日志未显示任何错误，但配置单元Server2日志显示以下错误：
“原因: org.apache.hadoop.security.authorize.AuthorizationException:和hadoop.proxyuser
浏览 5提问于2018-05-22得票数 1
1回答
用于Hadoop3.1.3的线程"main“org.apache.hadoop.ipc.RemoteException(java.io.IOException)中的异常
java、hadoop、hdfs、hadoop3
我正在尝试运行mapreduce作业，但Hadoop-3.1.3中出现了错误 at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1000)
at org.apache
浏览 1提问于2020-04-04得票数 1
回答已采纳
2回答
"$common_bin/hadoop-layout.sh"
HADOOP_COMMON_LIB_JARS_DIR=${HADOOP_COMMON_LIB_JARS_DIR:-"share/hadoop/common/lib"}
浏览 6提问于2017-05-12得票数 0
回答已采纳
3回答
Hadoop集群配置
hadoop
现在，我想要向hadoop群集添加新的Datanode。我需要停止或关闭hadoop群集，然后添加新的datanode吗?如何将新的datanode添加到hadoop群集
浏览 1提问于2014-05-04得票数 1
1回答
当我们在多集群模式下安装hadoop时，是否需要为所有slaves和辅助名称节点提供主从详细信息？
浏览 0提问于2015-09-01得票数 0
1回答
我可以从我的Axis2 Web服务调用Hadoop吗？
java、web-services、hadoop
我打算开发一个web服务，它可以与Hadoop主节点对话，执行一些任务。这些任务包括: 1.启动和停止hadoop集群2.从hadoop集群3中添加和删除从节点。但是请告诉我如何从我的web服务中调用Hadoop。包括在类路径中的Hadoop罐子够了吗？我想我也需要一些配置。请指导我在web服务和Hadoop集群之间建立一个简单的调用流程。
浏览 0提问于2011-02-26得票数 0
1回答
Hadoop :即使有可用的空间，HDFS集群也会耗尽空间
hadoop、hadoop-yarn、hadoop2
我们有4个datanode集群，当我查看datanode信息时，...there是每个数据节点大约98 of ...but上可用的大量空间。它只使用了10 of的空间.<property> <value>/test/hadoop/hadoopinfra<property>
<name>dfs.da
浏览 5提问于2017-01-18得票数 0
1回答
如何断开Hadoop集群内节点之间的网络连接？
hadoop
我想向hadoop分布式系统注入一些故障。我已经使用docker容器构建了一个包含3个节点的集群。如果我想断开一个节点的连接怎么办？我可以停止工作节点上的ssh服务吗？另外，如果我想模拟磁盘已满的故障，该怎么办？
浏览 27提问于2021-08-02得票数 1
回答已采纳
这个错误一直在我的hadoop爬虫中被抛出。在所有节点上都有足够的空闲空间。我不知道如何继续下去。完全错误是：
Error: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /crawl/segments/20170211181653at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.jav
浏览 2提问于2017-02-21得票数 0
2回答
我是Hadoop的新手，我在当前运行的Hadoop系统中向core-site.xml添加了更多属性，所以我是否应该重新启动Hadoop以使这些新属性可用
浏览 0提问于2016-04-14得票数 2
2回答
为什么每次重启机器后都需要格式化HDFS？
hadoop、ubuntu-11.04
我已经在我的笔记本电脑上安装了Hadoop的伪分布式模式，操作系统是Ubuntu。我已经更改了hadoop存储其数据的路径(默认情况下，hadoop将数据存储在/tmp文件夹中)<property>
使用
浏览 12提问于2013-11-22得票数 2
回答已采纳
1回答
运行Hadoop应用程序
hadoop
可以在任意一个集群节点上引导一个Hadoop应用程序，不相关地引导到节点类型上吗？应该只在其中一个节点上引导吗？是否将代码移动到接近数据的适当节点？是否用于移动代码？< code >G29</code>在每个已安装的Hadoop节点上，都应该显式地分配主节点，方法是将fs.default.name of core-site.xml设置为Namenode，将相反，它们在Hadoop启动时动态地加入集群，或者在守护进程停止时离开集群</em
浏览 1提问于2011-12-16得票数 3
1回答
使Hadoop以Kerberos用户身份运行
hadoop、mapreduce、hdfs、kerberos
在Kerberos中有一个名为"foo“的用户，hadoop集群受到Kerberos的保护。我想让hadoop集群以"foo“的身份运行作业，我该怎么做？什么配置允许hadoop客户端指定kerberos用户帐户名运行，就像hadoop集群'kinit username‘然后运行mapreduce作业一样？仅供参考，hadoop 2.6.0
浏览 2提问于2015-11-03得票数 0
2回答
如何在dataproc中动态升级工人的cpu/ram/磁盘？
hadoop、google-cloud-dataproc
默认情况下，我在中创建了一个集群设置(4 vCPU，15 in )。在处理多个猪作业后，集群有2-3个不健康的节点.因此，我升级了工作者VM的vCPU(4到8个vCPU)、Ram(15 So到30 So)和磁盘。但是在Hadoop接口中，工作节点的硬件没有改变，它仍然显示了vCPU/Ram/磁盘的原始挂载。谢谢。
浏览 2提问于2016-08-22得票数 0
回答已采纳
6回答
名称节点Vs辅助名称节点
hadoop、hdfs、hadoop2、high-availability
Hadoop具有一致性和分区容忍性，即它属于CAP理论的CP类别。提前谢谢。
浏览 100提问于2013-11-14得票数 20
回答已采纳
1回答
重新启动Amazon集群
hadoop、amazon-web-services、mapreduce、emr、hadoop2
我正在使用Amazon (Hadoop2 / AMI版本:3.3.1)，我希望更改默认配置(例如复制因子)。为了使更改生效，我需要重新启动集群，这就是问题的起点。$ ls -l /etc/init.d/hadoop-* -rwxr-xr-x 1 root root 477 Nov 8 02:19 /etc/init.d/hadoop-datanode8 02:19 /etc&#x
浏览 1提问于2015-01-23得票数 3
1回答
我正在CentOS 6.4上安装Hadoop1.1.2。我读了http://hadoop.apache.org/docs/stable/上所有的Hadoop文档hadoop-create-user.shhadoop-setup-hdfs.sh
hadoop-setup-singl
浏览 0提问于2013-06-26得票数 2
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号