Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >CDH的kerberos启动后,hdfs的datanode就无法找到namenode？

问CDH的kerberos启动后,hdfs的datanode就无法找到namenode？

提问于 2018-06-19 03:02:38

回答 1关注 0查看 1.2K

Caused by: java.io.IOException: Couldn't setup connection for hdfs/cdh2@DCI.COM to cdh3/172.26.60.87:8022
	at org.apache.hadoop.ipc.Client$Connection$1.run(Client.java:710)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917)
	at org.apache.hadoop.ipc.Client$Connection.handleSaslConnectionFailure(Client.java:681)
	at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:769)
	at org.apache.hadoop.ipc.Client$Connection.access$3000(Client.java:396)
	at org.apache.hadoop.ipc.Client.getConnection(Client.java:1557)
	at org.apache.hadoop.ipc.Client.call(Client.java:1480)
	... 10 more
	
	
	出现这样的错误

专用宿主机

文字识别特惠活动

OCR 支持标准场景下的文字识别，以及报关单、保单、海外票据等复杂场景下文字识别，简单易用、准确率高、稳定可靠

回答 1

用户3616005

发布于 2019-01-23 14:25:07

你好，我也遇到同样的问题，请问你最后解决了嘛

和开发者交流更多问题细节吧，去写回答

相关文章

快速了解HDFS、NameNode和DataNode

node.js 大数据存储

首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。

星哥玩云

2022/07/19

2.1K0

快速了解HDFS、NameNode和DataNode

HDFS设计之namenode和datanode

存储 hadoop node.js 大数据

HDFS 集群节点以master/slave（管理者－工作者模式）运行，namenode就是一个master , 而datanode就是slave 。

用户5252199

2022/04/18

4870

HDFS设计之namenode和datanode

如何为Kerberos环境的CDH集群在线扩容数据节点

kerberos github https hadoop

Hadoop集群其中一个优点就是可伸缩性（横向扩展），通过增加计算节点使服务容量产生线性增长的能力。可伸缩的应用程序的主要特点是：只需要增加资源，而不需要对应用程序本身进行大量修改。在集群资源紧张的情况下可通过动态的扩容节点来增加集群的计算能力，前面Fayson的文章讲过《如何在非Kerberos环境下对CDH进行扩容》、《如何使用Cloudera Manager在线为集群减容》。本篇文章主要介绍如何为Kerberos环境的CDH集群在线扩容数据节点。Kerberos和非Kerberos的集群减容步骤是一样的，Fayson不会专门用文章来介绍。

Fayson

2018/03/29

2.7K0

如何为Kerberos环境的CDH集群在线扩容数据节点

0481-如何从HDP2.6.5原地升级到CDH6.0.1

编写本文主要是因为Fayson在上篇文章《0480-如何从HDP2.6.5原地迁移到CDH5.16.1》迁移失败的补充，为什么迁移失败是因为HDP2.6.5的Hadoop版本2.7.5比C5的2.6要高导致的，HDFS只支持升级，而不支持降级。

Fayson

2018/12/27

1.4K0

0481-如何从HDP2.6.5原地升级到CDH6.0.1

HDFS 集群无法启动 DataNode 节点以及管理界面缺少 DataNode 节点的解决方法

node.js hadoop 大数据

搭建了一个 HDFS 集群，用了 3 台虚拟机，1 台虚拟机是master作为NameNode节点；2 台虚拟机分别是slave1和slave2作为DataNode节点，具体的集群搭建过程可参考「快速搭建 HDFS 系统（超详细版）」这篇博文。

CG国斌

2019/05/26

4.5K0

如何在Kerberos环境下修改启用HA的CDH集群HOSTNAME

Fayson在前面的文章《如何修改Kerberos的CDH集群的HOSTNAME》介绍了修改集群的HOSTNAME，在文章中并未提到集群启用HA的情况，本篇文章Fayson主要介绍在Kerberos环境下启用HA的CDH集群修改HOSTNAME。

Fayson

2018/11/16

6720

在CDP集群启用Kerberos手册

node.js 大数据 kerberos 访问管理

Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务，即SSO(Single Sign On)。由于在每个Client和Service之间建立了共享密钥，使得该协议具有相当的安全性。

大数据杂货铺

2021/10/09

1.8K0

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

存储大数据缓存 hadoop xml

Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。

create17

2022/11/17

1K0

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。

五分钟学大数据

2021/02/08

2.4K0

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

node.js 大数据 hadoop 缓存 xml

Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。

五分钟学大数据

2021/03/04

1.4K0

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

vivo 万台规模 HDFS 集群升级 HDFS 3.x 实践

hadoop 大数据

Hadoop 3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改进。

2020labs小助手

2022/05/16

1.2K0

五万字 | 耗时一个月，整理出这份Hadoop吐血宝典

yarn node.js python 编程算法任务调度

一、HDFS 二、MapReduce 三、Yarn 四、Hadoop3.x 新特性五、Hadoop 大厂面试真题解析

五分钟学大数据

2021/10/26

1.7K0

使用FreeIPA为CDH6.3集群部署安全

kerberos 大数据专用宿主机 hive mapreduce

Cloudera从CM6.3版本开始，引入了Red Hat IdM来做整个集群的认证，Red Hat IdM对应的软件为FreeIPA，在本文中描述如何使用FreeIPA来做CDH集群的认证。关于FreeIPA服务器搭建参考<使用FreeIPA对Linux用户权限统一管理>。

大数据杂货铺

2020/02/11

2.2K0

使用FreeIPA为CDH6.3集群部署安全

0706-6.2.0-Windows Kerberos客户端配置并访问CDH

kerberos 大数据 windows 腾讯云测试服务

在使用CDH的过程中，集群启用了Kerberos认证后，集群中的一些组件的Web UI也会启用Kerberos认证，例如HDFS、Yarn、Hive等组件，此时如果在Windows上对这些页面进行访问，是无法正常访问的，需要在Windows本地安装上Kerberos客户端，并进行配置后才能够访问这些需要Kerberos认证的Web UI，本文档将介绍如何在Windows 10安装Kerberos客户端并配置FireFox浏览器访问CDH集群组件的Web UI。

Fayson

2019/09/30

2.3K0

0706-6.2.0-Windows Kerberos客户端配置并访问CDH

基于Kerberos认证的大数据权限解决方案

大数据解决方案大数据 hadoop kerberos 弹性 MapReduce

Kerberos是由麻省理工（MIT）开发，对三方进行验证鉴权的服务安全管理系统。该系统很好的体现了西方三权分立的思想，其名字也很形象，来源于希腊神话地狱三个脑袋的看门狗。

岳涛

2021/03/30

3K0

基于Kerberos认证的大数据权限解决方案

如何使用Cloudera Manager在线为集群减容

在Hadoop集群资源紧张的情况下可以在线扩容来提升集群的计算能力，具体参考Fayson前面的文章《如何在非Kerberos环境下对CDH进行扩容》，那么在集群计算能力浪费的情况下，如何避免集群资源浪费？本篇文章主要介绍如何使用Cloudera Manager在线减容Hadoop集群。

Fayson

2018/03/29

4.1K0

如何使用Cloudera Manager在线为集群减容

吐血整理 | HDFS运维问题大全

node.js 大数据 hadoop vr 视频解决方案

| 作者：周晓，腾讯游戏 CROS 体系高级工程师，负责多套HDFS集群的维护管理，并为Apache Hadoop社区提交过2个Patch。同时也作为游戏DBA，稳定支撑包括穿越火线、天天酷跑等在内多款游戏的DB管理维护。 ---- 1 这次我吐血整理了一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apache hadoop官方。最后根据这些问题处理经验，汇总了hadoop hdfs集群需要关注的告警指标。一、定期bloc

腾讯云数据库 TencentDB

2020/07/28

3K0

Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)

hadoop xml 大数据 yarn node.js

本文是由alice菌发表在：https://blog.csdn.net/weixin_44318830/article/details/102846055

王知无-import_bigdata

2020/05/08

1.7K0

Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)

0641-5.16.1-如何禁用CDH5.16.1的Kerberos

kerberos zookeeper 专用宿主机大数据 hive

Fayson在前面的文章介绍了如何为CDH集群启用Kerberos，在集群启用Kerberos后，会对现有环境的部分代码做改造，有些人觉得使用起来不方便，想取消Kerberos。本篇文章Fayson主要介绍如何禁用CDH集群的Kerberos及禁用后对各组件服务的测试。

Fayson

2019/05/29

1.5K0

Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效!)

hadoop xml 大数据 node.js 专用宿主机

这篇博客,小菌分享的是大数据集群的安装部署,超级有效,希望能够帮助到大家!在正式部署之前,我们需要做一些准备工作。

大数据梦想家

2021/01/22

1.1K0

Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效!)

相似问题

CDH集群HDFS 启用kerberos后，创建的非默认用户组的归属？

0459

CDH 5.10 HDFS重平衡？

1649

CDH6.2 Kerberos安装完毕，hdfs的LOGs页面打不开，要怎么解决呢？

1813

CDH6.0.1开启了kerberos+sentry,在添加impala和hbase服务后,起不来？

0378

mysql安装后无法启动？

0498

相关问答用户

请输入您想邀请的人

腾讯云计算产品团队

腾讯云 | 产品团队擅长5个领域

腾讯云计算产品

腾讯 | 高级产品经理擅长2个领域

腾讯云 | 高级工程师擅长4个领域

小仙女和科学家

腾讯云 | 产品经理擅长2个领域

活动推荐

高效管理海量数据，提升业务运营效率

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例