Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >spark访问进行kerberos认证的hbase集群,为什么找不到kerberos的认证文件?

spark访问进行kerberos认证的hbase集群,为什么找不到kerberos的认证文件?

提问于 2021-03-22 03:36:11
回答 1关注 0查看 651

找不到认证文件,有人知道这是怎么回事吗

代码语言:java
AI代码解释
复制
这个是提交的命令:
spark-submit \
> --master yarn \
> --deploy-mode client \
> --files /home/bdsoft/apps/envelope/kerberos_conf/krb5.conf,/home/bdsoft/apps/envelope/kerberos_conf/hadoop.keytab \
> spark-on-hbase-0.8.0.jar envelop_conf/83f8876b-3b94-4f96-addc-eaca5339f50a_20210310164014016.conf


这个是在程序中进行的HBase访问的kerberos认证代码:
public static Configuration kerberosLogin(Configuration hbConf){
    LOG.info("开启kerberso 认证 ...... ");
    //kerbose
    hbConf.set("hadoop.security.authentication", "Kerberos");
    hbConf.set("hbase.security.authentication", "kerberos");
    hbConf.set("kerberos.principal" , KerberosCheckUtil.principal);
    hbConf.set("hbase.master.kerberos.principal",KerberosCheckUtil.principal);
    hbConf.set("hbase.regionserver.kerberos.principal",KerberosCheckUtil.principal);

    System.setProperty("javax.security.auth.useSubjectCredOnly", "false");
    System.setProperty("java.security.krb5.conf", "/home/bdsoft/apps/envelope/kerberos_conf/krb5.conf");
    System.setProperty("java.security.krb5.debug", "true");

    try{
      UserGroupInformation.setConfiguration(hbConf);

      if (UserGroupInformation.isLoginKeytabBased() && UserGroupInformation.getLoginUser().getUserName().equals(KerberosCheckUtil.principal)) {
        LOG.info("hbase:" + hbConf.get("hbase.master")+ ",user [{}] is login already!",KerberosCheckUtil.principal);
      }else {
        UserGroupInformation.loginUserFromKeytab(KerberosCheckUtil.principal, "/home/bdsoft/apps/envelope/kerberos_conf/hadoop.keytab");
        LOG.info("hbase:" + hbConf.get("hbase.master") + ",user [{}] login successed!",KerberosCheckUtil.principal);
      }
      LOG.info("Hbase Kerberos 认证成功 ...... ");
      return hbConf;
    }catch (Exception e){
      e.printStackTrace();
      LOG.error("Hbase kerberos 登录报错," + KerberosCheckUtil.getKeyTabFile());
      System.exit(1);
      return hbConf;
    }
  }

z

回答 1

EatRice

发布于 2021-03-25 01:44:51

您好,可以按以下流程排查:

1. 请检查文件是否存在

2. 若存在是否有权限问题

3. 若权限没问题,请检查是否格式正确

和开发者交流更多问题细节吧,去 写回答
相关文章
Java访问带有Kerberos认证的HBase
conf = HBaseConfiguration.create(); conf.set("hadoop.security.authentication" , "kerberos" ); conf.set("hbase.security.authentication","kerberos"); conf.set("hbase.master.keytab.file", "/hbase.keytab"); conf.set("hbase.master.kerberos.principal",HBASE_MA
stys35
2019/03/05
3.6K0
Windows认证--Kerberos
Kerberos是一种由MIT(麻省理工学院)提出的一种网络身份验证协议,可通过密钥系统为客户端/服务端提供认证服务。它能够为网络中通信的双方提供严格的身份验证服务,确保通信双方身份的真实性和安全性。该认证过程的实现不依赖于主机操作系统的认证,无需基于主机地址的信任,不要求网络上所有主机的物理安全。
鸿鹄实验室
2022/11/02
1.3K0
Windows认证--Kerberos
[ffffffff0x] Windows认证原理:Kerberos认证
在之前的文章中,我们介绍了windows域环境的结构和组成部分。本文,我们将介绍域环境中使用的kerberos认证协议,并着手分析认证过程。
r0fus0d
2021/01/09
2.5K0
[ffffffff0x] Windows认证原理:Kerberos认证
Kerberos协议认证过程
Kerberos 是一种由 MIT(麻省理工大学)提出的一种网络身份验证协议。它旨在通过使用密钥加密技术为客户端/服务器应用程序提供强身份验证。
Gh0st1nTheShel
2021/11/14
1.6K0
[1126]kerberos认证相关问题
KERBEROS安装完以后hdfs命令不能正常使用,修改:重启ambari-server ipactl
周小董
2022/04/28
1.7K0
[1126]kerberos认证相关问题
内网渗透 | Kerberos 协议与 Kerberos 认证原理
如果你了解内网渗透,那么应该都对 IPC、黄金票据、白银票据、、PTT、PTK 这些老生常谈的词汇再熟悉不过了,对其利用也应该是了如指掌了吧。但是如果你对其背后的所使用的原理还不太了解的话,那么这篇(系列)文章你一定不能错过。
HACK学习
2021/07/21
1.9K1
Docker部署hue,连接带kerberos认证的Impala集群
Hue在最新的4.6.0版本中,提供了编译docker镜像的选项,然后我们可以使用已经编译好的镜像来启动hue服务。在之前的版本中(例如4.2.0、4.3.0等),如果要部署hue服务,我们需要在相应的服务器上安装依赖包,然后下载hue的源码,编译完成之后再启动服务。对于有些系统,编译会出现各种问题,不同的版本错误还不一样,非常麻烦。因此,docker部署hue还是非常方便的,省去了我们每次都要重复编译的麻烦,并且可以在一个服务器上启动多个hue服务,配置文件保持不变的情况下,只要hue默认的端口号映射到宿主机的不同端口号即可。下面就跟大家介绍一些,在使用docker部署hue的时候,我们该如何配置连接到带有kerberos认证的Impala集群。
skyyws
2022/05/20
1.9K0
Docker部署hue,连接带kerberos认证的Impala集群
NTLM及Kerberos认证流程
NTLM是NT LAN Manager的缩写,NTLM 是指 telnet 的一种验证身份方式,即问询/应答身份验证协议,是 Windows NT 早期版本的标准安全协议,Windows 2000 支持 NTLM 是为了保持向后兼容。Windows 2000内置三种基本安全协议之一。
Y5neKO
2022/01/13
1.9K0
NTLM及Kerberos认证流程
hive metastore配置kerberos认证
hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式,对hive metastore进行认证配置。
从大数据到人工智能
2022/01/18
1.2K0
hive metastore配置kerberos认证
hive metastore配置kerberos认证
hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式,对hive metastore进行认证配置。
从大数据到人工智能
2022/01/19
2K0
hive metastore配置kerberos认证
CDH 启用Kerberos安全认证
看错误信息提示是你没有定义realm,这时需要检查/var/kerberos/krb5kdc/kdc.conf和/etc/krb5kdc.conf两文件是否有定义
笨兔儿
2019/05/26
1.2K0
MongoDB安全实战之Kerberos认证
邓开表同学MongoDB系列文章,本文主要讲诉MongoDB的Kerberos配置实战。MongoDB Enterprise版本支持Kerberos服务认证。Kerberos是大型客户端/服务器系统的行业标准认证协议。上一篇文章是: 1 1、环境准备 需要事先在机器上安装MongoDB Enterprise版本和Kerberos,在这里安装的是MongoDB Enterprise 3.6.2和Kerberos 1.10. 2 2、启动mongod服务,并连接到mongoshell。 3 3、在$extern
企鹅号小编
2018/02/02
1.2K0
MongoDB安全实战之Kerberos认证
Kerberos实战
前面的文章介绍了《Kerberos原理--经典对话》、《Kerberos基本概念及原理汇总》、《基于ambari的Kerberos安装配置》、《Windows本地安装配置Kerberos客户端》,已经成功安装了Kerberos KDC server,也在Ambari上启用了Kerberos,接下来我们再来研究一下如何使用Kerberos。
create17
2019/01/20
6.6K7
Kerberos实战
添加kerberos后,Flink任务的运行认证及各组件的认证
https://www.psvmc.cn/article/2022-11-08-bigdata-kerberos-centos.html
码客说
2023/08/11
1.6K0
大数据平台安全认证 -- Kerberos
自从2018年大数据平台升级,Hadoop/Kafka从此被Kerberos立体环绕,虽然知道kinit/kdestory/klist命令,但是每次执行都感觉云里雾绕,尤其是对接租户的时候,多次陷入尴尬的境地。实习带我的老师曾提起培训一次kerberos,可是还没提上日程就离职了。于是决定去靠自己理解一下Kerberos,脱离这种没有安全感的日子。
叫我阿柒啊
2022/05/09
1.6K0
大数据平台安全认证 -- Kerberos
内网渗透|Kerberos认证和黄金票据
Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。
亿人安全
2022/12/23
9410
内网渗透|Kerberos认证和黄金票据
如何使用Java访问非Kerberos环境的HBase
在前面的文章Fayson介绍了《如何使用Java连接Kerberos的HBase》,虽然非Kerberos环境下访问HBase比较简单,本篇文章Fayson还是主要介绍使用Java访问非Kerberos环境的HBase。
Fayson
2018/11/19
1.6K0
如何为CDH集成Active Directory的Kerberos认证
在前面Fayson介绍了多篇关于Window Server上安装的Active Directory服务,由于Active Directory服务即提供了统一的用户管理也提供了Kerberos认证服务,在向AD中新增用户的同时也为用户创建了相应的Kerberos账号。本篇文章Fayson主要介绍如何为CDH集成Active Directory的Kerberos认证。
Fayson
2018/10/23
2.7K0
如何为CDH集成Active Directory的Kerberos认证
[1067]CDH6.3.2之Kerberos安全认证
Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。
周小董
2021/11/11
1.2K0
[1067]CDH6.3.2之Kerberos安全认证
点击加载更多

相似问题

关于CDP有kerberos认证的集群之间复制?

0105

使用Kerberos Hbase与无Kerberos Hbase集群数据迁移失败?

0328

关于kerberos跨集群访问?

0286

请问如何解决Azkaban通过kerberos认证的问题呢?

1894

java访问开启了kerberos的hbase,windows端运行报错没有票据?

0373
相关问答用户
腾讯 | 技术专家擅长2个领域
萃橙科技 | 合伙人擅长4个领域
擅长4个领域
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档