Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >0468-如何使用DBeaver访问Kerberos环境下的Hive

0468-如何使用DBeaver访问Kerberos环境下的Hive

作者头像
Fayson
发布于 2018-12-24 08:54:29
发布于 2018-12-24 08:54:29
5.6K00
代码可运行
举报
文章被收录于专栏:Hadoop实操Hadoop实操
运行总次数:0
代码可运行

1

文章编写目的

在前面Fayson的文章《Hadoop SQL客户端工具之Dbeaver安装及使用》介绍了DBeaver的安装以及访问非Kerberos环境下的Hive。本篇文章Fayson主要介绍如何使用DBeaver访问Kerberos环境下的Hive。

  • 测试环境

1.RedHat7.2

2.CM和CDH版本为5.15.0

3.Window Server 2012R2

2

安装Kerberos客户端

1.在Kerberos官网下载,地址如下

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
https://web.mit.edu/kerberos/dist/index.html

安装过程这里就不在详细说明了。

2.将CDH集群的/etc/krb5.conf文件,在Window客户端如下目录创建krb5.ini文件,内容如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
C:\ProgramData\MIT\Kerberos5\krb5.ini”
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = true
default_realm = FAYSON.COM
#default_ccache_name = KEYRING:persistent:%{uid}

[realms]
FAYSON.COM = {
  kdc = adserver.fayson.com
  admin_server = adserver.fayson.com
}

[domain_realm]
.fayson.com = FAYSON.COM
fayson.com = FAYSON.COM

3.配置环境变量,krb5.ini文件以及Kerberos Credential Cache File的路径

变量名:KRB5_CONFIG,变量值:C:\ProgramData\MIT\Kerberos5\krb5.ini

变量名:KRB5CCNAME,变量值:C:\temp\krb5cache

注意:KRB5CCNAME的路径默认是不存在的,因此需要在C盘下创建temp文件夹,krb5cache文件则不需要创建。

配置完环境变量后,重启计算机使其生效。

4.完成以上配置后,在Window客户端测试是否能够正常kinit

Kinit成功后

3

修改DBeaver配置

因为DBeaver通过JDBC的方式访问Hive,底层也是基于Java环境,所以这里需要在DBeaver的配置中增加JVM的参数,主要添加关于Kerberos相关的配置。

1.进入DBeaver的安装目录,找到dbeaver.ini配置文件,在配置文件末尾增加如下配置:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
-Djavax.security.auth.useSubjectCredsOnly=false
-Djava.security.krb5.conf="C:\ProgramData\MIT\Kerberos5\krb5.ini"
-Dsun.security.krb5.debug=true

2.重新启动DBeaver客户端

4

基于Hive原生驱动创建连接

Hive原生驱动的获取方式在《0459-如何使用SQuirreL通过JDBC连接CDH的Hive(方式一)》文章中有说明使用Maven的方式获取Hive JDBC驱动,这里就不过多的再说明了。

1.在DBeaver上创建 Apache Hive的JDBC连接

2.编辑驱动设置,由于是Kerberos方式访问,在URL模板中增加

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/;principal=hive/{host}@FAYSON.COM

添加JDBC驱动及依赖包,使用“找到类”查找驱动包中JDBC驱动类

3.完成驱动编辑后,点击确定即可

4.点击“测试连接”进行JDBC连接测试

5.进行访问显示如下

5

基于Cloudera驱动创建连接

Cloudera官网提供的JDBC驱动包比较简单只有一个jar包,Hive JDBC驱动包及其依赖包均打包在里面,但在JDBC URL的访问方式上也做了一定的调整。可能是为了兼容访问Impala而做,具体访问方式如下:

1.进入驱动设置界面,在URL模板中增加如下参数

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
;AuthMech=1;KrbRealm=FAYSON.COM;KrbHostFQDN={host};KrbServiceName=hive;KrbAuthType=2

添加Cloudera提供的Hive JDBC驱动

2.点击“确定”完成驱动设置,填写主机地址

3.点击“测试连接”

4.完成连接创建后即可正常访问Kerberos环境下的Hive库

6

总结

1.使用Hive原生JDBC驱动时,需要增加Hadoop相关的依赖包,否则会报版本啊什么的异常。

2.注意在使用Cloudera提供的Hive驱动包访问Kerberos环境下的Hive时注意JDBC URL地址配置方式。

3.Cloudera提供的Hive JDBC驱动与Hive原生的驱动类有些区别,驱动类需要指定为“com.cloudera.hive.jdbc41.HS2Driver”。使用Cloudera提供的驱动包不需要考虑驱动包依赖的问题,默认的将Hive驱动所依赖的包都打包在里面。

4.特别强调在Window机器上配置Kerberos客户端时,需要配置KRB5_CONF和KRB5CCNAME两个环境变量,否则在使用访问时会报“Unable to obtain Principal Name for authentication”

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-12-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
​Mybatis原理之数据源和连接池
在Java工程项目中,我们常会用到Mybatis框架对数据库中的数据进行增删查改,其原理就是对 JDBC 做了一层封装,并优化数据源的连接。
java之旅
2020/01/17
7390
tomcat jdbc连接池配置属性详解之参数说明
driverClassName 数据库驱动类,针对mysql填com.mysql.jdbc.Driver username 用户名 password 密码 maxActive 最大允许的连接数 maxIdle 最大空闲连接,当idle队列数目超过maxIdle时,归还到连接池的连接就会被释放掉!! 具体参考org.apache.tomcat.jdbc.pool.ConnectionPool类returnConnection方法 当某个连接空闲时间超过minEvictableIdleTimeMillis时就会
johnhuster的分享
2022/03/29
1.3K0
tomcat jdbc连接池详解之初始化
本文将从源码出发详解tomcat jdbc连接池的初始化过程,看下连接池初始化到底做了些什么
johnhuster的分享
2022/03/28
4840
数据库连接池之c3p0-0.9.1.2,16年的古董,发生连接泄露怎么查(二)
本篇是c3p0连接泄露问题的第二篇,在前面一篇里面,大体介绍了问题,问题就是,我们发现线上服务不响应的原因是拿不到连接。而为啥拿不到连接呢,因为空闲链表为空,那么为什么空闲链表为空呢?
低级知识传播者
2023/08/30
4740
数据库连接池之c3p0-0.9.1.2,16年的古董,发生连接泄露怎么查(二)
自己手动写代码实现数据库连接池
池:一个高级的集合体(集合存储元素 + 管理方式–>提高效率),是对外提供同一种类型对象的集合,如(线程池、数据库连接池)  特性:复用性(每条连接可重复使用),隔离性(每条连接一个时间内只能由一个线程获取)!!  连接池功能:  1.最大限度的满足并发复用,提高响应效率  2.大大的节省了服务器资源,(一定程度上)减少大量初始化问题
小勇DW3
2018/08/30
1.2K0
自己手动写代码实现数据库连接池
资源池模式和单例模式实现的自定义数据库连接池java实现版
在企业级开发中,我们往往不会直接使用原生的JDBC操作来实现与数据库得连接。因为数据库的连接是一个很宝贵的资源且耗时,我们往往会在内存中引入一个资源池来统一管理数据库的连接。这个模式也被总结为一种设计模式:资源池模式和单例模式。 关于原理部分就不多做介绍了,这里也是做一个简单的原理实现。
Theone67
2019/12/20
1.1K0
聊聊tomcat jdbc pool的默认参数及poolSweeper
本文主要研究一下tomcat jdbc pool的默认参数及poolSweeper
code4it
2018/09/17
2.1K0
tomcat jdbc数据库连接池详解之获取连接
数据库连接是一种宝贵资源,其建立过程需要tcp握手以及登录校验(验证用户名、密码),这也是一个比较昂贵的过程,如果不使用数据库连接池技术,频繁的创建连接、释放连接将会对系统性能有很大影响。那么数据库连接池是怎样高效的返回连接并管理这些创建好的数据库连接的呢?
johnhuster的分享
2022/03/28
1.3K0
数据库连接池-tomcat-jdbc食用笔记
现在 主流的数据库连接池有:Proxool、C3P0、DBCP、tomcat-jdbc、Druid。其中tomcat-jdbc是tomcat服务器比较可靠的 数据库连接池。 Tomcat 在 7.0 以前的版本都是使用commons-dbcp做为连接池的实现,但是DBCP存在一些问题:     DBCP 是单线程的,为了保证线程安全会锁整个连接池     DBCP 性能不佳     DBCP 太复杂,超过60个类,发展滞后。     因此,通常J2EE中还会使用其它的高性能连接池,如C3P0,还有阿里系
斯武丶风晴
2018/03/01
3.8K0
数据库连接池-tomcat-jdbc食用笔记
NIFI里的数据库连接池
通常我们在NIFI里最常见的使用场景就是读写关系型数据库,一些组件比如GenerateTableFetch、ExecuteSQL、PutSQL、ExecuteSQLRecord、PutDatabaseRecord等等,都会有一个属性配置大概叫Database Connection Pooling Service的,对应的接口是DBCPService,其实现类有:HiveConnectionPool DBCPConnectionPool DBCPConnectionPoolLookup。我们用的最多的就是DBCPConnectionPool。具体怎么配置这里就不赘述了,看对应的Controller Service文档就可以了。
@阿诚
2020/09/15
2.9K0
NIFI里的数据库连接池
[数据库连接池] Java数据库连接池--DBCP浅析.
前言 对于数据库连接池, 想必大家都已经不再陌生, 这里仅仅设计Java中的两个常用数据库连接池: DBCP和C3P0(后续会更新).  一. 为何要使用数据库连接池 假设网站一天有很大的访问量,数据库服务器就需要为每次连接创建一次数据库连接,极大的浪费数据库的资源,并且极易造成数据库服务器内存溢出、拓机。 数据库连接是一种关键的有限的昂贵的资源,这一点在多用户的网页应用程序中体现的尤为突出.对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性,影响到程序的性能指标.数据库连接池正式针对这个问题提出
一枝花算不算浪漫
2018/05/18
1.7K0
tomcat7的数据库连接池tomcatjdbc的25个优势
tomcat的JDBC连接池org.apache.tomcat.jdbc.pool更换或替代吗Apache Commons DBCP连接池。 为什么我们需要一个新的连接池? 这里有几个原因: 1
业余草
2019/01/21
6110
为什么说druid是目前最好的数据库连接池?
数据库连接是一项非常关键的、有限的、昂贵的资源,这一点在多用户的网页应用程序中体现得尤为突出。
Java极客技术
2022/12/04
1.2K0
为什么说druid是目前最好的数据库连接池?
JAVA数据库连接池_java与数据库的连接怎么实现
大家好,又见面了,我是你们的朋友全栈君。 一般来说,Java应用程序访问数据库的过程是:   ①装载数据库驱动程序;   ②通过jdbc建立数据库连接;   ③访问数据库,执行sql语句;
全栈程序员站长
2022/09/30
4.8K0
JAVA数据库连接池_java与数据库的连接怎么实现
java数据库连接池dbcp的使用
近年来,随着Internet/Intranet建网技术的飞速发展和在世界范围内的迅速普及,计算机
业余草
2019/01/21
1.5K0
JDBC和连接池原理
JDBC是Java提供的一组操作数据库的API,可以屏蔽各种各样的数据库差异,向上提供统一的服务接口,数据库驱动程序会实现这些接口。
冰寒火
2023/03/04
1.3K0
基于Swoole的通用连接池 - 数据库连接池
open-smf/connection-pool 是一个基于Swoole的通用连接池,常被用作数据库连接池。
猿哥
2019/04/24
1.6K0
Mybatis-update - 数据库死锁 - 获取数据库连接池等待
最近学习测试mybatis,单个增删改查都没问题,最后使用mvn test的时候发现了几个问题: update失败,原因是数据库死锁 select等待,原因是connection连接池被用光了,需要等待 get: 要勇于探索,坚持就是胜利。刚看到错误的时候直接懵逼,因为错误完全看不出来,属于框架内部报错,在犹豫是不是直接睡觉得了,毕竟也快12点了。最后还是给我一点点找到问题所在了。 同上,要敢于去深入你不了解的代码,敢于研究不懂的代码。 距离一个合格的码农越来越远了,因为越学越觉得漏洞百出,自己的代码到处都
Ryan-Miao
2018/03/13
2.3K0
Mybatis-update - 数据库死锁 - 获取数据库连接池等待
Mybatis 数据库连接池源码解析
在使用 Mybatis 的时候,数据库的连接一般都会使用第三方的数据源组件,如 C3P0,DBCP 和 Druid 等,其实 Mybatis 也有自己的数据源实现,可以连接数据库,还有连接池的功能,下面就来看看 Mybatis 自己实现的数据源头和连接池的一个实现原理。
Java技术编程
2020/05/21
1.4K0
《深入理解mybatis原理》 Mybatis数据源与连接池
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://louluan.blog.csdn.net/article/details/37671851
亦山
2019/05/25
1.1K0
推荐阅读
相关推荐
​Mybatis原理之数据源和连接池
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验