如何在Redhat7.3的CDH5.14中启用Kerberos

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

Fayson的github：https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

1.文档编写目的

内容概述：

1.如何安装及配置KDC服务

2.如何通过CDH启用Kerberos

3.如何登录Kerberos并访问Hadoop相关服务

4.总结

测试环境：

1.操作系统：Redhat7.3

2.CDH5.14

3.采用ec2-user用户进行操作

2.KDC服务安装及配置

本文档中将KDC服务安装在Cloudera Manager Server所在服务器上（KDC服务可根据自己需要安装在其他服务器）

1.在Cloudera Manager服务器上安装KDC服务

（可左右滑动）

2.修改/etc/krb5.conf配置

（可左右滑动）

标红部分为需要修改的信息。

3.修改/var/kerberos/krb5kdc/kadm5.acl配置

（可左右滑动）

4.修改/var/kerberos/krb5kdc/kdc.conf配置

（可左右滑动）

标红部分为需要修改的配置。

5.创建Kerberos数据库

（可左右滑动）

此处需要输入Kerberos数据库的密码。

6.创建Kerberos的管理账号

（可左右滑动）

标红部分为Kerberos管理员账号，需要输入管理员密码。

7.将Kerberos服务添加到自启动服务，并启动krb5kdc和kadmin服务

（可左右滑动）

8.测试Kerberos的管理员账号

（可左右滑动）

9.为集群安装所有Kerberos客户端，包括Cloudera Manager

使用批处理脚本为集群所有节点安装Kerberos客户端

（可左右滑动）

10.在Cloudera Manager Server服务器上安装额外的包

（可左右滑动）

11.将KDC Server上的krb5.conf文件拷贝到所有Kerberos客户端

使用批处理脚本将Kerberos服务端的krb5.conf配置文件拷贝至集群所有节点的/etc目录下：

（可左右滑动）

3.CDH集群启用Kerberos

1.在KDC中给Cloudera Manager添加管理员账号

（可左右滑动）

2.进入Cloudera Manager的“管理”->“安全”界面

3.选择“启用Kerberos”，进入如下界面

4.确保如下列出的所有检查项都已完成

5.点击“继续”，配置相关的KDC信息，包括类型、KDC服务器、KDC Realm、加密类型以及待创建的Service Principal（hdfs，yarn,，hbase，hive等）的更新生命期等

6.不建议让Cloudera Manager来管理krb5.conf,点击“继续”

7.输入Cloudera Manager的Kerbers管理员账号，一定得和之前创建的账号一致，点击“继续”

8.点击“继续”启用Kerberos

9.Kerberos启用完成，点击“继续”

10.勾选重启集群，点击“继续”

11.集群重启完成，点击“继续”

12.点击“继续”

点击“完成”，至此已成功启用Kerberos。

4.Kerberos使用

使用fayson用户运行MapReduce任务及操作Hive，需要在集群所有节点创建fayson用户。

1.使用kadmin创建一个fayson的principal

（可左右滑动）

2.使用fayson用户登录Kerberos

（可左右滑动）

3.在集群所有节点添加fayson用户

使用批量脚本在所有节点添加fayson用户

（可左右滑动）

4.运行MapReduce作业

（可左右滑动）

5.使用beeline连接hive进行测试

（可左右滑动）

创建一个test表

（可左右滑动）

向test表中插入数据

（可左右滑动）

执行一个Count语句

（可左右滑动）

5.常见问题

1.使用Kerberos用户身份运行MapReduce作业报错

（可左右滑动）

问题原因：是由于Yarn限制了用户id小于10000的用户提交作业；

2.进行kinit操作后，执行MR作业报“User fayson not found”

问题原因：在集群的节点上没有fayson这个用户

解决方法：需要在集群所有节点添加fayson用户

6.总结

在CDH集群中启用Kerberos需要先安装Kerberos服务（krb5kdc和kadmin服务）

在集群所有节点需要安装Kerberos客户端，用于和kdc服务通信

在ClouderaManager Server节点需要额外安装openldap-clients包

CDH集群启用Kerberos后，使用自己定义的fayson用户向集群提交作业需确保集群所有节点的操作系统中存在fayson用户，否则作业会执行失败

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。