CDP-DC中部署Hive Server

文档编写目的

在CDP-DC集群中，hive服务默认只有Metastore角色，Hive Server角色需要在Hive on Tez服务中，Hive默认使用Hive on Tez引擎。

本文主要介绍如何在CDP-DC集群上安装部署Tez和Hive on Tez，然后配置Hive server。

内容概述

1) CDP-DC集群上部署Tez

2) CDP-DC集群上部署Hive on Tez

3) Hive访问验证

测试环境

1) CM和Cloudera Runtime版本为7.1.1

2) Redhat7.7

3) 拥有Cloudera Manager的管理员账号

4) 集群未启用Kerberos

5) 集群已经部署了Hive（Metastore），没有部署Hive Server角色。

部署Tez

部署前集群概况

查阅文档，找到Hive on Tez的依赖关系

https://docs.cloudera.com/cloudera-manager/7.1.1/installation/topics/cdpdc-service-dependencies.html

因此我们需要先部署Tez。

部署Tez

1. 从您的Cloudera Manager主页，转到状态选项卡> 群集名称> ... > 添加服务

2. 从服务列表中，选择“Tez”，然后单击“ 继续”。

3. 在“选择依赖项”页面上，选择Yarn的依赖项：

Tez的依赖项都是必选项。

4. 在“分配角色”页面上，选择依赖项的角色分配，然后单击“继续”：

这里给Gateway角色分配对应的主机。

5. 审核修改

审核修改不涉及，直接进入到下一页面。

6. “命令详细信息”页面显示了操作状态。完成后，系统管理员可以在stdout下查看安装日志。

7. 回到Cloudera Manager主页，查看Tez服务

因为Tez只有一个Gateway角色，没有服务，因此看到是一个灰色的圆点显示。

Hive On Tez部署步骤

1) 从您的Cloudera Manager主页，转到状态选项卡> 群集名称> ... > 添加服务

从服务列表中，选择“Hive on Tez”，然后单击“ 继续”。

2) 在“选择依赖项”页面上，选择要Hive on Tez设置的依赖项：

Hive on Tez的依赖项都是必选项，默认选中。

3) 在“分配角色”页面上，选择依赖项的角色分配，然后单击“继续”：

注意：在Hive服务中 不能部署有Hive Server角色，否则会导致Hive on Tez部署失败。

4) 审核修改

审核修改不涉及，直接进入到下一页面。

5) “命令详细信息”页面显示了操作状态。完成后，系统管理员可以在stdout下查看安装日志。

6) 回到Cloudera Manager主页，查看Hive on Tez服务

周边处理

Hue配置过期，重启

1) 可以看到Hue有一个配置过期提升，需要重启。

2) 点击

，重启hue。

点击重启过时服务

点击立即重启。

Hive On Tez报错处理

重启后，Hive on Tez服务显示红色预警，有关键运行状况问题

点击提示的关键问题数2

查看对应的角色日志文件

可以看出是Yarn的container设置的问题，去yarn中调整container的资源。

集群主页->Yarn->配置，搜索allocation 和resource，然后调整对应的参数值并保存修改，重启将配置生效。

参数调整后，Hive  on Tez服务正常。

Hue配置支持hive

Hive on Tez部署完成后，在Hue中是看不到Hive引擎的。

进入到Hue的配置页面，将HiveServer2服务复选

保存更改后重启hue。然后再次登录hue，可以看到Hive引擎

Hive on Yarn测试

Beeline 测试

进入到terminal，执行下面的命令：

beelineshow tables;create table student(id int,name string) row format delimited fields terminated by ' ';desc formatted student;insert into student values(1,'aa');select * from student;update student set id=2;select * from student;drop table student;

Hue测试

总结

1. Hive Server的默认执行引擎为Hive on Tez

2. 在CDP-DC中，Hive的版本为3.1.1，支持数据的ACID特性，支持数据的更新操作。