0899-7.1.7-如何在CDP中安装Zeppelin并配置Interpreter

1.安装Zeppelin与参数配置

1.1.添加Zeppelin服务

1.2.安装Livy

1.3.配置Zeppelin

Name : zeppelin.helium.registry
Value : helium
该参数不让zeppelin连接Amazon S3，不加这个参数有可能导致zeppelin重启耗时20分钟左右
Name : zeppelin.notebook.cron.enable
Value : true
该参数是启动zeppelin作业的定时任务

Zeppelin默认的管理权限是admins组，所以用户要加admins组才可以添加和修改interpreter

Spark服务不启用Atlas

Spark的spark.lineage.enabled参数要关闭

3.Zeppelin配置interpreter

3.1.配置Livy的Interpreter

Zeppelin.livy.url 配置安装livy服务的ip

验证%pyspark

创建一个pyspark Note

2.2.配置hive的interpreter

验证%hive

创建一个hive Note

2.3.配置sh的interpreter

验证%sh

创建一个sh Note

2.4.配置python的interpreter

下载zeppelin-python-0.80.0.jar包：下载位置

https://repo1.maven.org/maven2/org/apache/zeppelin/zeppelin-python/0.8.0/zeppelin-python-0.8.0.jar
cd /opt/cloudera/parcels/CDH/lib/zeppelin/interpreter/
mkdir python

将zeppelin-python-0.80.0.jar包放在python目录下面：

配置zeppelin用户的.bash_profile

重启zeppelin服务

让后创建pyton interpreter

验证%python

创建一个python Note

3.常见问题描述和解决办法

3.1.问题1

运行%pyspark报kafkaAadminClient的错，具体如下图：

问题原因：spark开启了spark.lineage.enabled

解决办法：关闭spark.lineage.enabled，重新部署客户端，重启相关服务

3.2.问题2

运行%python的时候报找不到py4j/gatewayserver，具体报错如下图：

问题原因：没有安装py4j的python包

解决办法：在zeppelin的安装节点运行pip install py4j

3.3.问题3

zeppelin使用python时引用的six包和install的版本不一样，具体情况如图：

问题原因：通过zeppelin安装的包不是全局包

解决办法：配置zeppelin的python环境变量，重启zeppelin服务

注：cdp的zeppelin服务不支持impala的interpreter