温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢
1.文档编写目的
在CDH集群中使用多个IP地址来管理集群,独立的集群内网和管理网段,管理网段与外部应用网络通但不与内网通。在部署集群是由于错将管理网段作为集群的内网,所以这里需要修改集群CDH集群IP地址至内网网段,本篇文章主要介绍如何修改CDH集群的IP地址。
1.环境说明
2.修改集群hosts文件及重启相应服务
3.修改Kafka和Flume配置
1.CM和CDH版本为5.13.0
2.采用root用户操作
3.操作系统RedHat7.2
2.集群环境说明
在集群中个节点均有两个以上的IP地址,172.16.25.*网段为集群内部通信网段,10.134.130.*为集群的管理网段,在部署集群时错将管理网段作为集群的内网,因此现在需要将集群的数据网段修改为172.16.25.*。
管理LAN(千兆) | 数据Lan(万兆) | HOSTNAME |
---|---|---|
10.134.130.44 | 172.16.25.1 | datanode1 |
10.134.130.46 | 172.16.25.2 | datanode2 |
10.134.130.47 | 172.16.25.3 | datanode3 |
10.134.130.81 | 172.16.25.4 | datanode4 |
10.134.130.84 | 172.16.25.5 | datanode5 |
10.134.130.85 | 172.16.25.6 | datanode6 |
10.134.130.86 | 172.16.25.7 | datanode7 |
10.134.130.87 | 172.16.25.7 | namenode1 |
10.134.130.88 | 172.16.25.10 | edgenode |
10.134.130.98 | 172.16.25.9 | namenode2 |
3.修改集群的hosts文件
1.集群修改前hosts文件
2.集群修改后hosts文件
注意:将修改后的hosts文件同步至集群所有节点。
4.重启集群服务
1.在集群所有节点执行如下操作
[root@edgenode shell]# ps -ef |grep supervisor
[root@edgenode shell]# kill -9 13141
[root@edgenode shell]# systemctl restart cloudera-scm-agent
(可左右滑动)
2.使用管理员登录Cloudera Manager 的WEB控制台,根据提示重启Cloudera Managent Service 和 CDH 集群。
重启完成后集群正常
3.查看集群列表主机列表IP地址是否已修改
5.修改Kafka配置
由于集群之前使用的Kafka网段为10.134.130.*,该网段与外部应用网络互通,现将集群的网段修改为172.16.25.*后,外部应用与Kafka的访问出现故障,经查看发现Kafka的Broker服务启动默认监听的是内网的IP地址,无法供外部应用访问,所以现在需要对Kafka配置进行修改,使其监听10.134.130.*网段的IP地址。
1.进入Kafka服务的每个Broker实例,修改advertised.host.name属性为该实例所在服务器的外部IP地址
2.在每个Kafka Broker实例的服务启动参数中增加高级配置
listeners=PLAINTEXT://10.134.130.88:9092
保存配置后,回到CM主页根据提示重启相应服务。
3.检查监听端口是否为我们指定的IP地址
[root@edgenode shell]# netstat -apn |grep 9092 |grep LISTEN
(可左右滑动)
6.修改Flume Agent配置
由于集群中使用到Flume和Kafka,所以这里需要将Flume的Agent进行相应的修改。修改Flume的Agent配置文件中使用到Kafka的broker配置,将hostname修改为上面绑定的Ip地址。如下:
提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操