1.文档编写目的 ---- 本文主要讲述如何为CDH集群配置机架感知,通过配置机架感知,提高CDH集群的运行效率。...生产环境的CDH集群通常包含数量庞大的服务器,由于受到机架槽位和交换机网口的限制,通常大型的分布式CDH集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。...Hadoop作为典型的大数据处理平台,为充分发挥数据本地性的优势,避免数据跨网络传输,优化集群网络带宽资源,最大程度发挥Hadoop的性能,通常会为Hadoop集群配置机架感知,要为Hadoop集群配置机架感知...J5/J6的服务器与K10/K11的服务器可以理解为同一个机柜,他们接入相同的,位于K10/K11堆叠网络设备。bigdata[34-60]加入了集群,但未启动角色实例。...集群已启动的节点机架信息与脚本配置一致。
显示器1台 键盘鼠标1套 网线5条 接线板1个 2、服务器硬件配置 内存:16G CPU:4核 硬盘:500Gb 网卡:千兆网卡1个 USB接口:可使用 3、操作系统 1台Windows 10 3台Linux...ssh-copy-id cdh2 ssh-copy-id cdh3 #验证,在任意机器上对集群其他节点进行进行ssh登陆 ssh cdh2/cdh3 禁用透明大页面(所有节点) 内存管理相关配置 cat...(root用户) 配置与时间服务器10分钟同步一次,编写定时任务 crontab -e */10 * * * * /usr/sbin/ntpdate cdh1 crontab -l 在时间服务器cdh1...大数据服务器集群配置 2、群集名称,可随便写 3、扫描主机,输入主机名称点击搜索(cdh1,cdh2,cdh3) 4、选择存储库 自定义存储库:http://cdh1/cloudera-repos/cm6...2、自定义角色分配 具体角色配置可查看CM 3、数据库配置 选择各个数据库,用户名,密码,并进行测试 审核更改,默认设置(配置各个参数),命令详细信息 如果集群资源不够,可以先申请一个集群,然后依次添加服务
CDH集群启用Kerberos,在集群启用Kerberos后,会对现有环境的部分代码做改造,有些人觉得使用起来不方便,想取消Kerberos。...本篇文章Fayson主要介绍如何禁用CDH集群的Kerberos及禁用后对各组件服务的测试。...2.集群环境介绍 ---- 1.CDH集群已启用Kerberos ?...2.禁用前集群HDFS信息 ? 3.禁用Kerberos ---- 1.通过CM停止CDH集群的所有服务 ? 服务停止成功 ? ?...3.启动集群剩余服务 ? 服务启动中 ? 服务启动中 ? 服务启动成功 ? ? 4.部署客户端配置 ? ? 点击“部署客户端配置”,如下部署成功 ? 集群各个服务状态正常 ?
CDH集群外配置非Kerberos环境的Gateway节点》,本篇文章主要介绍如何在CDH集群外配置Kerberos环境的Gateway节点。...将集群KDC服务器上的/etc/krb5.conf文件拷贝至(cdh05.fayson.com)节点的/etc目录下 [root@cdh01 ~]# scp /etc/krb5.conf cdh05.fayson.com...5.登录(cdh05.fayson.com)节点的服务器上,创建/opt/cloudera/parcels目录,并将cdh.tar.gz解压至该目录下 [root@cdh05 ~]# mkdir -p...5.总结 ---- 1.在集群外节点配置Gateway节点时,如果是Kerberos集群则需要为该节点安装Kerberos客户,并将krb5.conf文件拷贝至该节点的/etc目录下 2.配置Gateway...节点时需要将各服务的客户端配置文件拷贝至Gateway节点的对应目录下,默认为/etc/{servicename}/conf目录,否则无法访问的CDH集群。
1.文档编写目的 ---- 本文档讲述如何在CDH集群启用及配置Kerberos,您将学习到以下知识: 1.如何安装及配置KDC服务 2.如何通过CDH启用Kerberos 3.如何登录Kerberos...并访问Hadoop相关服务 文档主要分为以下几步: 1.安装及配置KDC服务 2.CDH集群启用Kerberos 3.Kerberos使用 这篇文档将重点介绍如何在CDH集群启用及配置Kerberos,...并基于以下假设: 1.CDH集群运行正常 2.集群未启用Kerberos 3.MySQL 5.1.73 以下是本次测试环境,但不是本操作手册的必需环境: 1.操作系统:CentOS 6.5 2.CDH和...CM版本为5.12.0 3.采用root用户进行操作 2.KDC服务安装及配置 ---- 本文档中将KDC服务安装在Cloudera Manager Server所在服务器上(KDC服务可根据自己需要安装在其他服务器...4.点击“继续”,配置相关的KDC信息,包括类型、KDC服务器、KDC Realm、加密类型以及待创建的Service Principal(hdfs,yarn,,hbase,hive等)的更新生命期等
本篇文章Fayson主要介绍如何在CDH集群部署Presto并与Hive集成。...配置说明: node.environment:集群名称。所有在同一个集群中的Presto节点必须拥有相同的集群名称。 node.id:每个Presto节点的唯一标示。...在大型集群中,处于性能考虑,建议单独用一台服务器作为Coordinator。...4.将准备好的配置文件分发 ---- 1.在Presto集群所有节点创建/opt/cloudera/pracles/presto/etc目录 [root@cdh01 shell]# sh ssh_do_all.sh...3.将jvm.config和log.properties配置文件拷贝至Presto集群所有节点 [root@cdh01 shell]# sh bk_cp.sh node.list /root/presto-etc
如果你使用的是Apache Hadoop,你只需要将hadoop相关服务的配置和脚本命令拷贝到客户端机器即可,但一旦集群的配置有所修改,你需要注意也同步到客户端机器。...如果是CDH集群,客户端节点也会是Cloudera Manager管理的一台机器,它会被安装cloudera-scm-agent服务,以及CDH的Parcel,部署客户端配置Cloudera Manager...增加一台Gateway节点,与安装CDH非常类似,你必须要注意一定要做好客户端机器的前置条件准备,参考《CDH安装前置准备》,否则会增加失败。本文主要描述如何给CDH集群增加Gateway节点。...内容概述 1.创建Gateway节点的主机模板 2.Gateway节点的前置准备 3.增加Gateway节点到集群并应用主机模板 测试环境 1.CDH5.13 2.采用root用户操作 3.CentOS6.5...前置条件 1.CDH5.13集群运行正常 2.Gateway节点已准备 2.创建Gateway节点的主机模板 ---- 1.从Cloudera Manager进入“主机模板”页面 [8vvlacfuvs.jpeg
Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在CDH集群中使用多个IP地址来管理集群...在部署集群是由于错将管理网段作为集群的内网,所以这里需要修改集群CDH集群IP地址至内网网段,本篇文章主要介绍如何修改CDH集群的IP地址。...内容概述 1.环境说明 2.修改集群hosts文件及重启相应服务 3.修改Kafka和Flume配置 测试环境 1.CM和CDH版本为5.13.0 2.采用root用户操作 3.操作系统RedHat7.2...[53ahe8jcjj.jpeg] 重启完成后集群正常 [kpyapkisic.jpeg] 3.查看集群列表主机列表IP地址是否已修改 [279g52dfcu.jpeg] 5.修改Kafka配置 ---...1.进入Kafka服务的每个Broker实例,修改advertised.host.name属性为该实例所在服务器的外部IP地址 [rbkybixlxt.jpeg] 2.在每个Kafka Broker实例的服务启动参数中增加高级配置
Hadoop命令访问集群(如:hdfs、hbase、hive、spark、yarn)等命令操作,这时又不想将该节点添加到CDH集群中管理,本篇文章主要介绍如何在集群外节点不通过CM部署一个Gateway...4.登录(cdh05.fayson.com)节点的服务器上,创建/opt/cloudera/parcels目录,并将cdh.tar.gz解压至该目录下 [root@cdh05 ~]# mkdir -p...(可左右滑动) 登录CDH集群拥有spark、hadoop、hbase、hive等Gateway节点上将/etc/*/conf目录下的配置文件拷贝至(cdh05.fayson.com)节点相应目录下 scp...5.总结 ---- 1.配置Gateway节点时需要将各服务的客户端配置文件拷贝至Gateway节点的对应目录下,默认为/etc/{servicename}/conf目录,否则无法访问的CDH集群。...2.配置Gateway节点是需要将集群的/usr/java目录下的JDK拷贝至Gateway节点的对应目录下。
1.文档编写目的 ---- HDFS中可以对目录创建Snapshot,创建之后不管后续目录发生什么变化,都可以通过快照找回原来的文件和目录结构,那么在CDH集群中如何使用HDFS的快照功能呢?...本文章主要讲述如何在CDH中使用HDFS的快照功能,包括全量快照和增量快照和恢复。...内容概述 1.启用目录快照功能 2.创建目录快照 3.快照数据恢复 4.总结 测试环境 1.CM和CDH版本为5.11.2 2.操作系统:RedHat7.2 3.采用sudo权限的ec2-user用户操作
写这篇文章的目的是记录下今天办的蠢事,公司业务需求需要扩容集群,新增100多台机器,这批机器之前有装过cdh所以在扩集群之前药清理一些不必要的文件。...4、清理配置文件 这就要说明一下了 基础配置文件路径 [root@whx lib]# pwd /opt/cloudera/parcels/CDH/lib [root@whx lib]# ls avro...zookeeper flume-ng hadoop-mapreduce hue mahout solr zookeeper-native 配置文件路径依赖关系...(以hadoop的配置文件为例,其他通过CDH安装的组件也类似在基础路径(/opt/cloudera/parcels/CDH/lib)下找对应服务的配置文件即可) image.png [root@whx...~]# ll /opt/cloudera/parcels/ total 0 lrwxrwxrwx 1 root root 27 Jul 24 17:50 CDH -> CDH-5.16.2-1.cdh5.16.2
本篇文章Fayson主要介绍如何修改Kerberos环境下的CDH集群的HOSTNAME。修改集群所有主机的hostname的步骤如下: ?...内容概述 1.环境说明及停止集群服务 2.修改集群HOSTNAME及集群服务配置 3.功能验证 测试环境 1.CM和CDH版本为5.12.1 2.采用root用户操作 3.操作系统Redhat7.4 前置条件...5.修改krb5.conf配置文件 ---- 修改了KDC服务所在服务器的HOSTNAME,需要将相应的客户端配置修改/etc/krb5.conf文件,内容如下; [root@cdh01 ~]# vim...9.总结 ---- 修改CDH集群的HOSTNAME,需要注意修改CM节点的HOSTNAME需要将集群所有AGENT节点执行CM的HOSTNAME配置信息更新。...MYSQL服务所在节点的HOSTNAME修改,则需要更新集群所有用到MYSQL服务的配置信息。 修改了Kerberos服务器的HOSTNAME,需要更新krb5.conf配置并同步到集群的所有节点。
本篇文章Fayson主要介绍如何在CDH集群中部署Kafka-Manager并简单的介绍使用。...1.配置Java环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera export PATH=$JAVA_HOME/bin:$PATH export...]# cp kafka-manager-1.3.3.21.zip /opt/cloudera/ [root@cdh01 universal]# cd /opt/cloudera/ [root@cdh01...2.点击Cluster菜单,添加一个Kafka集群 ? 输入Kafka集群的相关信息 ? ? 根据自己当前Kafka集群的环境进行相应的配置,点击“Save”完成集群添加 ?...3.点击“Kafka-CDH”连接,进入Kafka集群的详细界面,下图为Kafka的统计信息 ? 4.Brokers界面,可以看到当前Kafka集群的所有Broker节点及综合指标 ?
Fayson的github:https://github.com/fayson/cdhproject 1.文档编写目的 ---- 在使用CDH集群的过程中,会涉及到修改集群DataNode的HOSTNAME...,在修改HOSTSNAME的时候需要注意什么,如何让新修改HOSTSNAME的CDH集群正常工作?...本篇文章主要介绍如何修改CDH集群DataNode节点的HOSTNAME。...后续Fayson会继续介绍如何修改Cloudera Manager的hostname/ip,KDC的hostname/ip,mysql元数据库的hostname/ip等。...本文的主要流程如下: [e4q1bd45h5.jpeg] 内容概述 1.修改DataNode节点的HOSTNAME 2.修改/etc/hosts配置 3.重启集群 测试环境 1.CM和CDH版本为5.13.0
Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 本篇文章主要介绍如何在CDH集群中配置及部署...Hive2.3.3版本的服务,在配置及部署Hive2服务的同时不停用CDH集群默认的Hive服务。...内容概述 1.环境准备 2.配置及部署Hive2.3.3服务 3.Hive2.3.3服务启动及功能验证 测试环境 1.CM和CDH版本为5.14.3 2.Hive的版本为2.3.3 3.操作系统版本为RedHat7.4.../hive-2.3.3/apache-hive-2.3.3-bin.tar.gz (可左右滑动) 2.将apache-hive-2.3.3-bin.tar.gz包下载至服务器 [root@ip-172-...-2.3.3目录拷贝至集群的其它节点相同的目录下。
1.文档编写目的 ---- 在部署CDH集群或者扩容时,会遇到服务器配置不同(CPU、Memory、DISK等)的情况,那我们应该如何加入异构设备,并进行差异化的配置呢?...本篇文章主要讲述如何使用CM通过角色组对异构设备进行分组并对角色组进行参数配置。...内容概述 1.添加异构设备 2.创建角色组并分配主机 3.配置角色组参数 测试环境 1.CM和CDH版本为5.13.0 前置条件 1.待加入的异构设备操作系统版本与集群中集群的操作系统版本一致 2.待加入的异构设备已完成...CDH前置条件准备 2.添加异构设备 ---- 1.使用CM的“向集群添加新主机”功能,添加异构设备到集群 [uos1v9076s.jpeg] 2.向集群添加新主机(ip-172-31-9-33.fayson.com...[xbh1q6dhdb.jpeg] 点击“编辑单个值”,设置datanode-low配置为8G [dt9yz7izhq.jpeg] 3.3数据均衡操作 ---- 如果有数据节点加入集群,需要对HDFS进行重新平衡操作
本篇文章Fayson主要介绍如何修改CDH集群元数据库IP地址。...前置条件 1.CDH集群正常运行 2.CDSW集群已部署则正常运行 2.切换前准备 1.登录Cloudera Manger,停止CDH集群所有服务 ?...3.登录CM所在服务器,停止cloudera-scm-server服务,命令如下: [root@cdh01 ~]# systemctl stop cloudera-scm-server [root@cdh01...5.修改CDH集群各服务元数据库地址 1.进入Hive配置界面,选择“Hive Metastore数据库”类别,搜索“数据库主机”,将数据库主机修改为新的IP或HOSTNAME ?...4.进入Sentry配置界面,选择“Sentry Server数据库”类别,修改数据库主机为cdh02.fayson.com ? 5.完成以上配置后,回到CM主页重启CDH集群 ? 集群启动成功 ?
Livy并在非Kerberos环境的CDH集群中安装》和《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》,本篇文章主要介绍如何在Kerberos环境的CDH集群中部署...内容概述 1.部署Livy服务 2.修改Livy及Hadoop配置 3.Livy服务启停 4.总结 测试环境 1.CM和CDH版本为5.14.0 2.Livy版本为0.4 前置条件 1.集群已启用Kerberos...2.部署Livy ---- 1.将编译好的Livy包上传至CDH集群的节点 [root@ip-172-31-30-69 cloudera]# scp livy.tar.gz ip-172-31-21-...Kerberos,所以这里需要浏览器访问Kerberos的HTTP做配置,可以参考Fayson前面的文章《Windows Kerberos客户端配置并访问CDH》。...6.总结 Livy部署服务器必须安装Kerberos客户端及部署CDH集群GateWay角色及,具体可以参考《如何给Kerberos环境下的CDH集群添加Gateway节点》 Livy服务集成Kerberos
CPU的情况 top top 命令是监视 Linux 中实时系统进程的基本命令之一,显示系统信息和正在运行的进程信息,如:正常运行时间,平均负载,正在运行的任务,登录的用户数,CPU利用率,MEM利用率,内存和交换信息...2、查看内存总容量 # /proc/meminfo统计的是系统全局的内存使用状况 cat /proc/meminfo # MemTotal: 总的物理内存,需要转换一下 # MemFree: 空闲内存...,表示系统尚未使用的内存 2.1)通过free来显示内存的使用情况 free free -m free -g # 默认不加参数就是以 KB 为单位显示结果, # 可以加-m,显示内存总量,以...MB 为单位显示结果, # 可以加-g,显示内存总量,以 GB 为单位显示结果。
1.文档编写目的 ---- 在前面文章Fayson讲过《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》,那对于部分用户来说,需要将打包好的jar包在CDH集群运行,可以使用hadoop...或java命令向集群提交MR作业,本篇文章基于前面的文章讲述如何将打包好的MapReduce,使用hadoop命令向CDH提交作业。...CentOS6.5 前置条件 1.CDH集群运行正常 2.本地开发环境与集群网络互通且端口放通 2.示例代码 ---- 这里使用的代码是没有加载CDH集群的xml配置的,因为使用hadoop命令提交时会加载集群的配置信息...WordCountMapper和WordCountReducer类具体请参考《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》,或者你在整个github中也能完整看到。...xml配置,将打包好的MR jar包提交到集群使用hadoop命令运行时,代码里面的Configuration在初始化的时候不需要加载xml的配置即可。
领取专属 10元无门槛券
手把手带您无忧上云