1.文档编写目的 ---- 本文主要讲述如何为CDH集群配置机架感知，通过配置机架感知，提高CDH集群的运行效率。...生产环境的CDH集群通常包含数量庞大的服务器，由于受到机架槽位和交换机网口的限制，通常大型的分布式CDH集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。...Hadoop作为典型的大数据处理平台，为充分发挥数据本地性的优势，避免数据跨网络传输，优化集群网络带宽资源，最大程度发挥Hadoop的性能，通常会为Hadoop集群配置机架感知，要为Hadoop集群配置机架感知...J5/J6的服务器与K10/K11的服务器可以理解为同一个机柜，他们接入相同的，位于K10/K11堆叠网络设备。bigdata[34-60]加入了集群，但未启动角色实例。...集群已启动的节点机架信息与脚本配置一致。
显示器1台 键盘鼠标1套 网线5条 接线板1个 2、服务器硬件配置 内存：16G CPU：4核 硬盘：500Gb 网卡：千兆网卡1个 USB接口：可使用 3、操作系统 1台Windows 10 3台Linux...ssh-copy-id cdh2 ssh-copy-id cdh3 #验证,在任意机器上对集群其他节点进行进行ssh登陆 ssh cdh2/cdh3 禁用透明大页面（所有节点） 内存管理相关配置 cat...（root用户） 配置与时间服务器10分钟同步一次，编写定时任务 crontab -e */10 * * * * /usr/sbin/ntpdate cdh1 crontab -l 在时间服务器cdh1...大数据服务器集群配置 2、群集名称，可随便写 3、扫描主机，输入主机名称点击搜索（cdh1,cdh2,cdh3） 4、选择存储库 自定义存储库：http://cdh1/cloudera-repos/cm6...2、自定义角色分配 具体角色配置可查看CM 3、数据库配置 选择各个数据库，用户名，密码，并进行测试 审核更改，默认设置（配置各个参数），命令详细信息 如果集群资源不够，可以先申请一个集群，然后依次添加服务
CDH集群启用Kerberos，在集群启用Kerberos后，会对现有环境的部分代码做改造，有些人觉得使用起来不方便，想取消Kerberos。...本篇文章Fayson主要介绍如何禁用CDH集群的Kerberos及禁用后对各组件服务的测试。...2.集群环境介绍 ---- 1.CDH集群已启用Kerberos ?...2.禁用前集群HDFS信息 ? 3.禁用Kerberos ---- 1.通过CM停止CDH集群的所有服务 ? 服务停止成功 ? ?...3.启动集群剩余服务 ? 服务启动中 ? 服务启动中 ? 服务启动成功 ? ? 4.部署客户端配置 ? ? 点击“部署客户端配置”，如下部署成功 ? 集群各个服务状态正常 ?
CDH集群外配置非Kerberos环境的Gateway节点》，本篇文章主要介绍如何在CDH集群外配置Kerberos环境的Gateway节点。...将集群KDC服务器上的/etc/krb5.conf文件拷贝至（cdh05.fayson.com）节点的/etc目录下 [root@cdh01 ~]# scp /etc/krb5.conf cdh05.fayson.com...5.登录(cdh05.fayson.com)节点的服务器上，创建/opt/cloudera/parcels目录，并将cdh.tar.gz解压至该目录下 [root@cdh05 ~]# mkdir -p...5.总结 ---- 1.在集群外节点配置Gateway节点时，如果是Kerberos集群则需要为该节点安装Kerberos客户，并将krb5.conf文件拷贝至该节点的/etc目录下 2.配置Gateway...节点时需要将各服务的客户端配置文件拷贝至Gateway节点的对应目录下，默认为/etc/{servicename}/conf目录，否则无法访问的CDH集群。
1.文档编写目的 ---- 本文档讲述如何在CDH集群启用及配置Kerberos，您将学习到以下知识： 1.如何安装及配置KDC服务 2.如何通过CDH启用Kerberos 3.如何登录Kerberos...并访问Hadoop相关服务 文档主要分为以下几步： 1.安装及配置KDC服务 2.CDH集群启用Kerberos 3.Kerberos使用 这篇文档将重点介绍如何在CDH集群启用及配置Kerberos，...并基于以下假设： 1.CDH集群运行正常 2.集群未启用Kerberos 3.MySQL 5.1.73 以下是本次测试环境，但不是本操作手册的必需环境： 1.操作系统：CentOS 6.5 2.CDH和...CM版本为5.12.0 3.采用root用户进行操作 2.KDC服务安装及配置 ---- 本文档中将KDC服务安装在Cloudera Manager Server所在服务器上（KDC服务可根据自己需要安装在其他服务器...4.点击“继续”，配置相关的KDC信息，包括类型、KDC服务器、KDC Realm、加密类型以及待创建的Service Principal（hdfs，yarn,，hbase，hive等）的更新生命期等
本篇文章Fayson主要介绍如何在CDH集群部署Presto并与Hive集成。...配置说明： node.environment：集群名称。所有在同一个集群中的Presto节点必须拥有相同的集群名称。 node.id：每个Presto节点的唯一标示。...在大型集群中，处于性能考虑，建议单独用一台服务器作为Coordinator。...4.将准备好的配置文件分发 ---- 1.在Presto集群所有节点创建/opt/cloudera/pracles/presto/etc目录 [root@cdh01 shell]# sh ssh_do_all.sh...3.将jvm.config和log.properties配置文件拷贝至Presto集群所有节点 [root@cdh01 shell]# sh bk_cp.sh node.list /root/presto-etc
如果你使用的是Apache Hadoop，你只需要将hadoop相关服务的配置和脚本命令拷贝到客户端机器即可，但一旦集群的配置有所修改，你需要注意也同步到客户端机器。...如果是CDH集群，客户端节点也会是Cloudera Manager管理的一台机器，它会被安装cloudera-scm-agent服务，以及CDH的Parcel，部署客户端配置Cloudera Manager...增加一台Gateway节点，与安装CDH非常类似，你必须要注意一定要做好客户端机器的前置条件准备，参考《CDH安装前置准备》，否则会增加失败。本文主要描述如何给CDH集群增加Gateway节点。...内容概述 1.创建Gateway节点的主机模板 2.Gateway节点的前置准备 3.增加Gateway节点到集群并应用主机模板 测试环境 1.CDH5.13 2.采用root用户操作 3.CentOS6.5...前置条件 1.CDH5.13集群运行正常 2.Gateway节点已准备 2.创建Gateway节点的主机模板 ---- 1.从Cloudera Manager进入“主机模板”页面 [8vvlacfuvs.jpeg
Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在CDH集群中使用多个IP地址来管理集群...在部署集群是由于错将管理网段作为集群的内网，所以这里需要修改集群CDH集群IP地址至内网网段，本篇文章主要介绍如何修改CDH集群的IP地址。...内容概述 1.环境说明 2.修改集群hosts文件及重启相应服务 3.修改Kafka和Flume配置 测试环境 1.CM和CDH版本为5.13.0 2.采用root用户操作 3.操作系统RedHat7.2...[53ahe8jcjj.jpeg] 重启完成后集群正常 [kpyapkisic.jpeg] 3.查看集群列表主机列表IP地址是否已修改 [279g52dfcu.jpeg] 5.修改Kafka配置 ---...1.进入Kafka服务的每个Broker实例，修改advertised.host.name属性为该实例所在服务器的外部IP地址 [rbkybixlxt.jpeg] 2.在每个Kafka Broker实例的服务启动参数中增加高级配置
Hadoop命令访问集群（如：hdfs、hbase、hive、spark、yarn）等命令操作，这时又不想将该节点添加到CDH集群中管理，本篇文章主要介绍如何在集群外节点不通过CM部署一个Gateway...4.登录(cdh05.fayson.com)节点的服务器上，创建/opt/cloudera/parcels目录，并将cdh.tar.gz解压至该目录下 [root@cdh05 ~]# mkdir -p...（可左右滑动） 登录CDH集群拥有spark、hadoop、hbase、hive等Gateway节点上将/etc/*/conf目录下的配置文件拷贝至（cdh05.fayson.com）节点相应目录下 scp...5.总结 ---- 1.配置Gateway节点时需要将各服务的客户端配置文件拷贝至Gateway节点的对应目录下，默认为/etc/{servicename}/conf目录，否则无法访问的CDH集群。...2.配置Gateway节点是需要将集群的/usr/java目录下的JDK拷贝至Gateway节点的对应目录下。
1.文档编写目的 ---- HDFS中可以对目录创建Snapshot，创建之后不管后续目录发生什么变化，都可以通过快照找回原来的文件和目录结构，那么在CDH集群中如何使用HDFS的快照功能呢？...本文章主要讲述如何在CDH中使用HDFS的快照功能，包括全量快照和增量快照和恢复。...内容概述 1.启用目录快照功能 2.创建目录快照 3.快照数据恢复 4.总结 测试环境 1.CM和CDH版本为5.11.2 2.操作系统：RedHat7.2 3.采用sudo权限的ec2-user用户操作
写这篇文章的目的是记录下今天办的蠢事，公司业务需求需要扩容集群，新增100多台机器，这批机器之前有装过cdh所以在扩集群之前药清理一些不必要的文件。...4、清理配置文件 这就要说明一下了 基础配置文件路径 [root@whx lib]# pwd /opt/cloudera/parcels/CDH/lib [root@whx lib]# ls avro...zookeeper flume-ng hadoop-mapreduce hue mahout solr zookeeper-native 配置文件路径依赖关系...（以hadoop的配置文件为例，其他通过CDH安装的组件也类似在基础路径（/opt/cloudera/parcels/CDH/lib）下找对应服务的配置文件即可） image.png [root@whx...~]# ll /opt/cloudera/parcels/ total 0 lrwxrwxrwx 1 root root 27 Jul 24 17:50 CDH -> CDH-5.16.2-1.cdh5.16.2
本篇文章Fayson主要介绍如何修改Kerberos环境下的CDH集群的HOSTNAME。修改集群所有主机的hostname的步骤如下： ?...内容概述 1.环境说明及停止集群服务 2.修改集群HOSTNAME及集群服务配置 3.功能验证 测试环境 1.CM和CDH版本为5.12.1 2.采用root用户操作 3.操作系统Redhat7.4 前置条件...5.修改krb5.conf配置文件 ---- 修改了KDC服务所在服务器的HOSTNAME，需要将相应的客户端配置修改/etc/krb5.conf文件，内容如下； [root@cdh01 ~]# vim...9.总结 ---- 修改CDH集群的HOSTNAME，需要注意修改CM节点的HOSTNAME需要将集群所有AGENT节点执行CM的HOSTNAME配置信息更新。...MYSQL服务所在节点的HOSTNAME修改，则需要更新集群所有用到MYSQL服务的配置信息。 修改了Kerberos服务器的HOSTNAME，需要更新krb5.conf配置并同步到集群的所有节点。
本篇文章Fayson主要介绍如何在CDH集群中部署Kafka-Manager并简单的介绍使用。...1.配置Java环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera export PATH=$JAVA_HOME/bin:$PATH export...]# cp kafka-manager-1.3.3.21.zip /opt/cloudera/ [root@cdh01 universal]# cd /opt/cloudera/ [root@cdh01...2.点击Cluster菜单，添加一个Kafka集群 ? 输入Kafka集群的相关信息 ? ? 根据自己当前Kafka集群的环境进行相应的配置，点击“Save”完成集群添加 ?...3.点击“Kafka-CDH”连接，进入Kafka集群的详细界面，下图为Kafka的统计信息 ? 4.Brokers界面，可以看到当前Kafka集群的所有Broker节点及综合指标 ?
Fayson的github：https://github.com/fayson/cdhproject 1.文档编写目的 ---- 在使用CDH集群的过程中，会涉及到修改集群DataNode的HOSTNAME...，在修改HOSTSNAME的时候需要注意什么，如何让新修改HOSTSNAME的CDH集群正常工作？...本篇文章主要介绍如何修改CDH集群DataNode节点的HOSTNAME。...后续Fayson会继续介绍如何修改Cloudera Manager的hostname/ip，KDC的hostname/ip，mysql元数据库的hostname/ip等。...本文的主要流程如下： [e4q1bd45h5.jpeg] 内容概述 1.修改DataNode节点的HOSTNAME 2.修改/etc/hosts配置 3.重启集群 测试环境 1.CM和CDH版本为5.13.0
Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 本篇文章主要介绍如何在CDH集群中配置及部署...Hive2.3.3版本的服务，在配置及部署Hive2服务的同时不停用CDH集群默认的Hive服务。...内容概述 1.环境准备 2.配置及部署Hive2.3.3服务 3.Hive2.3.3服务启动及功能验证 测试环境 1.CM和CDH版本为5.14.3 2.Hive的版本为2.3.3 3.操作系统版本为RedHat7.4.../hive-2.3.3/apache-hive-2.3.3-bin.tar.gz （可左右滑动） 2.将apache-hive-2.3.3-bin.tar.gz包下载至服务器 [root@ip-172-...-2.3.3目录拷贝至集群的其它节点相同的目录下。
1.文档编写目的 ---- 在部署CDH集群或者扩容时，会遇到服务器配置不同（CPU、Memory、DISK等）的情况，那我们应该如何加入异构设备，并进行差异化的配置呢？...本篇文章主要讲述如何使用CM通过角色组对异构设备进行分组并对角色组进行参数配置。...内容概述 1.添加异构设备 2.创建角色组并分配主机 3.配置角色组参数 测试环境 1.CM和CDH版本为5.13.0 前置条件 1.待加入的异构设备操作系统版本与集群中集群的操作系统版本一致 2.待加入的异构设备已完成...CDH前置条件准备 2.添加异构设备 ---- 1.使用CM的“向集群添加新主机”功能，添加异构设备到集群 [uos1v9076s.jpeg] 2.向集群添加新主机（ip-172-31-9-33.fayson.com...[xbh1q6dhdb.jpeg] 点击“编辑单个值”，设置datanode-low配置为8G [dt9yz7izhq.jpeg] 3.3数据均衡操作 ---- 如果有数据节点加入集群，需要对HDFS进行重新平衡操作
本篇文章Fayson主要介绍如何修改CDH集群元数据库IP地址。...前置条件 1.CDH集群正常运行 2.CDSW集群已部署则正常运行 2.切换前准备 1.登录Cloudera Manger，停止CDH集群所有服务 ?...3.登录CM所在服务器，停止cloudera-scm-server服务，命令如下： [root@cdh01 ~]# systemctl stop cloudera-scm-server [root@cdh01...5.修改CDH集群各服务元数据库地址 1.进入Hive配置界面，选择“Hive Metastore数据库”类别，搜索“数据库主机”，将数据库主机修改为新的IP或HOSTNAME ?...4.进入Sentry配置界面，选择“Sentry Server数据库”类别，修改数据库主机为cdh02.fayson.com ? 5.完成以上配置后，回到CM主页重启CDH集群 ? 集群启动成功 ?
Livy并在非Kerberos环境的CDH集群中安装》和《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》，本篇文章主要介绍如何在Kerberos环境的CDH集群中部署...内容概述 1.部署Livy服务 2.修改Livy及Hadoop配置 3.Livy服务启停 4.总结 测试环境 1.CM和CDH版本为5.14.0 2.Livy版本为0.4 前置条件 1.集群已启用Kerberos...2.部署Livy ---- 1.将编译好的Livy包上传至CDH集群的节点 [root@ip-172-31-30-69 cloudera]# scp livy.tar.gz ip-172-31-21-...Kerberos，所以这里需要浏览器访问Kerberos的HTTP做配置，可以参考Fayson前面的文章《Windows Kerberos客户端配置并访问CDH》。...6.总结 Livy部署服务器必须安装Kerberos客户端及部署CDH集群GateWay角色及，具体可以参考《如何给Kerberos环境下的CDH集群添加Gateway节点》 Livy服务集成Kerberos
CPU的情况 top top 命令是监视 Linux 中实时系统进程的基本命令之一，显示系统信息和正在运行的进程信息，如：正常运行时间，平均负载，正在运行的任务，登录的用户数，CPU利用率，MEM利用率，内存和交换信息...2、查看内存总容量 # /proc/meminfo统计的是系统全局的内存使用状况 cat /proc/meminfo # MemTotal: 总的物理内存，需要转换一下 # MemFree: 空闲内存...，表示系统尚未使用的内存 2.1）通过free来显示内存的使用情况 free free -m free -g # 默认不加参数就是以 KB 为单位显示结果， # 可以加-m，显示内存总量，以...MB 为单位显示结果， # 可以加-g，显示内存总量，以 GB 为单位显示结果。
1.文档编写目的 ---- 在前面文章Fayson讲过《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》，那对于部分用户来说，需要将打包好的jar包在CDH集群运行，可以使用hadoop...或java命令向集群提交MR作业，本篇文章基于前面的文章讲述如何将打包好的MapReduce，使用hadoop命令向CDH提交作业。...CentOS6.5 前置条件 1.CDH集群运行正常 2.本地开发环境与集群网络互通且端口放通 2.示例代码 ---- 这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop命令提交时会加载集群的配置信息...WordCountMapper和WordCountReducer类具体请参考《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》，或者你在整个github中也能完整看到。...xml配置，将打包好的MR jar包提交到集群使用hadoop命令运行时，代码里面的Configuration在初始化的时候不需要加载xml的配置即可。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
