前面Fayson有很多篇文章介绍CDH各个版本的安装部署,在安装部署的前置条件中说明需要在统一的操作系统版本进行部署。部分用户早期在RedHat7以下版本部署CDH集群,在后续集群扩容时使用了RedHat7版本的操作系统,对于这种跨操作系统安装部署或扩容CDH集群如何解决?本篇文章Fayson主要介绍如何跨操作系统扩容CDH集群。
Fayson在前面一系列文章中介绍了OpenLDAP的安装及与CDH集群中各个组件的集成,包括《1.如何在RedHat7上安装OpenLDA并配置客户端》、《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》、《3.如何RedHat7上实现OpenLDAP的主主同步》、《4.如何为Hive集成RedHat7的OpenLDAP认证》、《5.如何为Impala集成Redhat7的OpenLDAP认证》、《6.如何为Hue集成RedHat7的OpenLDAP认证》、《7.如何在RedHat7的OpenLDAP中实现将一个用户添加到多个组》、《8.如何使用RedHat7的OpenLDAP和Sentry权限集成》、《9.如何为Navigator集成RedHat7的OpenLDAP认证》、《10.如何在OpenLDAP启用MemberOf》、《11.如何为CDSW集成RedHat7的OpenLDAP认证》、《12.OpenLDAP管理工具Phpldapadmin的安装及使用》和《13.一键添加OpenLDAP用户及Kerberos账号》。本篇文章Fayson主要介绍如何为Cloudera Manager集成OpenLDAP认证。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面的文章Fayson讲了《1.如何在RedHat7上安装OpenLDA并配置客户端》、《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》、《3.如何RedHat7上实现OpenLDAP的主主同步》以及《4.如何为Hive集成RedHat7的O
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 前面Fayson的文章介绍了多篇Redhat7的OpenLDAP的文章具体如下: 《1.如何在RedHat7上安装OpenLDA并配置客户端》 《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》 《3.如何RedHat7上实现OpenLDAP的主
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面的文章Fayson讲了《1.如何在RedHat7上安装OpenLDA并配置客户端》、《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》、《3.如何RedHat7上实现OpenLDAP的主主同步》、《4.如何为Hive集成RedHat7的Op
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面的文章Fayson讲了《1.如何在RedHat7上安装OpenLDA并配置客户端》、《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》、《3.如何RedHat7上实现OpenLDAP的主主同步》、《4.如何为Hive集成RedHat7的
前面Fayson文章讲了《0558-01-如何在Redhat7上安装FreeIPA》、《0559-02-如何在Redhat7上安装FreeIPA的客户端》等,文中也介绍了FreeIPA集成了DNS服务。在安装CDSW服务时则需要为服务器配置泛域名解析,本篇文章主要介绍如何在FreeIPA上添加DNS的泛域名解析。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面的文章Fayson讲了《1.如何在RedHat7上安装OpenLDA并配置客户端》、《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》以及《3.如何RedHat7上实现OpenLDAP的主主同步》,在CDH中各个组件如何集成?本篇文章主要介
Fayson在前面的文章中详细介绍过CDH的升级,参考《如何升级Cloudera Manager和CDH》,对于小版本的滚动升级,也有专门的一篇文章介绍,参考《0284-CDH集群跨多版本滚动升级》。但以前的版本都是基于CDH5,本文主要是描述如何从CDH6.1升级到CDH6.2。
1.Cloudera升级概述 CDP作为一个软件系统,安装成功后主要包含三部分:Cloudera Manager Server,Cloudera Manager Agent以及CDH Parcel,所以CDP的升级也主要是包含这三部分的升级。一般来说是先通过操作系统的Package升级Cloudera Manager,然后通过Parcel升级CDH即可以完成整个集群的升级。CDH和Cloudera Manager不用同时升级,但是需要保证Cloudera Manager和CDH版本的兼容,具体的版本兼容情况
SSH是一种能够以安全的方式提供远程登录的协议,也是目前远程管理Linux系统的首选方式。它是以密文传输来保证安全。一般情况下在装Linux系统的过程中是默认安装的。
下载地址:https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/
条件语句 when 根据不同的系统,安装不同的Apache版本 [student@workstation ansible]$ cat one.yml - hosts: all remote_user: root tasks: - name: 0.clean yum shell: rm -rf /etc/yum.repos.d/* when: ansible_os_family == "RedHat" - name: 1.install ali source get_
在前面的文章《0520-如何使用非root用户启动CM的Server和Agent服务》中,Fayson介绍过在CDH5中,无论是Cloudera Manager Server还是Agent服务都无法配置为其他用户来启停,只能通过root用户来管理。这里假设我们有root用户或者有sudo(ALL)权限的普通用户,但我们依旧不想通过系统自带的system或者systemctl来操作这2个服务,而是直接操作CM Server和Agent的脚本文件。本篇文章Fayson主要说明CDH5和CDH6版本中cloudera-scm-server和cloudera-scm-agent服务停止脚本的变化。
导 读 今天遇到一个很有趣的问题:跑python代码程序,使用python程序开启两个session连接数据库,先在第一个session里面对t表查询,然后到第二个session往t表插入一行记录,并commit了;在第一个session去查t表,发现t表中查不到刚插入的这条记录。而我们拿相同的python代码程序,在另一套环境上,也开启2个session,重复上面的操作,结果居然可以查到记录。开发人员认为,我在session 2上数据都插入进去了,并且提交了,为什么sessioin 1查询不到?并且相同的
本篇文章Fayson主要介绍如何将CDH集群中的KDC服务从RedHat7迁移到RedHat6。
前面Fayson文章讲《0558-01-如何在Redhat7上安装FreeIPA》和《0559-02-如何在Redhat7上安装FreeIPA的客户端》,FreeIPA集成了用户管理及Kerberos认证。如果你忘了FreeIPA管理员密码,可以通过本篇文章的方法重置管理员密码,具体操作如下。
1.文档编写目的 SQL Stream Builder(SSB)是Cloudera提供的基于Flink-SQL的实时流计算Web开发平台,它提供了一个交互式的Flink SQL编辑器,让用户可以方便的使用SQL访问一个source比如Kafka中的数据写入到一个sink比如Hive中,具体可以参考Fayson的上一篇文章《0877-1.6.2-SQL Stream Builder(SSB)概述》。本文主要介绍如何在CDP中安装SSB,SSB与Apache Flink同属于Cloudera Streaming
最近项目上新上了2台时钟设备,需要把网络内的一百多台linux服务器配置NTP服务,实现和时钟设备时间同步,为了避免每台设备挨个配置的麻烦,写了一个python脚本。脚本分3个文件,第一个是python脚本,第二个是主机清单,里面包含IP地址和密码两项,第三个是命令文件,包含从yum安装ntp软件包到配置ntp.conf参数文件到启动NTP服务所要执行的操作语句。执行脚本,调用这个两个文件,网络内的所有服务器NTP安装配置起服务就完成了。事实上这个脚本可以做各种批量操作,只需要改一下命令文件即可,脚本不用做任何更改。
是的,今天就来说一下 ambari-server.log 日志中出现上述错误的原因及解决办法。
Fayson在前面的文章《0558-01-如何在Redhat7上安装FreeIPA》介绍了FreeIPA的安装及使用,本篇文章Fayson主要介绍如何在RedHat7上安装FreeIPA的客户端并配置。
一般而言,一个集群上很少只跑一个业务,大多数情况都是多个业务共享集群,实际上就是共享系统软硬件资源。
前面Fayson文章讲《0558-01-如何在Redhat7上安装FreeIPA》、《0559-02-如何在Redhat7上安装FreeIPA的客户端》、《0560-03-如何使用root用户重置FreeIPA admin密码》、《0561-04-如何将CDH集成的KDC迁移至FreeIPA的Kerberos认证》、《0562-05-5.15.0-如何为Hive集成FreeIPA的用户认证》和《0563-06-如何在FreeIPA上管理域名解析》,FreeIPA集成了用户管理及Kerberos认证,本篇文章Fayson主要介绍如何在CDH集群中为Impala集成FreeIPA的用户认证。
前面Fayson文章讲《0558-01-如何在Redhat7上安装FreeIPA》、《0561-04-如何将CDH集成的KDC迁移至FreeIPA的Kerberos认证》和《0559-02-如何在Redhat7上安装FreeIPA的客户端》,FreeIPA集成了用户管理及Kerberos认证,本篇文章Fayson主要介绍如何在CDH集群中为Hive集成FreeIPA的用户认证。
4、选择安装的系统类型,系统为32位的就选32位的(redhat enterprise linux 7),系统为64位的就安装64位的
前面Fayson介绍了《0558-01-如何在Redhat7上安装FreeIPA》和《0559-02-如何在Redhat7上安装FreeIPA的客户端》,那如何在CDH集群中使用?通过Cloudera Manager可以为我们的CHD集群启用Kerberos认证,在前面的文章《如何为CDH集成Active Directory的Kerberos认证》和《如何在CDH集群启用Kerberos》介绍了集成不同服务的Kerberos认证,本篇文章Fayson主要介绍如何将CDH集成的KDC服务切换至FreeIPA下的Kerberos认证。
YUM(Yellow dog Updater Modified): yum是Redhat系列系统基于RPM包构建的软件更新机制,可以自动解决 rpm 包之间的依赖关系,所有软件包由集中的yum软件仓库提供。其理念是使用一个中心仓库(repository)管理一部分甚至一个distribution的应用程序相互关系,根据计算出来的软件依赖关系进行相关的升级、安装、 删除等操作,减少了Linux用户一直头痛的dependencies的问题。 可以同时配置多个资源库(Repository),简洁的配置文件(/etc/yum.conf),自动解决增加或删除rpm包时遇到的依赖性问题,保持与RPM数据库的一致性。
在前面的文章中Fayson介绍了CDH各个组件与OpenLDAP的集成。本篇文章Fayson主要介绍如何为CDSW1.6集成RedHat7的OpenLDAP并指定的用户组分配访问权限。在CDSW集成OpenLDAP需要启用OpenLDAP的MemberOf,具体步骤请参考《10.如何在OpenLDAP启用MemberOf》。
Cloudera在2019年7月31日,对外宣布正式发布Cloudera Enterprise 6.3,相关介绍可以参考Fayson之前的文章《0682-Cloudera Enterprise 6.3.0发布》,《0717-6.3.0-Cloudera Manager 6.3的新功能》和《0718-6.3.0-CDH6.3的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.3。CDH6与CDH5的安装步骤一致,主要包括以下四部分:
Cloudera在2019年3月30日,对外宣布正式发布Cloudera Enterprise 6.2,相关介绍可以参考Fayson昨天的文章《0585-Cloudera Enterprise 6.2.0发布》,《0589-Cloudera Manager6.2的新功能》和《0595-CDH6.2的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.2。CDH6与CDH5的安装步骤一致,主要包括以下四部分:
Cloudera在前天12月19日,对外宣布正式发布Cloudera Enterprise 6.1,相关介绍可以参考Fayson昨天的文章《0487-CDH6.1的新功能》和《0488-Cloudera Manager6.1的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.1。CDH6与CDH5的安装步骤一致,主要包括以下四部分:
Cloudera在前天8月30日,对外宣布正式发布Cloudera Enterprise 6,相关介绍可以参考Fayson昨天的文章《Cloudera Enterprise 6正式发布》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.0。CDH6与CDH5的安装步骤一致,主要包括以下四部分:
【大数据搭建HDP3.x】Ambari2.7.4+HDP3.1.4离线搭建教程(上)
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- Cloudera在北京时间5月16日,对外宣布发布Cloudera Enterprise 6 Beta,相关介绍可以参考Fayson昨天的文章《Cloudera Enterprise 6 Beta发布》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.0.0-bet
很多朋友工作学习中需要在 Windows 上安装 Linux 系统,最常用的就是使用 VMware Workstation 虚拟机。
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github: https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- Cloudera在2018年1月26日发布了CDH5.14版本,5.14的新功能可以参考前一篇文章《CDH5.14和CM5.14的新功能》,在CDH5.13版本以后支持CDSW的Parcel安装,本篇文章就主要讲述如何通过CM5.14.3使用Parce
在前面Fayson介绍了多篇关于Window Server上安装的Active Directory服务,由于Active Directory服务即提供了统一的用户管理也提供了Kerberos认证服务,在向AD中新增用户的同时也为用户创建了相应的Kerberos账号,那本篇文章Fayson主要介绍,如何在不考虑自定义用户的Kerberos账号的前提下将CDH中集成的RedHat7的Kerberos迁移至AD的Kerberos认证。
虚拟机下载地址:https://www.vmware.com/go/getworkstation-win 。
FreeIPA是一个Linux环境下开源的身份管理系统,它提供了用户管理和身份验证,就跟Fayson前面介绍的Microsoft Active Directory或OpenLDAP。FreeIPA集成了Directory Server、Kerberos、PKI、DNS、Certmonger、NTP Server、WebUI、Trusts、Client等组件,也就是说在Hadoop集群要统一用户管理和安全认证一个它就足够了。本篇文章Fayson主要介绍如何在Redhat7上安装FreeIPA。
ansible是常用的运维工具,可大幅度简化整个部署过程,接下来会使用ansible来完成部署工作,如果您对ansible还不够了解,请参考《ansible2.4安装和体验》,部署操作如下图所示,在一台安装了ansible的电脑上运行脚本,由ansible远程连接到一台CentOS7.7的服务器上,完成部署工作:
CDP DC7.0.3是Cloudera与Hortonworks合并后,第一个融合CDH和HDP所有组件的on-premise版本,CDP Data Center主要由Cloudera Runtime构成,Cloudera Runtime由超过35个开源项目组成,当然CDP Data Center还包括其它功能如管理功能Cloudera Manager,Key Management,专业支持等,如下图所示:
Cloudera在2019年1月29日发布CDSW1.5,CDSW1.5的一个最大的更新就是支持CDH6和HDP,在1.5之前,CDSW是不能安装到CDH6.x的。CDH5.13版本以后支持CDSW的Parcel安装,本篇文章Fayson就主要讲述如何通过CM6.2使用Parcel包安装CDSW1.5。
CDP DC7.1是Cloudera与Hortonworks合并后,第一个融合CDH和HDP所有组件的on-premise并且可用于生产环境的版本,CDP Data Center主要由Cloudera Runtime构成,Cloudera Runtime由超过35个开源项目组成,当然CDP Data Center还包括其它功能如管理功能Cloudera Manager,Key Management,专业支持等,如下图所示:
在使用CDH集群过程中由于角色划分不合理或Zookeeper服务所在节点压力大等问题,需要对Zookeeper服务做迁移等操作。本篇文章Fayson主要介绍如何通过CM来迁移Zookeeper服务。
在企业的生产环境中大多使用了OpenLDAP来进行用户的管理,因此本篇文章主要介绍如何在CDP DC7.0.3集群上为Ranger集成RedHat7的OpenLDAP,集成只针对使用LDAP用户登陆Ranger的Web UI,关于Ranger的安装,请参考之前的文章《0752-7.0.3-如何在CDP DC7.0.3安装Ranger》。
版权声明:本文为博主原创文章,欢迎转载。 https://blog.csdn.net/chengyuqiang/article/details/88966887
除了常见的standalone模式,Flink还支持将任务提交到Yarn环境执行,任务所需的计算资源由Yarn Remource Manager来分配,如下图(来自Flink官网):
Docker在默认安装之后,当需要下载镜像时,通过命令docker pull learn/tutoral拉取示例镜像,或者其他镜像时,都是访问默认的docker hub
MySQL 是一款使用最普遍的关系型数据库管理系统(RDBMS Relational Database Management System) 。
领取专属 10元无门槛券
手把手带您无忧上云