首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

hadoop + ambari群集更改配置

Hadoop是一个开源的分布式计算框架,用于处理大规模数据集的存储和分析。Ambari是Hadoop生态系统中的一个管理工具,用于简化Hadoop集群的部署、管理和监控。

群集更改配置是指在Hadoop集群中修改配置参数,以满足特定需求或优化集群性能。这可以通过Ambari进行操作,以下是完善且全面的答案:

  1. Hadoop集群配置:
    • Hadoop集群由多个节点组成,包括主节点(NameNode)和从节点(DataNode)。主节点负责管理文件系统和任务调度,从节点存储和处理数据。
    • 配置文件位于Hadoop集群的主节点上,包括核心配置文件(core-site.xml)、HDFS配置文件(hdfs-site.xml)、YARN配置文件(yarn-site.xml)等。
  • Ambari的作用:
    • Ambari提供了一个用户友好的Web界面,用于集中管理Hadoop集群的配置、监控和维护。
    • 通过Ambari,管理员可以轻松地添加、删除和管理集群节点,监控集群的健康状况,并对集群进行配置更改。
  • 群集更改配置的步骤:
    • 登录Ambari的Web界面,选择要更改配置的Hadoop集群。
    • 导航到“服务”选项卡,选择要更改配置的服务(如HDFS、YARN等)。
    • 在服务配置页面,可以更改各种配置参数,如副本数量、块大小、内存分配等。
    • 提交更改后,Ambari会自动将新的配置应用到集群中的所有节点,并触发相应的服务重启。
  • Hadoop集群配置的优势:
    • 分布式存储和计算:Hadoop集群可以将大规模数据分散存储在多个节点上,并并行处理数据,提高处理效率。
    • 容错性:Hadoop集群具有高度容错性,即使某个节点发生故障,集群仍然可以继续正常运行。
    • 可扩展性:Hadoop集群可以根据需求进行水平扩展,通过添加更多的节点来处理更大规模的数据。
  • Hadoop集群的应用场景:
    • 大数据处理和分析:Hadoop集群适用于处理大规模的结构化和非结构化数据,如日志分析、数据挖掘和机器学习等。
    • 数据仓库:Hadoop集群可以用作数据仓库,存储和管理企业的大量数据。
    • 实时数据处理:通过与其他工具(如Apache Spark和Apache Flink)结合使用,Hadoop集群可以实现实时数据处理和流式计算。
  • 腾讯云相关产品和产品介绍链接地址:
    • 腾讯云Hadoop产品:https://cloud.tencent.com/product/emr
    • 腾讯云Ambari产品:https://cloud.tencent.com/product/ambari

请注意,以上答案仅供参考,具体的配置和产品推荐可能会因实际情况而有所不同。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • Ambari?自动部署Hadoop集群

    Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等)。它帮助我们更好的去管理Hadoop集群相关的服务,也支持一些扩展,可以让我们去定制一些服务。 你是不是为了配置hadoop集群伤透了脑筋?为了集群添加机器而头痛。如果你遇到了Ambari你就会发现,原来他就是你的救世主。 Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护。 Ambari的详细介绍及相关信息可以浏览下面的网址,虽然他很NB,但是不是我们今天的重点! Ambari——大数据平台的搭建利器

    03

    Ambari + HDP 整体介绍

    Ambari 是 hortonworks推出的管理监控Hadoop集群的Web工具,此处的Hadoop集群不单单指Hadoop集群,而是泛指hadoop 整个生态,包括Hdfs,yarn,Spark,Hive,Hbase,Zookeeper,druid等等,管理指的是可以通过Ambari对整个集群进行动态管理,包括集群的部署,修改,删除,扩展等,监控指Ambari实时监控集群的运行状况,包括运行内存,剩余内存,CPU使用率,节点故障等。所以通过Ambari可以简化对集群的管理和监控,让开发者更多的聚焦与业务逻辑。     Ambari + HDP介绍:         Ambari:WEB应用程序,后台为Ambari Server,负责与HDP部署的集群工作节点进行通讯,集群控制节点包括Hdfs,Spark,Zk,Hive,Hbase等等。         HDP:HDP包中包含了很多常用的工具,比如Hadoop,Hive,Hbase,Spark等         HDP-Util:包含了公共包,比如ZK等一些公共组件。     老的集群部署方式:         1. 集群配置(免密登陆,静态IP,防火墙)         2. JDK,MySql 部署 (Hive相关表结构管理,如果没有用到Hive,无需安装)         3. Hadoop Hdfs 部署(修改配置) (分布式文件存储)         4. Hadoop Yarn 部署(修改配置) (MapReduce 任务调度)         5. (可选) Zookeeper部署,需要修改NameNode 和 ResourceManager 的配置文件         6. Hive 部署 (数据仓库,对Hdfs上保存的数据进行映射管理)         7. HBase 部署 (NoSQL数据库,进行数据存储)         8. (可选) Flume,Sqoop 部署(主要用于数据采集,数据迁移)         9. Spark 部署 (计算框架部署)         10. 后面还需要部署 监控框架等等,         部署准备:MySql,JDK,Hadoop,Hive,HBase,Zookeeper,Spark,Flume,Sqoop等         部署缺点:以上全部部署都是通过命令行来部署,麻烦复杂,容易出错,动态扩展较难,无集群监控    部署优点:整体可控,对集群内部运行逻辑比较清楚,只部署需要的服务,所以对集群要求(内存,CPU及硬盘) 可以不是很高     Ambari 集群部署方式:         1. 集群配置(免密登陆,静态IP,防火墙)         2. JDK,MySql 部署 (需要配置Ambari,Hive,Hbase等多张表)         3. 部署Ambari 服务         4. 通过Ambari Web工具 部署Hdfs,Spark,Hive,Zk,Hbase,Flume等,想怎么部署就怎么部署,鼠标选择服务和需要部署的节点即可         5. 通过Ambari Web工具进行集群监控,并且对警告及错误进行处理         部署准备:MySql,JDK,Ambari,HDP,HDP-Util,和上面老的部署方式相比,是不是少了很多    部署注意事项:通过Ambari部署集群对集群节点机器要求比较高,因为有好多关于AmbariServer服务会部署在同一个管理节点上,同时其他集群节点也会同时部署很多其他服务,这对节点的配置(CPU,内存,硬盘)要求比较高,可能运行不起来。         部署优点:部署简单,一键部署,方便监控,方便扩展,多集群同时管理     Ambari 部署步骤:         1. 单节点:Ntp,java,selinux,hosts,hostname,ip         2. 克隆节点,修改ip及hostname         3. 安装mysql,配置免密登陆         4. 安装httpd,配置本地ambari+HDP 的yum源         5. Ambari Server安装及初始化         6. Ambari Server 通过向导安装集群         7. Ambari 使用介绍         8. Hdfs HA的高可用         9. 接下来就可以根据我们的需求使用集群了,这部分后面会有专门章节针对Hadoop MR 和Spark进行详细解读。

    01

    Ambari安装指南 顶

    Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是 2.1.2. 就 Ambari 的作用来说,就是创建,管理,监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop. 用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具. 说到这里,大家就应该明白什么人最需要 Ambari 了.那些苦苦花费好几天去安装,调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的. 而且,Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署. Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent.简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件; Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护.

    03

    ambari安装指南

    (一)准备工作 1、准备几台机器 10.1.51.100 ambariserver 本地mirrorserver及ambari server都在这一台机器 10.1.51.10 master 10.1.51.11 slave1 10.1.51.12 slave2 2、都创建管理用户hadoop 3、做ssh免密码登录(ambariserver到其他机器的,hadoop用户) ssh-keygen cd .ssh cat id_rsa.pub >> authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys 注意,免密码一定要互相登陆一次,让他记住密码 4、设置sudo免密码(hadoop用户)---后续所有操作都在hadoop用户下去做 在各节点上进入root: visudo 加入如下内容: hadoop ALL=(ALL) NOPASSWD: ALL 5、Maximum Open File Descriptors(10000) 检查语句 ulimit -Sn ulimit -Hn sudo vi /etc/security/limits.conf @hadoop soft nproc 262144 @hadoop hard nproc 262144 @hadoop soft nofile 262144 @hadoop hard nofile 262144 sudo vi /etc/security/limits.d/90-nproc.conf @hadoop soft nproc 262144 以上改动重启才能生效,最好同时执行ulimit -u 10240 命令,是其立即生效。(ulimit 命令很多啊) 6、Check Existing Package Versions 7、Set up Service User Accounts(设置服务用户账户) http://docs.hortonworks.com/HDPDocuments/Ambari-2.0.0.0/Ambari_Doc_Suite/ADS_v200.html#ref-70627b43-7d78-4cbb-8df8-e3f43cbd8422 hdp的各个服务运行在不同的linux账户下,如果你创建了这些账户,ambari就会直接用,否则他会自动创建,但是自动创建的用户不知道密码是什么,但是还是可以 sudo su hdfs进入到这些用户下,不过这样就不方便了。 比较好的办法是自己创建的账户,使用ambari安装组件时选择自定义账户即可(UID >= 1000)。 8、Enable NTP on the Cluster and on the Browser Host 集群各节点,包括安装ambari webui的机器都得开启ntp服务已同步时间,如果有条件,局域网应该有ntp服务器 To check that the NTP service is on, run the following command on each host:chkconfig --list ntpd To set the NTP service to start on reboot, run the following command on each host:chkconfig ntpd on To turn on the NTP service, run the following command on each host:service ntpd start 9、Check DNS(可以选择10) 集群所有机器必须配置正向和反向DNS,如果条件不允许,就设置/etc/hosts文件,每个节点都得改 10、/etc/hosts 1.2.3.4 <fully.qualified.domain.name> //一行一个 注意:这两行千万不要删除 127.0.0.1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6 vi /etc/sysconfig/network NETWORKING=yesNETWORKING_IPV6=yes HOSTNAME=<fully.qualified.domain.name> 11、关闭防火墙 12、Disable SELinux and PackageKit and check the umask Value set SELINUX=disabled in /etc/selinux/config sudo vi /etc/yum/pluginconf.d/refresh-packagekit.conf 设置:enabled=0 Ambari supports a umask value

    08

    CM+CDH 整体介绍

    大数据平台的开发环境搭建,我们前面已经说过了,需要搭建Hdfs,Yarn,Spark,HBase,Hive,ZK等等,在开发环境下搭建是用于开发测试的,全部部署在VM 虚拟机里面,小数据量小运算量还可以,数据量运算量一旦上来,虚拟机是玩不转的,这就牵涉到生产环境的Hadoop的生态搭建,难道也需要我们一步一步来搭建吗? 几台还可以,那么上百台呢? 难道也需要一台台搭建吗? 显然不可以,有没有什么好的Hadoop生态的搭建工具呢? 国外有俩家企业做了这些事,hortonworks公司推出的Ambari+HDP套件 和 Cloudrea公司推出的 CM+CDH 套件,不过这俩家公司 18年底合并了,不过这并不影响我们的使用。 2. CM+CDH介绍     CM是Cloudrea Manager的简称,是Cloudrea 提供的生产环境的Hadoop 生态部署工具,工具套件为CM+CDH,CM负责监控动态管理及部署Hadoop生态服务,CDH里面包含了绝大多数的Hadoop生态中的服务,包含Hdfs,Yarn,ZK,Hive,Hbase,Flume,Sqoop,Spark等。整体上与前面说所得Ambari + HDP类似。     CM+CDH有免费版和收费版,收费版当然功能更加强悍,比如支持回滚,滚动升级,支持Kerberos,SAML/LDAP支持,SNMP支持,自动化备份和灾难恢复,不过在我们看来,免费版已经够我们使用了。     这里简单和Ambari + HDP对已一下,CDH在部署Hadoop生态上,整体与HDP类似,通过WEB端动态部署Hadoop生态,     Name              Web        Server        Tools     hortonworks    Ambari    HDP            HDP-Util     Cloudrea         CM          CDH            CDH-Util     CM+CDH套件组成         CM:WEB应用程序,后台为Ambari Server,负责与HDP部署的集群工作节点进行通讯,集群控制节点包括Hdfs,Spark,Zk,Hive,Hbase等等。         CDH:HDP包中包含了很多常用的工具,比如Hadoop,Hive,Hbase,Spark等         CDH-Util:包含了公共包,比如ZK等一些公共组件。 3. CM+CDH 部署

    01
    领券