ambari hadoop - 腾讯云开发者社区

文章/答案/技术大牛

发布

Ambari？自动部署Hadoop集群

Ambari Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。...就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper...如果你遇到了Ambari你就会发现，原来他就是你的救世主。 Ambari 自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 Ambari Agent。...简单来说，用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件；Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server，最终这些状态信息会呈现在...我司项目都是直接下载的apache开源的hadoop相关源码，部分软件进行了自己的修改重新编译的。这是其一。其二就是ambari需要从repo源。

1.4K3 0

使用Ambari安装hadoop集群

最近需要做些spark的工作，所以弄了几台dell7500就这么准备开始搭建集群，之前用过几台更破的台式机搭建过一次，折腾了半个月之久，终于成功搭建，这次不想走老路，所以网上查了一下，发现一个神器AMBARI...，可以部署、管理集群，果然是个好东西，所以就拿来用，但是在安装的过程中碰到了许许多多的问题，所以现在把安装过程总结一下，放到这里，以方便下次安装或者其他有对ambari感兴趣的同学可以参考之。 ...安装过程大量查阅了网上的相关资料，主要是https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from+Public...安装集群主要分以下几步： 1、安装ambari（参考https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from...B9733A7A07513CAD sudo apt-get update sudo apt-get install ambari-server sudo ambari-server setup sudo

1.6K6 0

您找到你想要的搜索结果了吗？

是的

没有找到

通过ambari安装hadoop集群（二）

注意：ambari-server和ambari-agent不会开机启动，ambari-server是通过ambari-agent来控制每一台机器的，每次重启都需要手动开启。没关系，很简单！...chkconfig --add ambari-agent

1.2K6 0

通过ambari安装hadoop集群（一）

/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 [ambari-1.2.5.17] name=ambari-1.2.5.17...* * * /usr/sbin/ntpdate us.pool.ntp.org | logger -t NTP (5)修改/etc/hosts文件，所有机器，设置如下: 192.168.1.133 hadoop.Master...192.168.1.134 hadoop.SlaveT1 192.168.1.135 hadoop.SlaveT2 4.修改配置文件,所有机器 yum install yum-plugin-priorities...比如我的hadoop.SlaveT1上面挂了hive服务，mysql也在它上面就会连接不上还需要运行以下命令 grant all on hive.* TO 'hive'@'hadoop.SlaveT1...ambari-server setup 我的ambari数据库账号密码全是ambari 安装完毕之后启动ambari服务 ambari-server start 登陆ambari，账号密码都是admin

1.3K9 0

Hadoop集群监控工具Ambari安装

Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。...Ambari支持管理的服务有： Apache HBase Apache HCatalog Apache Hadoop HDFS Apache Hive Apache Hadoop MapReduce... Apache Oozie Apache Pig Apache Sqoop Apache Templeton Apache Zookeeper ambari可以使安装hadoop集群，管理hadoop...安装ambari前需要做的步骤将需要安装的hadoop集群按照namenode,datanode进行划分，namenode节点作为ambari master节点，其他节点作为ambari slave.../hmc/html/ 地址开始安装hadoop 集群安装集群需要ambari master 节点中root 用户的SSH Private Key File ，路径在/root/.ssh/id_rsa

1.2K1 0

Ambari+HDP 部署Hadoop 集群

/ambari/centos7/2.x/updates/2.6.0.0/ambari.repo 3....- ambari-2.6.0.0 baseurl=http://192.168.200.10/ambari/ambari/centos7/2.6.0.0-267 gpgcheck=0 gpgkey=http...y 输入ambari-server账号，输入：ambari（ambari主机上创建的用户） Enter user account for ambari-server...启动Ambari服务前，需要将Ambari的sql脚本导入数据库用Ambari用户（上面设置的用户，无密码）登录mysql mysql -u ambari -p use...ambari source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql 启动Ambari

1.1K1 0

【流水】使用Ambari搭建Hadoop平台

手动安装Hadoop的朋友都知道，这是一个痛苦的过程。一天时间，你能够把上千台机器全部安装完成么？包括Hive、Spark、Hbase等。...这当然要借助工具，国内用户安装Hadoop套件，习惯使用CM安装CDH，但这次，我们想尝试一下Hortonworks的Ambari来安装HDP。由于没有免费版收费版的区别，整个使用过程是非常流畅的。...http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.1.0/ambari.repo http://public-repo...ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql 安装jdbc驱动（驱动提前下载到/usr/share/java) ambari-server...ambari-server start 在线配置访问http://ip:8080端口，即可进入ambari后台给集群起个名字 ?

1.8K2 0

Hadoop集群监控工具Ambari安装

Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。...Ambari支持管理的服务有： Apache HBase Apache HCatalog Apache Hadoop HDFS Apache Hive Apache Hadoop MapReduce Apache...Oozie Apache Pig Apache Sqoop Apache Templeton Apache Zookeeper ambari可以使安装hadoop集群，管理hadoop集群服务，监控集群都很容易...安装ambari前需要做的步骤将需要安装的hadoop集群按照namenode,datanode进行划分，namenode节点作为ambari master节点，其他节点作为ambari slave。.../hmc/html/ 地址开始安装hadoop 集群安装集群需要ambari master 节点中root 用户的SSH Private Key File ，路径在/root/.ssh/id_rsa

1.2K2 0

Ambari2.6安装部署Hadoop2.7

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。...之所以选择Ambari部署hadoop而不是CDH，是因为CDH最新版本只支持Hadoop2.6.X，Ambari最新版本支持Hadoop2.7.3。...、selinux 3、安装ambari-server 4、设置ambari-server 5、图形界面部署hadoop各组件 ?.../releases/download/v1.2/ambari-presto-1.2.tar.gz [root@prod-hadoop-master-01 ~]# tar zxvf ambari-presto...-1.2/README.md ambari-presto-1.2/metainfo.xml ambari-presto-1.2/requirements.txt [root@prod-hadoop-master

1.7K2 0

CentOS 6.5下使用Ambari安装Hadoop集群

上篇讲了CentOS 6.5下安装Ambari的过程（见 http://www.linuxidc.com/Linux/2014-12/110823.htm ），本人将安装Ambari的主机名改为ambari...输入网址ambari：8080，这里ambari是lz的主机名，各位改成自己的即可。进入登录界面，默认用户名和密码均为admin，可以在系统里进行修改，安装ambari的过程中也有提示。...2.进入系统后给集群取名，选择要安装的ambari版本和使用的系统平台。这里lz使用1.3.3，CentOS6。...Ambari自动在目标节点安装Ambari agent，然后进行注册，这里可能比较慢，而且会出错，多试几次就好了，若一直出错，就要查看出错原因了。 5....2.0以下版本中的选项和途中稍有不同，其中YARN是Hadoop2.0中才有的，但即便如此，还是不推荐选择2.0版本），但HDFS，MapReduce，Nagios和Ganglia必选，后两项用于监控

7142 0

Ambari在离线环境中安装Hadoop集群顶

(WJW)Ambari在离线环境中安装Hadoop集群如果手工安装Hadoop集群,在管理和后继部署中，越来越多的问题不断出现，主要如下：各集群节点的配置同步新应用的部署：比如为集群添加...就 Ambari 的作用来说,就是创建,管理,监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper...用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具....说到这里,大家就应该明白什么人最需要 Ambari 了.那些苦苦花费好几天去安装,调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的....生产中的hadoop集群机器都很多,而且基本都不允许连接公网,为方便快速部署,非常有必要建立一个本地Repository,使Ambari在离线环境中安装Hadoop集群!

2K5 0

Ambari方式安装Hadoop的Hive组件遇到的问题

最近在部署Hadoop，我发现了ambari工具部署hadoop的hive 组件的一个问题，不知道其他人遇到过没有。问题描述：通过ambari工具搭建了hadoop2.0完全分布式集群。...mysql> 于是检查hive的配置，在ambari管理页面，如下，hive的配置项中输入了正确的密码。重启hive服务后测试依然会报错。...SLF4J: Found binding in [jar:file:/usr/lib/hadoop/lib/slf4j-log4j12-1.7.5.jar!...hdfs://hda1.yc.com:8020/apps/hive/warehouse 但是在通过ambari管理界面重启hive服务后又会重新自动给你去掉了。...不知道这是我哪里的配置不对还是ambari的bug问题。

1.2K2 0

RHEL6.5上使用Ambari快速搭建Hadoop集群

RHEL6.5上使用Ambari快速搭建Hadoop集群 ip hostname 10.7.1.1 master.coke 10.7.1.2 dn1.coke 10.7.1.3 dn2.coke...ssh master.coke 生成pub key 作为中控机，添加到每台机器包括master.coke 的 /root/.ssh/authorized_keys 2,hostname 对照表格更改hadoop.../ambari/CentOS6/1.x/updates/1.7.0/ambari.repo yum install ambari-server yum install MySQL-server mysql...提前建立库和授权 mysql>grant all on ambari.* to ‘ambari’@’localhost‘ identified by “175an.com”; mysql> flush...导入数据库 mysql ambari -u175an -p ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql grant

7232 0

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5）

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5） 1.0 监控ResourceManager进程Java虚拟机中堆空间的特定部分。...Apache Ambari集中式的管理一个Hadoop集群，使用Ambari，管理员可以配置集群的服务，监控服务节点的状态，利用服务的监控指标实现热点可视化，开启或暂停服务，以及向集群添加新节点。

1.6K7 0

Ambari安装Hadoop3遇到的一些新坑

Ambari安装Hadoop3遇到的一些新坑以前使用HDP安装Hadoop集群安装了很多遍，本以为整个过程早已经烂熟于心，没想到这次安装过程还是遇到了新的坑，这里记录一下，分享给读者，以便不时之需。...Ambari自动生成的repo里源的url地址为空表现出的现象为Ambari到了安装组件那一步一直过不去，前台报错日志提示ambari和hdp的repo url都为null，无有效的repo，图忘记截了...造成这个现象的原因可能是但是建ambari数据库的时候权限没有赋对，导致ambari用户没有权限往数据库里面写内容。 2....现在ambari停留在开启NN HA的界面，无法从前台去启停服务。...启动namenode提示：WARN org.apache.hadoop.hdfs.server.common.Util: Path /data01/hadoop/namenode should be specified

1.3K1 0

Ambari on Docker

下载 Ambari on Docker 1.从GitHub上下载ambari文件到本地，https://github.com/sequenceiq/docker-ambari 2.unzip docker-ambari-master....zip 到/opt目录下; unzip docker-ambari-master .zip 加载环境 3.进入cd /opt/docker-ambari-master，看到有 ambari-functions...文件夹，执行： source ambari-functions #将命令加载到环境中。...3 运行脚本开始下载和启动资源 6.安装结束后查询docker容器可以看到正在运行的4个集群： [root@Hadoop opt]# docker ps CONTAINER ID IMAGE...=172.17.0.5 9.用浏览器登陆ambari：http://172.17.0.5:8080,可以看到已经安装成功，接下来可以配置使用集群了

9387 0

Ambari介绍

Ambari目标解决Hadoop生态系统部署部署：hadoop组件间有依赖，包括配置、版本、启动顺序、权限配置等。部署过程跟踪。能够展示出部署过程中每个步骤的状态及相关信息。...多机部署问题，当集群规模增加后，机器出问题机率增加，在部署或更新中可能会出现机器故障组件本身设计：hadoop及其组件需要容忍机器的故障，同时需要防止不兼容版本组件给系统带来的影响部署服务：需要能够容忍某些组件启动...、更新失败配置管理可以将默认配置写入stack中(stack后续介绍)，在开启时ambari将stack中各个版本的config文件读入，在使用blueprint创建集群部署hadoop时，直接生成...(blueprint后续介绍) 服务状态展示、监控、报警 Ambari主要概念资源 ambari将集群及集群中的服务、组件、机器都视为资源，资源的状态都会记录在db中 Hadoop生态 Stack 发行版本的含义...)所需要的配置信息，这里所指的配置信息一般是手动部署集群需要配置的xml文件，例如hadoop-site.xml文件，在blueprint或单步创建里会有详细说明。

7312 0

Ambari 2.7.3.0 安装部署 hadoop 3.1.0.0 集群完整版，附带移除 SmartSense 服务

ON *.* TO 'ambari'@'localhost'; CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari'; # 这个用户，在后续安装ambari...[ambari] name=ambari baseurl=http://node1.ambari.com/ambari/centos7/2.7.3.0-139 enabled=1 gpgcheck=0...在之后部署 hadoop 集群的时候，我们会在 ambari 界面上设置 hdp 安装包的 yum 离线源，ambari 会在各 ambari-agent 节点上自动生成 ambari-hdp-1.repo...十、通过 ambari 部署 hadoop 集群主要说一下关键步骤。 1、Select Version 这一步，挺重要。首选，我们要选择安装的 hdp 版本。...3、Choose Services 在这一步，就可以选择 hadoop 相关的一些服务了。

8.2K5 1

安装 Ambari 2.6.0 + HDP 2.6.3 搭建Hadoop集群（CentOS7）简明版

localhost localhost.localdomain localhost6 localhost6.localdomain6 172.16.243.146 db_server_01 db_server_01.hadoop...172.16.243.147 db_server_02 db_server_02.hadoop 172.16.243.148 db_server_03 db_server_03.hadoop 每台节点里配置全限定域名...(FQDN) 第1台： vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=db_server_01.hadoop 第2台： vi /etc/sysconfig.../network NETWORKING=yes HOSTNAME=db_server_02.hadoop 第3台： vi /etc/sysconfig/network NETWORKING=yes HOSTNAME...=db_server_03.hadoop 配置SSH免密码登录 1、在主节点（第1台）执行 ssh-keygen cd ~/.ssh/ cat id_rsa.pub >>authorized_keys

1.4K3 0

ambari安装

为了减轻DNS的负担, 建议在节点里用 Name Service Caching Daemon (NSCD) vi /etc/hosts 172.xx.x.xx centos1 centos1.hadoop...172.xx.x.xx centos2 centos2.hadoop 172.xx.x.xx centos3 centos3.hadoop 每台节点里配置FQDN，如下以主节点为例 vi /etc/sysconfig.../network NETWORKING=yes HOSTNAME=centos1.hadoop 2.5 关闭防火墙所有节点都要设置 Centos 7 命令 systemctl disable firewalld.../2.2.2.0/ambari.repo Ambari.repo： #VERSION_NUMBER=2.2.2.0-460 [Updates-ambari-2.2.2.0] name=ambari-2.2.2.0...4.1 安装Ambari2.2.2 4.1.1安装Ambari yum install ambari-server 4.1.2配置Ambari ambari-server setup 下面是配置执行流程

9252 0

点击加载更多

Ambari？自动部署Hadoop集群

使用Ambari安装hadoop集群

通过ambari安装hadoop集群（二）

通过ambari安装hadoop集群（一）

Hadoop集群监控工具Ambari安装

Ambari+HDP 部署Hadoop 集群

【流水】使用Ambari搭建Hadoop平台

Hadoop集群监控工具Ambari安装

Ambari2.6安装部署Hadoop2.7

CentOS 6.5下使用Ambari安装Hadoop集群

Ambari在离线环境中安装Hadoop集群顶

Ambari方式安装Hadoop的Hive组件遇到的问题

RHEL6.5上使用Ambari快速搭建Hadoop集群

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5）

Ambari安装Hadoop3遇到的一些新坑

Ambari on Docker

Ambari介绍

Ambari 2.7.3.0 安装部署 hadoop 3.1.0.0 集群完整版，附带移除 SmartSense 服务

安装 Ambari 2.6.0 + HDP 2.6.3 搭建Hadoop集群（CentOS7）简明版

ambari安装

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐