Loading [MathJax]/jax/input/TeX/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Hadoop2.2.0集群启动和停止Shell脚本

Hadoop2.2.0集群启动和停止Shell脚本

作者头像
星哥玩云
发布于 2022-07-03 04:46:55
发布于 2022-07-03 04:46:55
4390
举报
文章被收录于专栏:开源部署开源部署

说明:Hadoop2.2.0集群启动和停止Shell脚本,以下脚本中出现的master,slave1,slave2,slave3均已配host。

startupall.sh

#!/bin/bash

hadoophome="/home/yarn/Hadoop/hadoop-2.2.0/"

ssh slave1 "/bin/bash ${hadoophome}sbin/hadoop-daemon.sh start journalnode"

ssh slave2 "/bin/bash ${hadoophome}sbin/hadoop-daemon.sh start journalnode"

ssh slave3 "/bin/bash ${hadoophome}sbin/hadoop-daemon.sh start journalnode"

ssh master "/bin/bash ${hadoophome}sbin/hadoop-daemon.sh start namenode"

echo "now waiting for 8s security mode "

sleep 8s

ssh slave1 "/bin/bash ${hadoophome}bin/hdfs namenode -bootstrapStandby"

ssh slave1 "/bin/bash ${hadoophome}sbin/hadoop-daemon.sh start namenode"

ssh master "/bin/bash ${hadoophome}bin/hdfs haadmin -transitionToActive nn1"

ssh master "/bin/bash ${hadoophome}sbin/hadoop-daemons.sh start datanode"

ssh master "/bin/bash ${hadoophome}sbin/start-yarn.sh"

ssh slave1 "/bin/bash ${hadoophome}sbin/mr-jobhistory-daemon.sh start historyserver"

shutdownall.sh

#!/bin/bash

hadoophome="/home/yarn/Hadoop/hadoop-2.2.0/"

ssh master "/bin/bash ${hadoophome}sbin/stop-yarn.sh"

ssh master "/bin/bash ${hadoophome}sbin/stop-dfs.sh"

ssh slave1 "/bin/bash ${hadoophome}sbin/mr-jobhistory-daemon.sh stop historyserver"

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Hadoop 1.x升级至Hadoop-2.2.0经验分享
公司Hadoop集群从1.2.1升级到2.2.0已经有一段时间,这篇blog将总结一下我前段时间在升级至Hadoop2.2.0版本过程中遇到的一些问题,以及具体的升级步骤。
星哥玩云
2022/07/03
4520
Hadoop 1.x升级至Hadoop-2.2.0经验分享
docker 部署 hadoop集群
sudo docker cp apache-zookeeper-3.5.5.tar.gz cluster-slave1:/root/tar
程序员朱永胜
2023/08/17
3470
docker 部署 hadoop集群
Hadoop2.2.0 的安装和基本配置
Hadoop2.0的架构和1.0完全不一样,在安装配置上和1.0也有很大的不同,譬如配置文件的目录不一样了,还有要对yarn进行配置,这个在1.0是没有的。很多人第一次接触hadoop2.0的时候,会很不适应,而且官方的文档也有些写得不太清楚的地方,也有些错误。笔者在初次安装hadoop2.0的时候,看着官方的文档,中间也出现过很多问题。为了帮助大家很快的部署上hadoop2.0,笔者写了这篇文章。这篇文章主要就是介绍一个hadoop2.0的一个最基本最简单的配置,目的就是尽快的让hadoop2.0在机器上
小小科
2018/05/02
9290
高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
192.168.1.84 hadoop84 #namenode1,resourcemanager
白石
2019/08/23
5080
Hadoop完全分布式搭建部署
1)在各个JournalNode节点上,输入以下命令启动journalnode服务:(前提zookeeper集群已启动)
星哥玩云
2022/08/08
4880
Hadoop完全分布式搭建部署
Hadoop安装教程_分布式集群
选择典型的集群规划,即一台Master,两台Slave的设置。 主机名及局域网IP配置如下:
用户1147754
2019/05/26
4840
Hadoop 2.2.0的安装配置
根据网上的文章搭建了Hadoop 2.2.0的环境,具体内容如下,备用后续自己做参考。
星哥玩云
2022/06/29
2930
Hadoop HA及Failover搭建
在Hadoop1.X版本中使用单个NameNode来管理所有的DataNode的元数据,一旦NameNode节点发生故障将导致整个集群不可用,而且必须手动恢复NameNode节点才能够正常提供服务。基于以上致命的缺点,Hadoop2.X提出了HA(High Available)来改进单点故障;另外,通过使用Zookeeper的分布式通知协调功能实现HA的Failover(故障自动转移),而无需人工介入。下面开始介绍HA和Failover的安装配置。
z小赵
2018/09/05
7290
Hadoop2.5.0伪分布式环境搭建
本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤。首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户、安装JDK、关闭防火墙等。
星哥玩云
2022/07/26
6520
Hadoop问题笔记之五问五答
接着上次,散仙所写的文章,在Win7上的eclipse中使用Apache Hadoop2.2.0对接CDH5.3的Hadoop2.5调试时,很顺利,所有的问题全部KO,今天散仙把项目整理了一下,上传到svn上,这次运行的地方是正宗的Apache社区版本Hadoop2.2的集群上(公司有两种hadoop集群(CDH的和Apache的))在使用过程中遇到一下几个问题,特记于此: 问题清单: 修真门槛 障碍描述 1 手写MapReduce中如何指定hadoop开启递归文件夹功能? 2 关于在Hadoo
我是攻城师
2018/05/11
6680
Hadoop-2.7.4 集群快速搭建
Hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程
程序员鹏磊
2018/02/09
1.4K0
Hadoop-2.7.4 集群快速搭建
Hadoop数据分析平台实战——020Hadoop Shell命令(初学跳过)离线数据分析平台实战——020Hadoop Shell命令(可跳过)
离线数据分析平台实战——020Hadoop Shell命令(可跳过) Hadoop Shell命令简单描述 Hadoop的Shell命令主要分为两类: 一类是启动命令 一类是控制/操作命令(hdfs+mapred+yarn) 其中启动命令位于sbin目录下面, 控制/操作命令主要位于bin目录下面 其实最终的启动命令也是调用控制命令来进行集群服务的启动,区别在于启动命令中需要使用ssh的相关命令来控制其他机器启动服务, 而控制/操作命令主要是直接调用hadoop提供的服务类接口。 Hadoop配置信
Albert陈凯
2018/04/08
1.2K0
Hadoop数据分析平台实战——020Hadoop Shell命令(初学跳过)离线数据分析平台实战——020Hadoop Shell命令(可跳过)
Hadoop生态圈和各组件的启动、关闭脚本介绍
Hadoop生态圈各组件的启动及关闭脚本,虽然有些使用频率不高,不容易记住,这里特地整理出来,大家可以先保存,用的时候就方便了。
挖掘大数据
2018/01/17
1.4K0
大数据环境部署之集群启动脚本
创建脚本 集群进程查看脚本 创建脚本 mkdir /data/tools/bigdata/mysh/ vi /data/tools/bigdata/mysh/ha-call.sh 内容如下 #!/bin/bash #集群所有进程查看脚本 USAGE="使用方法:sh ha-call.sh jps or sh ha-call.sh 'jps -l;java -version'" if [ $# -eq 0 ];then echo $USAGE exit 1 fi NODES
码客说
2022/11/14
2170
颤抖吧Hadoop 、干碎大数据之Hadoop完全分布式平台搭建
【讲在前面】 Hadoop完全分布式集群的搭建需要多台虚拟机,每台虚拟机单独安装配置比较麻烦,因此我们可以在VMware中创建一个虚拟机后完成公共的基础配置然后直接创建完整克隆,这样效率比较高。 Hadoop完全分布式集群的搭建是典型的主从架构,即一台master节点多台slave节点,这里我采用三台虚拟机,一台作为master节点,另外两台作为slave1节点和slave2节点。
阿年、嗯啊
2021/04/29
6020
颤抖吧Hadoop 、干碎大数据之Hadoop完全分布式平台搭建
深入浅出学大数据(二)Hadoop简介及Apache Hadoop三种搭建方式
此系列主要为我的学弟学妹们所创作,在某些方面可能偏基础。如果读者感觉较为简单,还望见谅!如果文中出现错误,欢迎指正~
不温卜火
2021/09/29
1.8K0
深入浅出学大数据(二)Hadoop简介及Apache Hadoop三种搭建方式
Hadoop3.0集群安装知识
问题导读 1.本文是如何定义master的? 2.如何配置hadoop守护进程环境? 3.配置Hadoop守护进程需要哪些配置文件? 4.yarn-site配置文件,主要配置哪两个进程? 5.mapred-site.xml配置文件,配置哪些内容? 6.hadoop如何配置监测NodeManagers的健康状况? 7.hadoop3.0slaves做了什么更改? 8.如何单独启动DataNode? 9.访问hadoop web界面都有哪些接口? 目的 本文档介绍如何安装和配置Hadoop集群,从少数节点到数
用户1410343
2018/03/26
1.3K0
Hadoop 集群搭建
目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建思路 (1)准备基础设施 准备3台服务器,分别命名为 master、slave1、slave2 互相配置为 SSH 免密码登录,并都安装好 JAVA 环境 (2)安装配置 hadoop 在 master 上下载解压 hadoop,修改相应配置文件,包括: core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-s
dys
2018/04/04
4.9K1
Hadoop 集群搭建
Hadoop框架:单服务下伪分布式集群搭建
以下配置文件所在路径:/opt/hadoop2.7/etc/hadoop,这里是Linux环境,脚本配置sh格式。
知了一笑
2020/09/18
3330
Debian下安装配置 Hadoop 3.1.3 集群
在这篇文章里,我将在 VMWare 里面虚拟四台 Debian 虚拟机,一个做master,三个slave。这四台主机的 hostname 分别是 master、slave1、slave2、slave3。下面的 JDK 和 Hadoop 安装配置操作都是使用普通用户 hadoop 来执行,并非 root。
Debian中国
2020/01/21
1.6K0
相关推荐
Hadoop 1.x升级至Hadoop-2.2.0经验分享
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档