手把手搭建Hadoop集群

Hadoop由来

最先受到由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发，2011年发布第一版，截止目前为止，稳定版到3.0.0。

Hadoop简介

Hadoop是Apache开源软件基金会开发的，运行于大规模普通服务器上的，大数据存储、计算、分析的，分布式存储系统和分布式运算框架

Hadoop2.0由三部分组成

分布式文件系统HDFS

资源分配系统Yarn

分布式运算框架MapReduce

Hadoop的地位

了解HDFS

Client：客户端

与NameNode交互，获取文件的位置信息

与DataNode交互，读写数据

提供一些命令管理和访问HDFS

NameNode：充当Master

管理 HDFS 的名称空间

管理数据块（Block）映射信息

配置副本策略

处理客户端读写请求

DataNode：充当Slave

存储实际的数据块

执行数据块的读/写操作

了解Yarn

Yet Another Resource Negotiator（另一种资源协调者），是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。

ResurceManager(RM)：一个纯粹的调度器，专门负责集群中可用资源的分配和管理。

Container ：分配给具体应用的资源抽象表现形式，包括内存、cpu、disk

NodeManager(NM) ：负责节点本地资源的管理，包括启动应用程序的Container，监控它们的资源使用情况，并报告给RM

App Master (ApplicationMaster(AM))：特定框架库的一个实例，负责有RM协商资源，并和NM协调工作来执行和监控Container以及它们的资源消耗。AM也是以一个的Container身份运行。

客户端（Client）：是集群中一个能向RM提交应用的实例，并且指定了执行应用所需要的AM类型

开始搭建

运行环境

系统：

JDK版本：

Hadoop：

配置hosts

两条服务器做同样的操作。修改hosts文件：

添加以下内容：

测试：

关闭防火墙

两条服务器做同样的操作。

安装JDK

1.下载JDK

下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html，这里选择jdk-8u181-linux-x64.tar.gz。使用rz命令上传文件到Hadoop-Master。

复制到Hadoop-Slave：

在Hadoop-Slave上操作：

2.配置环境变量

修改文件，

添加以下内容：

使配置生效：

测试：

Hadoop安装

1.下载Hadoop

2.解压

3.修改配置

配置环境变量

修改JAVA_HOME为

配置环境变量

修改JAVA_HOME为

配置核心组件

配置如下：

配置文件系统

配置如下：

配置计算框架

配置如下：

配置文件系统

配置如下：

配置从节点

localhost改成

复制到从节点

启动Hadoop集群

1.创建数据目录

主从都创建目录：

2.格式化文件系统

主节点上操作：

3.启动

主节点：

从节点：

验证

1.浏览器访问：

2.输入jps

3.浏览器访问：