大数据概览——搭建大数据的基础

大数据是现在十分热门的行业，想要跻身进入大数据行业的开发者数不胜数，大部分人都是被大数据的高额薪水所吸引，其中不乏有着一到三年工作经验的开发者，还有正在学校读书的学生，有许多的人对大数据有着很大的兴趣。

为了给没有接触过大数据的同学一点小小的帮助，今天给大家带来如何进行Hadoop的完全分布式搭建。

首先需要做的准备：

电脑&网络（小小的皮一下），Linux虚拟机的操作系统，linux版的jdk，Hadoop安装包。

接下来我们进行Hadoop完全分布式的搭建，分为以下几个步骤：

搭建Hadoop伪分布式

搭建HDFS完全分布式

搭建Hadoop伪分布式集群

安装一台虚拟机

屏蔽防火墙

修改ip，修改主机名，建立主机名和ip的映射关系、

安装jdk，配置JAVA_HOME环境变量

上传Hadoop安装包，解压，配置环境变量

创建Hadoop的目录

修改Hadoop的核心配置文件

格式化namenode

启动Hadoop集群（伪分布式）

搭建Hadoop完全分布式集群

前提：zookeeper集群已经搭建成功，并且准备的集群极其已完成时间同步。

在linux系统中安装jdk、hadoop，并配置完成环境变量。

对Hadoop的核心文件进行配置

hadoop-env.sh

yarn-env.sh

slaves

hdfs-site.xml

core-site.xml

mapred-site.xml

yarn-site.xml

启动Hadoop集群

确保zookeeper集群已启动

启动journalnode集群

对namenode进行格式化

在namenode对应的任何一台机器上面格式化zkfc，目的在zk中创建维护namenode状态的目录

分别启动hdfs和yarn

接下来的文章会详细的给大家介绍搭建Hadoop完全分布式集群的步骤，点点关注，持续看我更新呀！