Hadoop平台如何进行搭建并使用?
Hadoop系统搭建,对于很多刚开始学习的人来说,算是入门的第一道坎,顺利进行Hadoop系统搭建,这是Hadoop技术体系学习的开端,搭建环境之前,建议先对Hadoop有基本的了解。
Hadoop是基于Java语言开发的,主要运行在Linux系统上,所以在开始搭建Hadoop系统之前,需要具备基础的Java编程基础,掌握Linux系统命令。
另外,因为Hadoop是分布式系统,主从结构,主从节点需要相互访问,所以为了免密登录,还需要安装SSH。
第一步:找个CentOS
准备一台打在CentOS7系统的虚拟机,可以购买云服务器,也可以自己搭建。
第二步:安装SSH
在Xshell命令窗口中输入安装命令,yum工具会自动从网上下载SSH组件并完成安装。
第三步:安装JAVA
输入yum-y install java-1.8.0-openjdk*命令,自动安装JAVA。
第四步:Hadoop单机模式跑一跑
将Hadoop解压后,默认就是单机模式,不必修改任何配置文件,也不用启动Hadoop的守护进程,Map和Reduce任务运行在同一个JVM进程中。
单机模式下,只利用Hadoop的MapReduce计算框架来做数据计算,并没有发挥Hadoop的实际作用,仅用于程序调试。
第五步:Hadoop伪分布模式跑一跑
伪分布式是指相关守护进程都独立运行,只是运行在同一台计算机上,使用HDFS来存储数据,一般用来模拟一个小规模集群。
伪分布式并非是Hadoop的完整模式,但是在Hadoop学习阶段来说,已经足够使用了,掌握好了以后,可以尝试完全分布式的搭建和操作。