【赵渝强老师】Hadoop的本地模式原创

本节课我们将通过具体的实操步骤来演示如何部署hadoop的本地模式。在Hadoop的安装包中已经集成了HDFS和yarn HD FS是hadoop的分布式文件系统，YA2是hadoop的资源任务调度平台。Hadoop有三种不同的安装部署模式，1、本地模式。在这种模式下，Hadoop没有HDFS和err环境，只能测试map preduce程序所处理的数据也在本地文件系统。2、伪分布模式。这种模式是在单机上模拟一个hadoop集群，该模式具备hadoop的所有功能。3、全分布模式，这种模式是真正用于生产的模式。了解到了hadoop的部署模式后，下面通过具体步骤来演示式如何使用hadoop的本地模式。执行Echo命令。查看Java的安装目录，这里可以看到Java被安装到了root training jdk的目录下，使用TR命令将hadoop安装包解压到root training目录下。

使用C命令切换到该目录。为了操作方便，这里使用了MV命令修改了hadoop安装目录的名字。使用CD命令进入hadoop ETC hado目录。该目录是hadoop配置文件所在的目录，使用VI编辑器编辑hadopmv.sh文件，在该文件中设置Java home的值，如视频中红色所示，保存，退出该文件，创建一个新的目录用于保存测试数据。这里创建的目录是root temp, 并使用CD命令切换到该目录。使用VI编辑器在该目录下创建data textt文件，并输入三句话，分别是I love Beijing I love China Beijing is the capital of China. 通过观察可以看到这三句话中有些单词是重复出现的。保存，退出该文件。使用CD命令进入hadoop的安装目录。再次使用CD命令进入share hadoop mapproduce的子目录，使用export命令设置hado。

Tom的环境变量，该环境变量指向had doop的安装目录，再次使用export命令将had doop安装目录下的B目录和目录加入系统的pass路径中。这两个目录下存放的是hadoop的命令脚本。完成上面的步骤后，就可以在本地测试map reduce任务了。使用Hadoop jar命令运行官方提供的example jar包，该jar包中包含很多示例程序，这里运行的是word countt单词技术程序。运行程序时需要指定输入和输出的路径。注意，这里的输入和输出路径都是本地目录。程序运行完成后，使用CD命令进入输出目录，这里是root output WC执行LS命令查看该目录下的文件，这里可以看到两个文件，其中success是一个状态文件，不包含任何的内容，它只是表示该任务是执行成功的，在以part开头的文件中包含了最后的统计结果，执行cat命令查看该文件的内容。这里可以。

看到每个单词出现的频率就统计出来了，输出的结果还按照了单词的字典顺序进行了排序。现在你已经知道如何使用hadoop的本地模式了，那你知道如何部署hadoop的伪分布模式和群分布模式吗？欢迎评论区留言讨论好了，记得点加号关注赵玉强老师。