首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >hadoop-3.2.0------>入门四 伪分布式环境搭建一:伪分布式环境概念二:环境搭建

hadoop-3.2.0------>入门四 伪分布式环境搭建一:伪分布式环境概念二:环境搭建

作者头像
用户5899361
发布2020-12-07 14:42:21
发布2020-12-07 14:42:21
8630
举报
文章被收录于专栏:学习java的小白学习java的小白

一:伪分布式环境概念

什么是伪分布式?

伪分布式和分布式区别:伪分布式配置文件完全按照分布式配置文件配置,只不过所有东西配置在一台服务器上。

二:环境搭建

1、先配置hadoop环境变量

详情请查看第一篇博客:https://my.oschina.net/u/3535099/blog/3108124

2、配置core-site.xml(命令:vi 你的hadoop的根路径下/etc/hadoop/core-site.xml)

将配置信息添加的<configuration></configuration>标签中

代码语言:javascript
复制
                <!--指定hdfs中NameNode的地址-->
                <property>

                    <name>fs.defaultFS</name>

                    <value>hdfs://localhost:9000</value>

                </property>

                <!--指定hadoop运行时产生的文件存储目录-->
                <property>

                    <name>hadoop.tmp.dir</name>

                    <value>/usr/local/hadoop/hadoop-3.2.0/tmp</value>

                </property>

点击esc退出编辑模式,并输入:wq!进行保存并退出。

3、配置hadoop-env.sh(命令 vi etc/hadoop/hadoop-env.sh)

点击i进入编辑模式

将配置信息添加的文件最下方,对jdk路径进行修改

代码语言:javascript
复制
                    export JAVA_HOME=/usr/local/java/jdk1.8.0_131

点击esc退出编辑模式,输入:wq!保存并退出

4、配置hdfs-site.xml(命令:vi etc/hadoop/hdfs-site.xml),该文件可以选择不配置

默认的副本数为3,他会在其他机器上也会有副本,如果某台服务器上节点挂掉,他会再增加一个节点,始终保持为三个节点副本,副本数的多少取决于机器的性能。

代码语言:javascript
复制
                    <!--指定hdfs的副本数量-->
                    <property>
                         <name>dfs.replication</name>
                         <value>1</value> 
                    </property>
                     <!--修改页面端口号,默认为9870,可以不进行修改-->
                    <property>
                         <name>dfs.http.address</name>
                         <value>0.0.0.0:50070</value>
                    </property>

5、格式化NameNode(第一次启动时格式化,之后启动不需要格式化)

命令: bin/hdfs namenode -format

6、启动NameNode节点

命令:sbin/hadoop-daemon.sh start namenode

7、运行完之后输入jps查看进程中有没有NameNode,如果有则启动成功

8、启动datanode节点

命令:sbin/hadoop-daemon.sh start datanode

9、运行完之后输入jps查看进程中有没有datanode,如果有则启动成功

10、关闭防火墙(命令:service firewalld stop)

11、在浏览器中输入ip+端口号访问,即可看到如下图的页面(HDFS页面),(ip为虚拟机ip,端口号是你在hdfs-site.xml文件中配置的端口号,如没有配置默认为9870)

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一:伪分布式环境概念
    • 什么是伪分布式?
  • 二:环境搭建
    • 1、先配置hadoop环境变量
    • 2、配置core-site.xml(命令:vi 你的hadoop的根路径下/etc/hadoop/core-site.xml)
    • 3、配置hadoop-env.sh(命令 vi etc/hadoop/hadoop-env.sh)
    • 4、配置hdfs-site.xml(命令:vi etc/hadoop/hdfs-site.xml),该文件可以选择不配置
    • 5、格式化NameNode(第一次启动时格式化,之后启动不需要格式化)
    • 6、启动NameNode节点
    • 7、运行完之后输入jps查看进程中有没有NameNode,如果有则启动成功
    • 8、启动datanode节点
    • 9、运行完之后输入jps查看进程中有没有datanode,如果有则启动成功
    • 10、关闭防火墙(命令:service firewalld stop)
    • 11、在浏览器中输入ip+端口号访问,即可看到如下图的页面(HDFS页面),(ip为虚拟机ip,端口号是你在hdfs-site.xml文件中配置的端口号,如没有配置默认为9870)
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档