首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >namenode出现故障后,如何恢复??

namenode出现故障后,如何恢复??

作者头像
用户4870038
发布于 2021-02-05 03:37:51
发布于 2021-02-05 03:37:51
1.1K00
代码可运行
举报
运行总次数:0
代码可运行

secondaryNamenode对namenode当中的fsimage和edits进行合并时,每次都会先将namenode的fsimage与edits文件拷贝一份过来,所以fsimage与edits文件在secondarNamendoe当中也会保存有一份,如果namenode的fsimage与edits文件损坏,那么我们可以将secondaryNamenode当中的fsimage与edits拷贝过去给namenode继续使用,只不过有可能会丢失一部分数据。这里涉及到几个配置选项 namenode保存fsimage的配置路径

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas</value>
</property>

namenode保存edits文件的配置路径

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
	<name>dfs.namenode.edits.dir</name>
	<value>file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/dfs/nn/edits</value>
</property>

secondaryNamenode保存fsimage文件的配置路径

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
	<name>dfs.namenode.checkpoint.dir</name>
	<value>file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/dfs/snn/name</value>
</property>

secondaryNamenode保存edits文件的配置路径

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
	<name>dfs.namenode.checkpoint.edits.dir</name>
	<value>file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/dfs/nn/snn/edits</value>
</property>

故障恢复步骤

第一步:杀死namenode进程

使用jps查看namenode进程号,然后直接使用kill -9 进程号杀死namenode进程

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
jps


127156 QuorumPeerMain
127785 ResourceManager
17688 NameNode
127544 SecondaryNameNode
127418 DataNode
128365 JobHistoryServer
19036 Jps
127886 NodeManager

[root@node01 servers]# kill -9 17688

第二步:删除namenode的fsimage与edits文件

namenode所在机器执行以下命令,删除fsimage与edits文件 删除fsimage与edits文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
rm -rf /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas/*
rm -rf /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits/*

第三步:拷贝secondaryNamenode的fsimage与edits文件到namenode的fsimage与edits文件夹下面去

将secondaryNameNode所在机器的fsimage与edits文件拷贝到namenode所在的fsimage与edits文件夹下面去 由于我的secondaryNameNode与namenode安装在同一台机器,都在node01上面,node01执行以下命令进行拷贝

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cp -r /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name/* /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas/
cp -r /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits/* /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits

第四步:启动namenode

node01服务器执行以下命令启动namenode

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start namenode

第五步:浏览器页面正常访问

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
http://node01:50070
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/11/12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)
本文是由alice菌发表在:https://blog.csdn.net/weixin_44318830/article/details/102846055
王知无-import_bigdata
2020/05/08
1.7K0
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)
大数据重点技术----数据丢失还原
故障恢复步骤 第一步:杀死namenode进程 使用jps查看namenode进程号,然后直接使用kill -9 进程号杀死namenode进程
Maynor
2021/04/09
8650
HDFS中Fsimage,Edits详解(6)
本篇博客,小菌为大家带来的是HDFS中NameNode的Fsimage与Edits的详解。
大数据梦想家
2021/01/22
1.8K0
HDFS中Fsimage,Edits详解(6)
五万字 | 耗时一个月,整理出这份Hadoop吐血宝典
一、HDFS 二、MapReduce 三、Yarn 四、Hadoop3.x 新特性 五、Hadoop 大厂面试真题解析
五分钟学大数据
2021/10/26
1.8K0
【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)
Hadoop 分布式系统框架中,首要的基础功能就是文件系统,在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统,这个抽象类下面有很多子实现类,究竟使用哪一种,需要看我们具体的实现类,在我们实际工作中,用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。
五分钟学大数据
2021/02/08
2.5K0
【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)
fsimage和edits详解
由于editlog记录了集群运行期间所有对HDFS的相关操作,所以这个文件会很大。
用户4870038
2021/02/05
7670
fsimage和edits详解
hadoop-hdfs安装部署
上传到指定目录输入命令rz (如果没有这个命令 需要安装lrzsz插件 命令 yum -y install lrzsz)
云缓缓知我意
2021/04/15
1.3K0
hadoop-hdfs安装部署
安装Hadoop集群
。。。 查看之前的这篇安装jdk: https://mp.csdn.net/mdeditor/102639879# 保证至少有三个虚拟机,每个虚拟机完成上面操作
用户4870038
2021/02/05
2.3K0
安装Hadoop集群
Hadoop常见组件启动方式汇总(持续更新....)
接触过大数据领域的朋友都知道,Hadoop生态系统十分的庞大,许多组件启动的方式也是不尽相同,今天博主抽空整理了一下大数据生态圈中常见组件的启动方式,也算是为自己巩固了一下基础吧~
大数据梦想家
2021/01/27
5830
Hadoop常见组件启动方式汇总(持续更新....)
快速带你搭建Hadoop的HA集群!(确定不来看看吗?)
相信大家在看了前面一篇《Hadoop High Availability (高可用)详细讲解》之后,大家一定在想怎么搭建Hadoop HA的集群呢? 不要着急 ,小生接下来就带大家快速搭建一下(#.#)。
刘浩的BigDataPath
2021/04/13
5440
快速带你搭建Hadoop的HA集群!(确定不来看看吗?)
大数据-HDFS的元信息和SecondaryNameNode
当 Hadoop 的集群当中, 只有一个 NameNode 的时候,所有的元数据信息都保存在了 FsImage 与 Eidts 文件当中,这两个文件就记录了所有的数据的元数据信息, 元数据信息的保存目录配置在了hdfs-site.xml 当中
cwl_java
2019/12/25
4320
Hadoop 配置文件详解
mapred-site.xml:yarn 的 web 地址 和 history 的 web 地址以及指定我们的 mapreduce 运行在 yarn 集群上
Lokinli
2023/03/09
6570
BigData集群搭建
“本文主要介绍大数据相关集群搭建,包括hadoop集群、zookeeper集群、hbase集群、spark集群等”
搬砖俱乐部
2019/12/18
5640
HDFS权限问题以及伪造用户(11)
之前在谈到HDFS常用命令的时候,说过hdfs的文件权限验证与linux系统的类似,但hdfs的文件权限需要开启之后才生效,否则在HDFS中设置权限将不具有任何意义!而在设置了权限之后,正常的HDFS操作可能受阻,这种情况下我们就需要伪造用户!本篇博客,小菌将为大家带来关于HDFS权限问题以及伪造用户的相关内容!
大数据梦想家
2021/01/22
7110
HDFS权限问题以及伪造用户(11)
大数据成长之路------hadoop集群的部署(2)
7、启动集群 a)格式化集群 在第一个节点执行 hadoop namenode -format
Maynor
2021/04/09
3550
【愚公系列】2024年02月 大数据教学课程 022-Hadoop的HDFS
HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写。它是一种分布式文件系统,旨在将大量的数据存储在Hadoop集群中的多台机器上。HDFS具有高度容错性,并且设计用于在低成本硬件上部署。它允许高吞吐量的数据访问,并为大数据应用程序提供可扩展的存储。HDFS是Apache Hadoop生态系统的关键组件之一,许多组织使用它来存储和处理大型数据集。
愚公搬代码
2025/06/02
1410
【愚公系列】2024年02月 大数据教学课程 022-Hadoop的HDFS
大数据成长之路-- hadoop集群的部署(4)
在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件,并添加需要退役的主机名称 node01执行以下命令
Maynor
2021/04/09
5330
MapReduce的jobHistory介绍
接下来小菌将分享如何在CDH集群环境下开启jobHistory服务。(不清楚集群环境搭建的小伙伴们可以参考小菌之前的博客哦(Hadoop(CDH)分布式环境搭建)
大数据梦想家
2021/01/22
9260
MapReduce的jobHistory介绍
【愚公系列】2024年02月 大数据教学课程 020-Hadoop的安装
准备工作完成后,可以按照官方文档或相关教程的指引,进行Hadoop的安装和配置。安装完成后,可以启动Hadoop集群并验证其正常运行。
愚公搬代码
2025/06/02
1830
【愚公系列】2024年02月 大数据教学课程 020-Hadoop的安装
快速学习-NameNode和SecondaryNameNode
思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一旦NameNode节点断电,就会产生数据丢失。因此,引入Edits文件(只进行追加操作,效率很高)。每当元数据有更新或者添加元数据时,修改内存中的元数据并追加到Edits中。这样,一旦NameNode节点断电,可以通过FsImage和Edits的合并,合成元数据。 但是,如果长时间添加数据到Edits中,会导致该文件数据过大,效率降低,而且一旦断电,恢复元数据需要的时间过长。因此,需要定期进行FsImage和Edits的合并,如果这个操作由NameNode节点完成,又会效率过低。因此,引入一个新的节点SecondaryNamenode,专门用于FsImage和Edits的合并。 NN和2NN工作机制,如图3-14所示。
cwl_java
2020/02/19
5590
推荐阅读
相关推荐
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)
更多 >
LV.1
这个人很懒,什么都没有留下~
交个朋友
加入腾讯云官网粉丝站
蹲全网底价单品 享第一手活动信息
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档