Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >secondarynameNode工作原理

secondarynameNode工作原理

作者头像
云缓缓知我意
发布于 2021-04-15 07:06:07
发布于 2021-04-15 07:06:07
5440
举报
文章被收录于专栏:kafka。kafka。

前提:

未使用secondarynameNode时,NameNode工作中会产生fsimage 和edtes,edits日志过大,直接导致集群 二次开机恢复原本状态过慢,引起开机时间过长。

secondarynameNode存在的意义

就是加快集群二次启动的速度(减小集群二次启动的时间)

secondarynameNode原理

(帮助NameNode 周期性在NameNode节点拷贝fsimage 和edtes 到自己的节点 上,进行合并,合并后生成全新的FSimage,最后将FSimage发送回NameNode.) secondarynameNode最好是一个独立的节点, 此节点的配置最好与NameNode 相同。

触发secondarynameNode合并文件的条件

1、时间维度, 默认一小时合并一次 , 人为设置使用如下参数

dfs.namenode.checkpoint.period :3600 2、次数维度,默认100W次合并一次。人为设置使用如下参数

dfs.namenode.checkpoint.txns : 1000000 NameNode存储到元数据信息(fsimage 和edtes)可以多目录存储,防止元数据丢失

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/11/20 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Data Structure_Visualization概率模拟排序可视化走迷宫生成迷宫
概率问题对于人脑来说很多时候都是反直觉的,所以有时候得到的结果并不是这么完美。首先来看一个分钱问题。假设房间里面有100个人,每个人都有100元钱,他们在玩一个游戏,每一个人拿出一元钱随机给另一个人,最后这100人的财富分布是怎么样的。按照常规思维,其实无论怎么分应该大家都是差不多钱的。
西红柿炒鸡蛋
2018/12/28
8510
Data Structure_Visualization排序可视化走迷宫生成迷宫扫雷
选择排序很简单,遍历所有元素,查看一下他们的之后最小的元素和当前元素交换即可。模板函数使用上面的swing模板。为了更清楚显示出排序的过程,可以用不同颜色代表排好序和未排好序的。
西红柿炒鸡蛋
2018/12/28
9780
算法可视化 顶
根据以上的圆球的代码,我们将其抽象成一个以后用于填充各种算法的绘制模版,根据MVC的原理
算法之名
2020/03/19
1.2K0
【刷穿 LeetCode】778. 水位上升的泳池中游泳(困难)
在一个 N x N 的坐标方格 grid 中,每一个方格的值 grid[i][j] 表示在位置 (i,j) 的平台高度。
宫水三叶的刷题日记
2021/02/20
4070
【java】百行代码 实现2048小游戏
https://git.nowcoder.com/11000160/2048-java/blob/master/Game2048.java
韩旭051
2020/06/23
2K0
Java开发画板
Test类 public class Test { public static void main(String[] args){ DrawBoard db = new DrawBoard(); db.initFrame(); } } DrawBoard类 public class DrawBoard extends JFrame { Graphics2D g; public
Java帮帮
2018/03/16
1.8K0
Java开发画板
【综合笔试题】难度 4/5,一道结合了「二分」的图论题
这是 LeetCode 上的「778. 水位上升的泳池中游泳(困难)」,难度为 Hard。
宫水三叶的刷题日记
2021/04/26
4670
可视化排序实践之冒泡排序
这样,一个简单地,模拟执行结合排序变化的例子就完成了。:) 有兴趣的读者可以试一试。
孟君
2019/10/10
7100
可视化排序实践之冒泡排序
通吃岛屿问题
在秋招及实习期间发现岛屿问题在面试中会被经常问到,本节来把leetcode上的所有岛屿问题通吃一遍。
公众号guangcity
2020/09/01
1.3K0
好好玩的螺旋算法No.69
看到一个小伙伴分享这么一个东西,觉得蛮好玩的。先上图。我觉得蛮好玩的,就心心念念想着分享给你们也玩玩,顺便自己实现了一遍。 好,现在开始说是怎么玩的。 首先我观察到的一个科学的知识。我们假设为 siz
大蕉
2018/02/05
6170
好好玩的螺旋算法No.69
Java游戏编程不完全详解-5
在2D游戏中,地图是整体结构,或者我们叫做游戏地图(game map),通常是几个屏幕的宽度表示。有些游戏地图是屏幕的20倍;甚至是100位以上,主要特点是跨屏幕之后,让地图滚动显示,这种类型的游戏又叫做2D平台游戏(2D platform game)。
老九君
2021/10/26
1.7K0
LC200—岛屿数量
给你一个由 '1'(陆地)和 '0'(水)组成的的二维网格,请你计算网格中岛屿的数量。
Java架构师必看
2021/05/14
4920
java数字和中文算数验证码
数字算法 此代码使用了ttf字体 字体在此处 https://gitee.com/tothis/java-record/tree/master/src/main/resources/font
崔笑颜
2020/07/15
1.6K0
java数字和中文算数验证码
常用的搜索算法之迷宫求解问题
迷宫求解问题是一个经典的图搜索问题,它涉及在给定的迷宫地图中找到一条从起点到终点的路径,同时需要避免遇到障碍物(通常是墙壁)。迷宫可以由二维网格表示,其中每个网格可以是一个可通过的空地、一个障碍物(墙壁)或特殊点(如起点和终点),使用数据结构(如队列、栈或优先队列)来跟踪已访问和待访问的节点。。
jack.yang
2025/04/05
2290
迷宫-BFS
终点。迷宫中除了可以向上下左右四个方向移动一格以外, 还有m个双向传送门可以使用, 传送门可以连接两个任意格子。
别团等shy哥发育
2023/10/17
3580
迷宫-BFS
动物换位(含有源码)
这个是Java课程设计上面的一个小游戏,动物换位,这里给出这个源代码,供大家一起学习。
GeekLiHua
2025/01/21
670
动物换位(含有源码)
安德鲁斯—-多媒体编程
在内存中创建图片的副本 直接载入的bitmap对象是仅仅读的。无法改动。要改动图片仅仅能在内存中创建出一个一模一样的bitmap副本。然后改动副本
全栈程序员站长
2022/07/06
4530
【果壳信奥编程】纯 JAVA 实现植物大战僵尸
一枚大果壳
2024/05/18
1420
【果壳信奥编程】纯 JAVA 实现植物大战僵尸
Java弹球小游戏
GeekLiHua
2025/01/21
920
Java弹球小游戏
Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
俄罗斯方块,相信很多80、90后的小伙伴都玩过,也是当年非常火的游戏,当年读中学的时候,有一个同学有这个游戏机,大家都很喜欢玩,这个游戏给当时的我们带来了很多欢乐,时光飞逝,感慨颇多! 人终归是要长大的,回忆再美好,日子也一去不复返了,以前我们只会玩游戏,心里想自己能做一个出来多牛逼啊,长大后,成为程序员的我们有能力自己写游戏玩,我想这就是成长吧!
全栈程序员站长
2022/07/05
8010
Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
相关推荐
Data Structure_Visualization概率模拟排序可视化走迷宫生成迷宫
更多 >
LV.0
这个人很懒,什么都没有留下~
作者相关精选
换一批
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档