未使用secondarynameNode时,NameNode工作中会产生fsimage 和edtes,edits日志过大,直接导致集群 二次开机恢复原本状态过慢,引起开机时间过长。
就是加快集群二次启动的速度(减小集群二次启动的时间)
(帮助NameNode 周期性在NameNode节点拷贝fsimage 和edtes 到自己的节点 上,进行合并,合并后生成全新的FSimage,最后将FSimage发送回NameNode.) secondarynameNode最好是一个独立的节点, 此节点的配置最好与NameNode 相同。
1、时间维度, 默认一小时合并一次 , 人为设置使用如下参数
dfs.namenode.checkpoint.period :3600 2、次数维度,默认100W次合并一次。人为设置使用如下参数
dfs.namenode.checkpoint.txns : 1000000 NameNode存储到元数据信息(fsimage 和edtes)可以多目录存储,防止元数据丢失。
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有