前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
首页
学习
活动
专区
圈层
工具
MCP广场
返回腾讯云官网
社区首页 >专栏 >Hadoop NameNode、DataNode热迁移方案

Hadoop NameNode、DataNode热迁移方案

作者头像
九州暮云
发布于 2019-08-21 02:38:55
发布于 2019-08-21 02:38:55
2.3K00
代码可运行
举报
文章被收录于专栏：九州牧云九州牧云
运行总次数：0
代码可运行
关联问题
换一批

最近我们生产环境的Hadoop集群需要调整几台服务器，具体转换关系如下：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
datanode92.bi -> namenode02.bi
namenode01.bi（old) -> datanode19.bi
namenode02.bi -> datanode20.bi

最终目标为：

  • 将datanode92.bi、namenode01.bi服务器上的DataNode服务下线
  • 由于namenode02.bi服务器配置较低，因此将namenode02.bi服务器上的NameNode服务下线，将其迁移到配置更高的datanode92.bi服务器上
  • 利用闲置资源，将老的空闲的namenode01.bi（old)服务器调整为DataNode服务器
  • 调整完后，增加datanode19.bi、datanode20.bi两个服务器名称

一、DataNode下线

1、在namenode01上，添加退役节点的IP到黑名单，/usr/local/hadoop-2.6.3/etc/hadoop/dfs.exclude文件添加如下需要下线的服务器主机名称：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
datanode92.bi
namenode01.bi

2、配置hdfs-site.xml：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
<property>
    <name>dfs.hosts.exclude</name>
    <value>/usr/local/hadoop-2.6.3/etc/hadoop/dfs.exclude</value>
</property>

3、切换到/usr/local/hadoop-2.6.3/bin目录下，执行如下命令，刷新NN节点，不需要重启NN服务：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
./hdfs dfsadmin -refreshNodes

执行命令后，需要及时查看NameNode日志验证命令是否执行成功，hadoop-hadoop-namenode-namenode01.bi.log输出日志如下：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
Refresh nodes successful for namenode01.bi.10101111.com/10.216.2.25:8020
Refresh nodes successful for namenode02.bi.10101111.com/10.216.5.2:8020

4、查看spaceX，观察状态在decommisstion in progress的节点：

同时，还要查看需要进行拷贝的block副本数，也就是Number of Under-Replicated Blocks这个指标的值：

5、当所有要退役的节点状态都为Decommissioned，且Number of Under-Replicated Blocks数值为0，表明数据迁移工作已经完成

6、从slaves文件中清空退役节点

7、DN下线完成后，spaceX报磁盘满的警告，经过查看整个集群空间使用量及剩余量信息，证实可以忽略此警告：

（1）警告信息：

（2）磁盘剩余量17.46%：

二、NameNode迁移

1、停止服务：

  • 停止namenode02.bi上的 namenode、zkfc、journalnode、resourcemanager 服务，使namenode02.bi上的修改记录数据和元数据不再更新：
代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
/usr/local/hadoop-2.6.3/sbin/hadoop-daemon.sh stop namenode
/usr/local/hadoop-2.6.3/sbin/hadoop-daemon.sh stop zkfc
/usr/local/hadoop-2.6.3/sbin/hadoop-daemon.sh stop journalnode
  • 停止Hive服务：查出hiveserver2和metastore的进程号，直接kill

2、通知运维更新网络信息：

  • 更新DNS信息
  • 修改主机名称，datanode92.bi的主机名称修改为namenode02.bi的主机名称，并同步更新Hadoop集群服务器的host文件、slaves文件

3、拷贝数据：

  • 将NameNode的整个Hadoop目录拷贝到目标机器的/usr/local路径下
  • 将/data/dfs的元数据拷贝到目标机器的/data/dfs路径下
代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
scp -r dfs hadoop@datanode92.bi:/data/dfs/
  • 将/usr/local/apache-hive-1.2.1-bin拷贝到目标机器的/usr/local路径下

4、启动服务：

（1）检查配置文件，在目标机器上启动namenode、zkfc、journalnode服务。以下是NameNode服务启动后的块汇报日志，可以看到大量带有BlockStateChange关键字的日志，这样的日志打印没完成，就证明NameNode没有完全正常，不能对外提供服务，日志如下：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.26:50010 is added to blk_2880883080_1896501829{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-2297011b-a18a-449b-b795-248b44d082eb:NORMAL:10.216.5.26:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.21:50010 is added to blk_2880883080_1896501829{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-2297011b-a18a-449b-b795-248b44d082eb:NORMAL:10.216.5.26:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-e5c6c2d5-81ae-45ee-a204-f3e3313756fe:NORMAL:10.216.4.21:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.40:50010 is added to blk_2880883080_1896501829{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-2297011b-a18a-449b-b795-248b44d082eb:NORMAL:10.216.5.26:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-e5c6c2d5-81ae-45ee-a204-f3e3313756fe:NORMAL:10.216.4.21:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-0e5e6e27-8744-4e6a-8006-690f6e099676:NORMAL:10.216.5.40:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.21:50010 is added to blk_2880883081_1896501830{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-b4850b87-338c-45cc-b917-b6250aa70370:NORMAL:10.216.2.21:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.4:50010 is added to blk_2880883081_1896501830{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-b4850b87-338c-45cc-b917-b6250aa70370:NORMAL:10.216.2.21:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-fa7fa32c-91bb-47a3-a559-2fc31f74cdec:NORMAL:10.216.4.4:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.48:50010 is added to blk_2880883081_1896501830{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-b4850b87-338c-45cc-b917-b6250aa70370:NORMAL:10.216.2.21:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-fa7fa32c-91bb-47a3-a559-2fc31f74cdec:NORMAL:10.216.4.4:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-df7f2d4a-0b76-46ee-9e30-d42921ba825a:NORMAL:10.216.5.48:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.21:50010 is added to blk_2880883082_1896501831{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e5c6c2d5-81ae-45ee-a204-f3e3313756fe:NORMAL:10.216.4.21:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.19:50010 is added to blk_2880883082_1896501831{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e5c6c2d5-81ae-45ee-a204-f3e3313756fe:NORMAL:10.216.4.21:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-2c37fdd9-9d89-493c-bb0d-b915b9fd0476:NORMAL:10.216.4.19:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.41:50010 is added to blk_2880883082_1896501831{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e5c6c2d5-81ae-45ee-a204-f3e3313756fe:NORMAL:10.216.4.21:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-2c37fdd9-9d89-493c-bb0d-b915b9fd0476:NORMAL:10.216.4.19:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-91a83f26-10a5-4456-94ec-460d5a428990:NORMAL:10.216.4.41:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,796 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.34:50010 is added to blk_2880883083_1896501832{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-5540b823-7606-432a-98c9-a8d84c2c3e72:NORMAL:10.216.2.34:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,796 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.8:50010 is added to blk_2880883083_1896501832{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-5540b823-7606-432a-98c9-a8d84c2c3e72:NORMAL:10.216.2.34:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-110ef02a-b044-41bf-9d65-f5fdaa76b959:NORMAL:10.216.2.8:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,796 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.8:50010 is added to blk_2880883083_1896501832{blockUCState=UNDER_CONSTRUCTION, prima849 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.14:50010 is added to blk_2880883130_1896501879{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e80ba307-0231-4811-92af-33fac386ea09:NORMAL:10.216.5.14:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,863 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader: replaying edit log: 132651/150565 transactions completed. (88%)
2019-03-12 16:20:43,879 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.38:50010 is added to blk_2880883136_1896501885{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-9dec2025-66f8-4b4a-a197-e56751b284d5:NORMAL:10.216.4.38:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,893 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.5:50010 is added to blk_2880883140_1896501889{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-45cbbbda-e17f-4835-bf47-7487c3b3a456:NORMAL:10.216.5.5:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,893 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.16:50010 is added to blk_2880883140_1896501889{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-45cbbbda-e17f-4835-bf47-7487c3b3a456:NORMAL:10.216.5.5:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-32c95765-9f02-4863-8ba2-f1fecf2e0872:NORMAL:10.216.5.16:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,893 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.20:50010 is added to blk_2880883140_1896501889{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-45cbbbda-e17f-4835-bf47-7487c3b3a456:NORMAL:10.216.5.5:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-32c95765-9f02-4863-8ba2-f1fecf2e0872:NORMAL:10.216.5.16:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-32001683-8bf1-4ae1-baf4-0efd7d117c94:NORMAL:10.216.2.20:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,904 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.38:50010 is added to blk_2880883143_1896501892{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-9dec2025-66f8-4b4a-a197-e56751b284d5:NORMAL:10.216.4.38:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,905 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.23:50010 is added to blk_2880883144_1896501893{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-68b7e245-3c92-4f81-95fe-dcb87e2453a8:NORMAL:10.216.2.23:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,905 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.22:50010 is added to blk_2880883144_1896501893{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-68b7e245-3c92-4f81-95fe-dcb87e2453a8:NORMAL:10.216.2.23:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-6b7b44fb-539f-4a1c-a867-1a0d7fe77972:NORMAL:10.216.5.22:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,912 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.14:50010 is added to blk_2880883145_1896501894{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e80ba307-0231-4811-92af-33fac386ea09:NORMAL:10.216.5.14:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,912 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.22:50010 is added to blk_2880883145_1896501894{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e80ba307-0231-4811-92af-33fac386ea09:NORMAL:10.216.5.14:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-7f939532-7a64-4700-815d-65afeab75c63:NORMAL:10.216.2.22:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,917 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.22:50010 is added to blk_2880883147_1896501896{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-7f939532-7a64-4700-815d-65afeab75c63:NORMAL:10.216.2.22:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,919 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.14:50010 is added to blk_2880883151_1896501900{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e80ba307-0231-4811-92af-33fac386ea09:NORMAL:10.216.5.14:50010|RBW]]} size 0
2019-03-12 16:20:43,919 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.3:50010 is added to blk_2880883152_1896501901{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-bffbb1b4-09d5-486c-8493-13953032e792:NORMAL:10.216.5.3:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,924 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.5:50010 is added to blk_2880883158_1896501907{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-45cbbbda-e17f-4835-bf47-7487c3b3a456:NORMAL:10.216.5.5:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,936 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.14:50010 is added to blk_2880883160_1896501909{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e80ba307-0231-4811-92af-33fac386ea09:NORMAL:10.216.5.14:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,947 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.3:50010 is added to blk_2880883164_1896501913{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-bffbb1b4-09d5-486c-8493-13953032e792:NORMAL:10.216.5.3:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,957 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.20:50010 is added to blk_2880883165_1896501914{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-32001683-8bf1-4ae1-baf4-0efd7d117c94:NORMAL:10.216.2.20:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,957 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.21:50010 is added to blk_2880883165_1896501914{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-32001683-8bf1-4ae1-baf4-0efd7d117c94:NORMAL:10.216.2.20:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-b4850b87-338c-45cc-b917-b6250aa70370:NORMAL:10.216.2.21:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,957 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.48:50010 is added to blk_2880883166_1896501915{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-cc0c9e65-7223-4a96-9066-544d069b4f7c:NORMAL:10.216.4.48:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,957 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.23:50010 is added to blk_2880883167_1896501916{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-68b7e245-3c92-4f81-95fe-dcb87e2453a8:NORMAL:10.216.2.23:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,960 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.38:50010 is added to blk_2880883169_1896501918{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-9dec2025-66f8-4b4a-a197-e56751b284d5:NORMAL:10.216.4.38:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,960 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.39:50010 is added to blk_2880883171_1896501920{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-645de8ff-8245-4bc8-b21b-0a1f05190d90:NORMAL:10.216.2.39:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,960 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.9:50010 is added to blk_2880883179_1896501928{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-9056dc2d-4567-4539-991b-f0c24bcf190d:NORMAL:10.216.2.9:50010|FINALIZED]]} size 0

也可以通过HDFS的Web UI的startup界面看到NameNode加载元数据的进度，当startup页面显示100%时，表明NameNode加载元数据完成：

（2）启动Hive服务：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
#启动hiveserver2
nohup hive --service hiveserver2 &
#启动metastore
nohup hive --service metastore &

5、启动resourcemanager

6、去掉namenode01里的exclude配置

三、DataNode上线

1、通知运维修改服务器主机名称，并更新host：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
namenode01.bi（old) -> datanode19.bi
namenode02.bi -> datanode20.bi

2、在/usr/local/hadoop-2.6.3/etc/hadoop/dfs.include文件中添加新节点名称：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
datanode19.bi
datanode20.bi

3、在hdfs-site.xml文件中添加属性：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
<property>
    <name>dfs.hosts</name>
    <value>/usr/local/hadoop-2.6.3/etc/hadoop/dfs.include</value>
</property>

4、在NN上刷新节点，不需要重启NN服务：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
hdfs dfsadmin -refreshNodes

5、在slaves文件中添加新节点主机名，并同步更新到所有集群服务器：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
datanode19.bi
datanode20.bi

6、单独在新节点的机器上启动新节点上的DataNode：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
/usr/local/hadoop-2.6.3/sbin/hadoop-daemon.sh start datanode

四、问题记录及参考资料

NameNode热迁移方案

如何在不影响hadoop集群正常运行的情况下迁移主控节点[namenode]

Jps介绍以及解决jps无法查看某个已经启动的java进程问题

本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
node.js
hadoop

本文分享自 作者个人站点/博客 前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

node.js
hadoop
评论
登录后参与评论
暂无评论
登录 后参与评论
推荐阅读
编辑精选文章
换一批
万字详解高可用架构设计
2846
Go 开发者必备：Protocol Buffers 入门指南
1653
10分钟带你彻底搞懂分布式链路跟踪
1124
多租户的 4 种常用方案
2410
亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？
1618
60页PPT全解：DeepSeek系列论文技术要点整理
2775
Hadoop集群日常运维
hadoopnode.js大数据文件存储vr 视频解决方案
namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。
星哥玩云
2022/07/04
1.3K0
0823-5.15.1-HDFS慢导致Hive查询慢问题分析
大数据yarnnode.jshive
CDH集群在业务高峰的时候，偶尔会出现Hive 查询慢的现象，本文通过分析Hive出现查询慢时候的集群状态，查找导致Hive查询慢的原因。
Fayson
2020/12/14
3.5K0
0823-5.15.1-HDFS慢导致Hive查询慢问题分析
查看Hadoop HDFS 中的一个文件对应block信息
hadoop
该文章介绍了如何使用 Hadoop 进行大数据处理和分析。主要内容包括：Hadoop 的基本配置、集群搭建、数据存储、数据清洗、数据处理和结果展示。同时，文章还介绍了如何使用 Hadoop 进行数据分析和可视化。
程裕强
2018/01/02
2.9K0
HDFS 高阶内容
其他
保存 文件树 保存 file->block (file == idnode) 不保存 block->location
birdskyws
2018/12/07
6960
《快学BigData》--Hadoop总结（D）（37）
node.jshadoopxml大数据vr 视频解决方案
Hadoop总结 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 210
小徐
2019/08/05
5720
《快学BigData》--Hadoop总结（D）（37）
hadoop几个问题
node.js大数据sshhadoop
海量的数据无论是存储还是计算，总是要保证其架构的高可用，数据仓库的构建是一个合的过程，而微服务又是一个分的过程，天下大势，分分合合。
SRE运维实践
2021/03/04
2.1K0
hadoop几个问题
Slow ReadProcessor&amp;Error Slow BlockReceiver错误日志分析
其他
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.总结 ---- "Slow ReadProcessor" 和"Slow BlockReceiver"往往是因为集群负载比较高或者某些节点不健康导致的，本文主要是帮助你确认是因为集群负载高导致的还是因为某些节点的硬件问题。 2.症状 ---- 1.作业比以前运行的时间变长 2.Job的日志中有以下WARN的
Fayson
2018/07/12
6.4K1
大数据之Hadoop企业级生产调优手册(下)
大数据存储xmlhadoopmapreduce
注：演示纠删码和异构存储需要一共 5台虚拟机。尽量拿另外一套集群。提前准备 5台服务器的集群。
王知无-import_bigdata
2021/10/13
6610
Hadoop-2.7.2分布式安装手册
xmljavasshyarnnode.js
当前版本的Hadoop已解决了hdfs、yarn和hbase等单点，并支持自动的主备切换。
一见
2019/03/14
2K0
Flink写hudi报datanode异常以及解决办法
https网络安全linux
这几天在使用tpcds数据对hudi 0.12.0写入性能进行压测，发现在数据写入半小时后，即出现异常，并且程序不断重启，任务异常日志如下：
从大数据到人工智能
2023/01/08
2.7K0
Hadoop2.7.6_01_部署
hadoopcentoslinuxsshxml
1. 主机规划 主机名称 外网IP 内网IP 操作系统 备注 安装软件 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 ssh port:22 Hadoop 【NameNode SecondaryNameNode】 mini02 10.0.0.12 172.16.1.12 CentOS 7.4 ssh port:22 Hadoop 【ResourceManager】 mini03 10.0.0.13 172.16.1.13 CentOS 7.4 ssh port:22 Ha
踏歌行
2020/10/15
5160
Hadoop2.7.6_01_部署
Hadoop05【命令操作】
node.js安全hadoop大数据
  上篇文章我们成功的搭建了hadoop的集群环境，本文来介绍下hadoop的基本操作
用户4919348
2019/04/02
7221
Hadoop05【命令操作】
HDFS——DN的持久化文件
存储css
在HDFS中，NameNode存储了整个集群的元数据信息，DataNode（下面都简称dn）负责实际数据的存储，这些数据最终持久化到磁盘中。
陈猿解码
2023/02/28
7020
HDFS——DN的持久化文件
【七】Hadoop3.3.4基于ubuntu24的分布式集群安装
mapreduceyarnhadoophdfs
https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/
火之高兴
2024/07/27
5720
Hadoop-2.8.0分布式安装手册
hadoop分布式javajdk
10.12.154.79: Error: JAVA_HOME is not set and could not be found.
一见
2018/08/02
3.3K0
hadoop hdfs命令_hadooplinux命令
大数据hadoop
所有的HDFS命令都调用bin/hdfs脚本文件，如果运行hdfs脚本没有带任何参数的话，则打印所有命令的描述。
全栈程序员站长
2022/11/09
8440
[hadoop3.x]HDFS存储策略和冷热温三阶段数据存储(六)概述
存储node.js大数据hadoophttps
[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
Maynor
2021/10/09
8570
HDFS块丢失
node.jsgrep大数据
（2）hdfs fsck / | egrep -v ‘^.+$’ | grep -v eplica
程裕强
2022/05/06
7290
HDFS块丢失
Hadoop源代码分析【6-10】
hadooprpc网站网络安全
聊完了 Client 聊 Server ，按惯例，先把类图贴出来。
大数据梦想家
2021/01/27
4910
Hadoop源代码分析【6-10】
Hadoop2.7.6_07_HA高可用
node.jssshcentoszookeeperjdk
　　hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA
踏歌行
2020/10/15
7640
Hadoop2.7.6_07_HA高可用
推荐阅读
编辑精选文章
万字详解高可用架构设计Go 开发者必备：Protocol Buffers 入门指南10分钟带你彻底搞懂分布式链路跟踪
相关讨论
Hadoop 的 namenode 宕机,怎么解决？CDH的kerberos启动后,hdfs的datanode就无法找到namenode？执行namenode format 报错？
相关课程
ES Serverless一站式日志分析入门到精通腾讯云向量数据库快速上手训练营数字化IT从业者知识体系
Hadoop集群日常运维
1.3K0
0823-5.15.1-HDFS慢导致Hive查询慢问题分析
3.5K0
查看Hadoop HDFS 中的一个文件对应block信息
2.9K0
HDFS 高阶内容
6960
《快学BigData》--Hadoop总结（D）（37）
5720
hadoop几个问题
2.1K0
Slow ReadProcessor&amp;Error Slow BlockReceiver错误日志分析
6.4K1
大数据之Hadoop企业级生产调优手册(下)
6610
Hadoop-2.7.2分布式安装手册
2K0
Flink写hudi报datanode异常以及解决办法
2.7K0
Hadoop2.7.6_01_部署
5160
Hadoop05【命令操作】
7221
HDFS——DN的持久化文件
7020
【七】Hadoop3.3.4基于ubuntu24的分布式集群安装
5720
Hadoop-2.8.0分布式安装手册
3.3K0
hadoop hdfs命令_hadooplinux命令
8440
[hadoop3.x]HDFS存储策略和冷热温三阶段数据存储(六)概述
8570
HDFS块丢失
7290
Hadoop源代码分析【6-10】
4910
Hadoop2.7.6_07_HA高可用
7640
相关推荐
Hadoop集群日常运维
更多 >
九州暮云0
LV.1
滴滴资深数据开发工程师
文章
159
获赞
453
专栏
1
作者相关精选
换一批
加入讨论
的问答专区 >
我是基里安墨菲0
相关课程
一站式学习中心 >
腾讯云向量数据库快速上手训练营
1094人在学
向量数据库
大数据
543人在学
大数据
数字化IT从业者知识体系
397人在学
CODING DevOps
软件开发
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

Copyright © 2013 - 2025 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

登录 后参与评论
2
目录
本文部分代码块支持一键运行，欢迎体验
本文部分代码块支持一键运行，欢迎体验