Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Hadoop NameNode、DataNode热迁移方案

Hadoop NameNode、DataNode热迁移方案

作者头像
九州暮云
发布于 2019-08-21 02:38:55
发布于 2019-08-21 02:38:55
2.3K00
代码可运行
举报
文章被收录于专栏:九州牧云九州牧云
运行总次数:0
代码可运行

最近我们生产环境的Hadoop集群需要调整几台服务器,具体转换关系如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
datanode92.bi -> namenode02.bi
namenode01.bi(old) -> datanode19.bi
namenode02.bi -> datanode20.bi

最终目标为:

  • datanode92.binamenode01.bi服务器上的DataNode服务下线
  • 由于namenode02.bi服务器配置较低,因此将namenode02.bi服务器上的NameNode服务下线,将其迁移到配置更高的datanode92.bi服务器上
  • 利用闲置资源,将老的空闲的namenode01.bi(old)服务器调整为DataNode服务器
  • 调整完后,增加datanode19.bidatanode20.bi两个服务器名称

一、DataNode下线

1、在namenode01上,添加退役节点的IP到黑名单,/usr/local/hadoop-2.6.3/etc/hadoop/dfs.exclude文件添加如下需要下线的服务器主机名称:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
datanode92.bi
namenode01.bi

2、配置hdfs-site.xml

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
    <name>dfs.hosts.exclude</name>
    <value>/usr/local/hadoop-2.6.3/etc/hadoop/dfs.exclude</value>
</property>

3、切换到/usr/local/hadoop-2.6.3/bin目录下,执行如下命令,刷新NN节点,不需要重启NN服务:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
./hdfs dfsadmin -refreshNodes

执行命令后,需要及时查看NameNode日志验证命令是否执行成功,hadoop-hadoop-namenode-namenode01.bi.log输出日志如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
Refresh nodes successful for namenode01.bi.10101111.com/10.216.2.25:8020
Refresh nodes successful for namenode02.bi.10101111.com/10.216.5.2:8020

4、查看spaceX,观察状态在decommisstion in progress的节点:

同时,还要查看需要进行拷贝的block副本数,也就是Number of Under-Replicated Blocks这个指标的值:

5、当所有要退役的节点状态都为Decommissioned,且Number of Under-Replicated Blocks数值为0,表明数据迁移工作已经完成

6、从slaves文件中清空退役节点

7、DN下线完成后,spaceX报磁盘满的警告,经过查看整个集群空间使用量及剩余量信息,证实可以忽略此警告:

(1)警告信息:

(2)磁盘剩余量17.46%

二、NameNode迁移

1、停止服务:

  • 停止namenode02.bi上的 namenodezkfcjournalnoderesourcemanager 服务,使namenode02.bi上的修改记录数据和元数据不再更新:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/usr/local/hadoop-2.6.3/sbin/hadoop-daemon.sh stop namenode
/usr/local/hadoop-2.6.3/sbin/hadoop-daemon.sh stop zkfc
/usr/local/hadoop-2.6.3/sbin/hadoop-daemon.sh stop journalnode
  • 停止Hive服务:查出hiveserver2metastore的进程号,直接kill

2、通知运维更新网络信息:

  • 更新DNS信息
  • 修改主机名称,datanode92.bi的主机名称修改为namenode02.bi的主机名称,并同步更新Hadoop集群服务器的host文件、slaves文件

3、拷贝数据:

  • NameNode的整个Hadoop目录拷贝到目标机器的/usr/local路径下
  • /data/dfs的元数据拷贝到目标机器的/data/dfs路径下
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
scp -r dfs hadoop@datanode92.bi:/data/dfs/
  • /usr/local/apache-hive-1.2.1-bin拷贝到目标机器的/usr/local路径下

4、启动服务:

(1)检查配置文件,在目标机器上启动namenodezkfcjournalnode服务。以下是NameNode服务启动后的块汇报日志,可以看到大量带有BlockStateChange关键字的日志,这样的日志打印没完成,就证明NameNode没有完全正常,不能对外提供服务,日志如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.26:50010 is added to blk_2880883080_1896501829{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-2297011b-a18a-449b-b795-248b44d082eb:NORMAL:10.216.5.26:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.21:50010 is added to blk_2880883080_1896501829{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-2297011b-a18a-449b-b795-248b44d082eb:NORMAL:10.216.5.26:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-e5c6c2d5-81ae-45ee-a204-f3e3313756fe:NORMAL:10.216.4.21:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.40:50010 is added to blk_2880883080_1896501829{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-2297011b-a18a-449b-b795-248b44d082eb:NORMAL:10.216.5.26:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-e5c6c2d5-81ae-45ee-a204-f3e3313756fe:NORMAL:10.216.4.21:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-0e5e6e27-8744-4e6a-8006-690f6e099676:NORMAL:10.216.5.40:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.21:50010 is added to blk_2880883081_1896501830{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-b4850b87-338c-45cc-b917-b6250aa70370:NORMAL:10.216.2.21:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.4:50010 is added to blk_2880883081_1896501830{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-b4850b87-338c-45cc-b917-b6250aa70370:NORMAL:10.216.2.21:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-fa7fa32c-91bb-47a3-a559-2fc31f74cdec:NORMAL:10.216.4.4:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.48:50010 is added to blk_2880883081_1896501830{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-b4850b87-338c-45cc-b917-b6250aa70370:NORMAL:10.216.2.21:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-fa7fa32c-91bb-47a3-a559-2fc31f74cdec:NORMAL:10.216.4.4:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-df7f2d4a-0b76-46ee-9e30-d42921ba825a:NORMAL:10.216.5.48:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.21:50010 is added to blk_2880883082_1896501831{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e5c6c2d5-81ae-45ee-a204-f3e3313756fe:NORMAL:10.216.4.21:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.19:50010 is added to blk_2880883082_1896501831{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e5c6c2d5-81ae-45ee-a204-f3e3313756fe:NORMAL:10.216.4.21:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-2c37fdd9-9d89-493c-bb0d-b915b9fd0476:NORMAL:10.216.4.19:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,795 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.41:50010 is added to blk_2880883082_1896501831{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e5c6c2d5-81ae-45ee-a204-f3e3313756fe:NORMAL:10.216.4.21:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-2c37fdd9-9d89-493c-bb0d-b915b9fd0476:NORMAL:10.216.4.19:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-91a83f26-10a5-4456-94ec-460d5a428990:NORMAL:10.216.4.41:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,796 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.34:50010 is added to blk_2880883083_1896501832{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-5540b823-7606-432a-98c9-a8d84c2c3e72:NORMAL:10.216.2.34:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,796 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.8:50010 is added to blk_2880883083_1896501832{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-5540b823-7606-432a-98c9-a8d84c2c3e72:NORMAL:10.216.2.34:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-110ef02a-b044-41bf-9d65-f5fdaa76b959:NORMAL:10.216.2.8:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,796 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.8:50010 is added to blk_2880883083_1896501832{blockUCState=UNDER_CONSTRUCTION, prima849 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.14:50010 is added to blk_2880883130_1896501879{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e80ba307-0231-4811-92af-33fac386ea09:NORMAL:10.216.5.14:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,863 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader: replaying edit log: 132651/150565 transactions completed. (88%)
2019-03-12 16:20:43,879 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.38:50010 is added to blk_2880883136_1896501885{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-9dec2025-66f8-4b4a-a197-e56751b284d5:NORMAL:10.216.4.38:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,893 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.5:50010 is added to blk_2880883140_1896501889{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-45cbbbda-e17f-4835-bf47-7487c3b3a456:NORMAL:10.216.5.5:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,893 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.16:50010 is added to blk_2880883140_1896501889{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-45cbbbda-e17f-4835-bf47-7487c3b3a456:NORMAL:10.216.5.5:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-32c95765-9f02-4863-8ba2-f1fecf2e0872:NORMAL:10.216.5.16:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,893 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.20:50010 is added to blk_2880883140_1896501889{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-45cbbbda-e17f-4835-bf47-7487c3b3a456:NORMAL:10.216.5.5:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-32c95765-9f02-4863-8ba2-f1fecf2e0872:NORMAL:10.216.5.16:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-32001683-8bf1-4ae1-baf4-0efd7d117c94:NORMAL:10.216.2.20:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,904 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.38:50010 is added to blk_2880883143_1896501892{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-9dec2025-66f8-4b4a-a197-e56751b284d5:NORMAL:10.216.4.38:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,905 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.23:50010 is added to blk_2880883144_1896501893{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-68b7e245-3c92-4f81-95fe-dcb87e2453a8:NORMAL:10.216.2.23:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,905 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.22:50010 is added to blk_2880883144_1896501893{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-68b7e245-3c92-4f81-95fe-dcb87e2453a8:NORMAL:10.216.2.23:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-6b7b44fb-539f-4a1c-a867-1a0d7fe77972:NORMAL:10.216.5.22:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,912 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.14:50010 is added to blk_2880883145_1896501894{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e80ba307-0231-4811-92af-33fac386ea09:NORMAL:10.216.5.14:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,912 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.22:50010 is added to blk_2880883145_1896501894{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e80ba307-0231-4811-92af-33fac386ea09:NORMAL:10.216.5.14:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-7f939532-7a64-4700-815d-65afeab75c63:NORMAL:10.216.2.22:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,917 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.22:50010 is added to blk_2880883147_1896501896{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-7f939532-7a64-4700-815d-65afeab75c63:NORMAL:10.216.2.22:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,919 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.14:50010 is added to blk_2880883151_1896501900{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e80ba307-0231-4811-92af-33fac386ea09:NORMAL:10.216.5.14:50010|RBW]]} size 0
2019-03-12 16:20:43,919 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.3:50010 is added to blk_2880883152_1896501901{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-bffbb1b4-09d5-486c-8493-13953032e792:NORMAL:10.216.5.3:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,924 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.5:50010 is added to blk_2880883158_1896501907{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-45cbbbda-e17f-4835-bf47-7487c3b3a456:NORMAL:10.216.5.5:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,936 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.14:50010 is added to blk_2880883160_1896501909{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-e80ba307-0231-4811-92af-33fac386ea09:NORMAL:10.216.5.14:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,947 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.5.3:50010 is added to blk_2880883164_1896501913{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-bffbb1b4-09d5-486c-8493-13953032e792:NORMAL:10.216.5.3:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,957 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.20:50010 is added to blk_2880883165_1896501914{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-32001683-8bf1-4ae1-baf4-0efd7d117c94:NORMAL:10.216.2.20:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,957 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.21:50010 is added to blk_2880883165_1896501914{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-32001683-8bf1-4ae1-baf4-0efd7d117c94:NORMAL:10.216.2.20:50010|FINALIZED], ReplicaUnderConstruction[[DISK]DS-b4850b87-338c-45cc-b917-b6250aa70370:NORMAL:10.216.2.21:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,957 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.48:50010 is added to blk_2880883166_1896501915{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-cc0c9e65-7223-4a96-9066-544d069b4f7c:NORMAL:10.216.4.48:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,957 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.23:50010 is added to blk_2880883167_1896501916{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-68b7e245-3c92-4f81-95fe-dcb87e2453a8:NORMAL:10.216.2.23:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,960 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.4.38:50010 is added to blk_2880883169_1896501918{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-9dec2025-66f8-4b4a-a197-e56751b284d5:NORMAL:10.216.4.38:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,960 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.39:50010 is added to blk_2880883171_1896501920{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-645de8ff-8245-4bc8-b21b-0a1f05190d90:NORMAL:10.216.2.39:50010|FINALIZED]]} size 0
2019-03-12 16:20:43,960 INFO BlockStateChange: BLOCK* addStoredBlock: blockMap updated: 10.216.2.9:50010 is added to blk_2880883179_1896501928{blockUCState=UNDER_CONSTRUCTION, primaryNodeIndex=-1, replicas=[ReplicaUnderConstruction[[DISK]DS-9056dc2d-4567-4539-991b-f0c24bcf190d:NORMAL:10.216.2.9:50010|FINALIZED]]} size 0

也可以通过HDFSWeb UIstartup界面看到NameNode加载元数据的进度,当startup页面显示100%时,表明NameNode加载元数据完成:

(2)启动Hive服务:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#启动hiveserver2
nohup hive --service hiveserver2 &
#启动metastore
nohup hive --service metastore &

5、启动resourcemanager

6、去掉namenode01里的exclude配置

三、DataNode上线

1、通知运维修改服务器主机名称,并更新host

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
namenode01.bi(old) -> datanode19.bi
namenode02.bi -> datanode20.bi

2、在/usr/local/hadoop-2.6.3/etc/hadoop/dfs.include文件中添加新节点名称:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
datanode19.bi
datanode20.bi

3、在hdfs-site.xml文件中添加属性:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
    <name>dfs.hosts</name>
    <value>/usr/local/hadoop-2.6.3/etc/hadoop/dfs.include</value>
</property>

4、在NN上刷新节点,不需要重启NN服务:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
hdfs dfsadmin -refreshNodes

5、在slaves文件中添加新节点主机名,并同步更新到所有集群服务器:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
datanode19.bi
datanode20.bi

6、单独在新节点的机器上启动新节点上的DataNode

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/usr/local/hadoop-2.6.3/sbin/hadoop-daemon.sh start datanode

四、问题记录及参考资料

NameNode热迁移方案

如何在不影响hadoop集群正常运行的情况下迁移主控节点[namenode]

Jps介绍以及解决jps无法查看某个已经启动的java进程问题

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
电脑插上U盘不显示怎么回事?怎么解决?
平时使用电脑的时候经常会使用U盘来传输数据或是备份文件,有时候会遇到一个令头疼的问题,比如,将U盘插入电脑的USB口后,设备却显示不出来。电脑上插入U盘后却不显示会影响我们的正常工作。接下来,我们一起分析一下故障的原因和常见的解决方法。
用户7704932
2024/10/10
5240
电脑插上U盘不显示怎么回事?怎么解决?
硬件知识:U盘插入电脑没反应相关解决办法整理
如果你将U盘接入电脑没有反应,那么在同一个USB接口上,我们尝试接入其他设备,比如鼠标和键盘。如果可以正常使用,那么就可以排除接口的问题。
小明互联网技术分享社区
2021/06/24
4.5K0
Win32 Disk Imager刻录过的U盘恢复容量的方法
近日遇到一个问题,使用Win32 Disk Imager刻录过的U盘,想恢复使用,但无法正常使用。
技术训练营
2019/08/19
2.8K0
u 盘不显示盘符怎么办?
在日常使用电脑的过程中,u盘是我们常用的存储设备之一。无论是传输文件、备份数据,还是安装系统,u盘都扮演着重要的角色。然而,有时候我们会遇到一个令人头疼的问题:插入u盘后,电脑上却没有显示盘符。这种情况不仅让人感到困惑,还可能影响工作进度。那么,遇到u盘不显示盘符的情况,我们该如何解决呢?接下来,我们将从多个角度分析可能的原因,并提供相应的解决方案。
用户7704932
2025/02/25
2600
u 盘不显示盘符怎么办?
自定义你的U盘图标
在生活中,你的U盘盘符图像是默认的,你会不会看起来感觉不爽呢?接下来就告诉你如何自定义你的盘符!
鹿形鱼
2018/06/08
2.5K1
自定义你的U盘图标
U盘打不开提示格式化怎么办?(含数据恢复及U盘修复教程)
随着数字化时代的发展,U盘已成为我们日常生活和工作中不可或缺的数据存储工具。然而,有时我们可能会遇到U盘突然无法打开,并提示需要格式化的问题。这不仅会打乱我们的工作节奏,还可能会导致重要数据丢失。本文将详细解析这一问题的症状、常见原因,并提供具体的修复方法,帮助你轻松解决这个难题。
用户7704932
2024/05/13
7970
U盘打不开提示格式化怎么办?(含数据恢复及U盘修复教程)
记一次蓝屏日志
虽然说,我是一个在职两年半的程序员,但是对于这个问题其实也和大部分人一样,一脸懵逼🤖
Java_慈祥
2024/08/06
2430
记一次蓝屏日志
U盘坏了怎么把数据弄出来
在数字化时代,U盘作为一种便携式存储设备,为我们的数据保存和传输提供了很多便利。不过,我们在使用U盘过程中难免会遇到各种问题,比如常见的U盘损坏问题。U盘损坏会导致数据无法读取,给我们造成困扰。幸运的是,当U盘出现损坏时,我们自己可以尝试一些方法,试着将U盘里的数据弄出来。本期内容将和大家讨论几个简单常用的方法,帮助大家从损坏的U盘里救回宝贵的资料。
用户7704932
2024/07/16
2300
U盘坏了怎么把数据弄出来
easyrecovery u盘数据恢复2023年最新U盘数据恢复详细解答
人们都说覆水难收,但是面对U盘数据丢失的情况,我们却是有可能将U盘数据恢复的。但这也是有条件的,需要保证u盘丢失的数据的完整性,而且重要的是找一款好的数据恢复软件easyrecovery,那么easyrecovery如何恢复u盘数据呢?
用户10371284
2023/08/15
3330
easyrecovery u盘数据恢复2023年最新U盘数据恢复详细解答
(图文)U盘安装原版WIN10系统
首先 我们先去下载好WIN10 64的原版系统 那么去哪里下呢 不用看 首选肯定是MSDN的了 直接百度MSDN 或者 I TELL YOU 都可以进入都官网 【这里直接提供一个镜像下载】:
Erwin
2019/12/31
1.2K0
bt3硬盘安装_SD卡比U盘音质好
在U盘/SD卡上安装BT3 教程(激活成功教程无线路由信号密码必备) 其实网上关于BT3的教程很多,如果大家根据下面的教程安装不成功的话,可以再去百度一下其它的教程。 前几天写过一个帖子是关于如何用BT3激活成功教程路由信号的(点我查看),为了引起关注,放在了Win区。在那个帖子里我是将Bt3安装在了硬盘的D分区上,当时自己也是想安装到U盘上的,结果U盘太烂太老太慢,没有安装成功。 这次重新找了一个1G的SD卡,成功在1000H的机器上将Bt3安装在了SD卡上,以下是我的分享。 注:1000H的网卡是Ralink RT2790,可以在BT3上驱动起来(需要单独下载驱动模块),也可以使用spoonwep监听,但是不支持注入,故无法激活成功教程。偶目前只有1000H这一款机器,所以只在这款机器上介绍下如何安装BT3. 硬件准备:SD卡或者U盘一个,容量1G以上,笔记本或者台式机一个。 软件准备: 1. BT3光盘版或者U盘版的ISO镜像(迅雷很容易搜索到的,如果下面的链接无法下载,自己再用迅雷找一个),正常应该七八百M的样子:http://ftp.heanet.ie/mirrors/backtrack/bt3-final.iso 2. Flashboot绿色无毒加强版(网上很难找的,通常都报病毒,虽然是误报,但是用的不舒服,我这个不报病毒):在http://ddduck3000.ys168.com中的Flashboot目录里,下载那个Flashboot绿色无毒加强版。 3. Syslinux易饭修改版: 制作过程: 1. 运行Flashboot绿色无毒加强版,依次按照如下设置后,点击“Next”: “磁盘的创建类型”选择“将可引导的光盘创建一个副本到闪存盘上”; “光盘或者镜像文件的来源”选择“从本机或局域网载入镜像文件”,并点击“浏览”按钮设置ISO镜像的路径。 “选择输出类型”页面设置好磁盘驱动器,即你的U盘的盘符。 “目标USB磁盘的格式化类型”中先去掉“保留磁盘数据”前面的对号,然后选中“USB-ZIP”启动模式。 最后点击“完成”按钮就开始制作BT3可启动U盘,完成后会提示“Done”。 2. Flshboot制作完毕后,一定要进入U盘目录将里面的bt3文件夹更名为大写的BT3(这一点非常重要). 3. 利用syslinux在U盘建立linux引导。 解压下载的syslinux压缩包,用记事本打开里面的setup.bat(方法是在setup.bat上单击右键,选择用记事本打开),在syslinux后边添加空格和你的U盘盘符(别忘了冒号),例如你的U盘在E盘,那么添加完成后应该是这样的内容: syslinux E: 然后保存并关闭 。双击运行setup.bat(不会有任何提示)即完成。 最后到你的U盘下查看一下ldlinux.sys这个文件是否是11k,如果是即表示成功;如果是9K那就需要你检查下哪儿出错了。 下载 (24.08 KB) 2009-4-13 15:04 4. 重新启动机器,在BIOS中设置为从U盘启动;或者直接开机不停的按“Esc”键,直至出现启动设备选择菜单,选择从U盘设备启动。
全栈程序员站长
2022/11/10
1.3K0
Mac电脑无法将U盘格式化(抹除)为APFS格式的解决
很多小伙伴把新买的U盘插在Mac上,然后想把它格式化(抹除)为APFS格式。但却只能选择旧的Mac OS 扩展类型格式,压根看不到APFS格式的选项
IT小马哥
2024/11/19
2.3K0
Mac电脑无法将U盘格式化(抹除)为APFS格式的解决
U盘的超级用法
转自360         U盘是大家最常用的移动存储设备,不过它的即插即用特性在给我们带来方便同时,也带来了极大的安全隐患。一款没有加密功能的U盘,在借给他人使用或不慎丢失时,其中所保存的资料将很容易被查看或删除。而要想避免这种情况发生,你只要稍加动手,不需使用任何软件,即可将普通U盘打造得“固若金汤”,不相信的朋友就随我一起来吧! 一、NTFS格式是安全基础 默认情况下,U盘的磁盘格式都为FAT,而我们只要把它转化为NTFS格式,就可使U盘也可以使用NTFS下的权限、配额等安全设置了。转换方法很简单,只要在插入U盘后,在“运行”对话框中输入“convert j: /fs:NTFS /x”命令(这里“j:”是本机U盘的盘符,“/x”表示强行卸载卷),回车后就能在资源管理器中看到U盘已转化为NTFS分区。接下来,我们就可在此基础上打造各具安全特色的U盘了。 由于NTFS磁盘格式的特性所限,16MB容量的U盘是无法完成转换的。而如果使用Convert命令时提示无法转换,那么可先将U盘拔下,重新插入后再执行命令即可。 二、我的U盘会认人 U盘上都有只读切换开关,它可使U盘变为只读,从而更好的保护U盘资料。不过这个路人皆知的方法显然无法全面保护U盘内的资料,现在借助NTFS的权限功能,我们来打造一款真正安全的只读U盘。 打开“我的电脑”,单击菜单栏中的“工具→文件夹选项→查看”命令,去除“高级设置”选项下“简单文件共享”的选中状态。现在,右击U盘选择“属性”,在打开的窗口中转到“安全”选项卡,将“组和用户列表”下Everyone的权限设置为“只读”、“读取和运行”、“列出文件夹目录”,然后单击“添加”将自己使用的帐户名(本例为LCR)添加到“组和用户”列表中,并设置权限为“完全控制”。 好了,现在单击确定后退出,你会发现U盘除了自己外,其他人都无法再向U盘内写入或删除任何文件,这样一个只读U盘便打造成功了。因为每个用户都拥有“读取和运行”权限,所以该U盘并不会妨碍到其他人的使用 (但只能读,而且由于所有权的原因,即使将U盘拿到其它电脑上使用,也是无法更改权限的)。 如果是你的Windows XP系统打了最新的SP2补丁,那么可依次展开注册表的“HKEY_LOCAL_ MACHINE\SYSTEM\CurrentControlSet \Control”子键,然后在该分支下新建一个名为“StorageDevice Policies”的子项。接着在右侧窗口中新建一个名为“WriteProtect”的DWORD值,并设置其值为“1”。如此也可使U盘变为只读,自己使用时则将该键值删除。不过这个设置是对本机所有用户生效的,无法像NTFS权限一样进行灵活细致的权限设置。 三、我的U盘“六亲不认” 为了使U盘更安全,我们还可将U盘打造的“六亲不认”。基本操作同上,在“安全”选项卡窗口中,将所有用户都删除,这样U盘插到任何一台电脑上都无法使用。而因为权限设置是保存在U盘和系统的帐户中的,所以如果自己要访问如此设置的U盘时,在不同电脑上就还需要进行不同的设置操作。 1.在本机上使用。虽然没有任何用户可以访问,但是本机系统管理员可有更改权限,因此可以系统管理员的身份登录,即可打开“安全”选项,并将自己的帐户添加到用户列表中(权限为完全控制),从而达到对U盘进行操作的目的。 2.在其它电脑上使用。访问U盘必须先取得所有权,以系统管理员的身份登录其它电脑后,这时插入U盘系统会提示你无法访问U盘,但可以更改U盘所有权。同上,打开“安全”选项卡后,单击“高级”,在弹出窗口单击“所有者”选项卡,将所有者更改为当前用户LCR,然后将权限设置为“完全控制”即可。 如果你的U盘使用的是FAT分区,那么也有方法实现在本机禁止使用U盘。方法是展开注册表的“HKEY_LOCAL_MACHINE\  SYSTEM\CurrentControlSet\Services\USBSTOR”子键,然后将右侧窗口中的“Start”值,更改为“4”。这样当U盘插入电脑时,系统就不会提示发现新硬件,自然也就无法使用U盘了。在自己使用时,将键值更改回去即可,如此便能防止它人在我们的电脑上使用U盘。 四、U盘写入容量我控制 上述方法似乎有些太过绝对,在很多时候我们的U盘还是会经常借给他人使用。所以最好还是通过设置,使其他人只能对一定的磁盘容量进行操作会比较好,现在我们就利用NTFS磁盘配额来实现。同上,在U盘的属性窗口中选择“配额”选项卡,勾选“启用配额管理”和“拒绝将磁盘空间给超过配额限制的用户”两项。单击“配额项”,在弹出窗口中单击“配额→新建配额项”,接着按提示为本机或本网络其它用户设置相应的配额项。这样,当本机其他用户要在本机使用这个U盘时,其所能使用的空间就是我们在配额项中所限制的容量。 上述配额限制操作只能在
DannyHoo
2018/09/13
1.9K0
万能驱动 v7.22.0912.2(2022.10.24 发布)
【万能驱动7】概述:万能驱动(简称EasyDrv)是IT天空出品的一款智能识别电脑硬件并自动安装驱动的工具。它拥有简约友好的用户界面,使用起来十分方便。追求“万能”是一种态度,表达我们想要将产品做的尽善尽美的理念,也希望大家能和我们共同努力而使之不断完善,让大家切身感受到它在驱动安装方面的“无所不能”。
huofo
2022/11/24
4.4K0
万能驱动 v7.22.0912.2(2022.10.24 发布)
KT142C-sop16语音芯片,插上usb,出不来虚拟U盘怎么办
KT142C-sop16语音芯片的芯片,我直接焊到我的板子上面,插上usb,但是出不来虚拟U盘怎么办?
清月电子
2024/05/23
1070
KT142C-sop16语音芯片,插上usb,出不来虚拟U盘怎么办
磁盘读写速度异常缓慢,可能的原因是什么?
是山河呀
2025/02/22
8950
U盘变成你电脑的开机密码,你试过吗?
哈喽,各位小伙们晚上好,相信各位的电脑应该都设置了开机密码吧,是PIN还是图形密码尼?这些开机密码都是我们见的比较多的了,你有见过把U盘当做电脑开机密码的吗?今天就手把手教大家把你的U盘变成电脑的开机密码,黑科技十足。
Rookie
2019/08/28
1.1K0
U盘变成你电脑的开机密码,你试过吗?
几行python代码就能复制U盘文件
上大学的时候有老师不给上课的PPT,就总想有个程序能偷偷复制老师的U盘。。。。一直没有去实现,最近看论文,就想起来这个事情了,发现其实用几行python代码就能搞定了。分两步,首先写出来python代码,其次把.py文件转换成exe文件,直接在windows电脑上后台运行。
小小科
2020/06/19
2K0
U盘空间没了,原来是EFI分区搞的鬼,删除它!
EFI系统分区(ESP)是一个使用FAT32格式化的小分区,通常为100MB(也可以更大),其中存储已安装系统的EFI引导加载程序以及启动时固件使用的应用程序。如果您的硬盘驱动器初始化为GUID分区表(GPT)分区样式,它将在安装Windows或Mac操作系统(OS)后生成EFI系统分区。
蒙娜丽宁
2022/11/22
4.6K0
U盘空间没了,原来是EFI分区搞的鬼,删除它!
Windows10官方正版系统的安装、激活、升级、U盘制作,无毒无害无捆绑无风险教程
- 完成下载后,拔掉所有外接存储设备(U盘,移动硬盘,读卡器等),否则无法进行安装
兮动人
2021/06/11
1.4K0
Windows10官方正版系统的安装、激活、升级、U盘制作,无毒无害无捆绑无风险教程
推荐阅读
相关推荐
电脑插上U盘不显示怎么回事?怎么解决?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验