开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

如何恢复从/dataN/dfs/dn/current目录移出的HDFS块？

在Hadoop分布式文件系统（HDFS）中，如果意外地将HDFS块从/dataN/dfs/dn/current目录移出，可以通过以下步骤来恢复：

确定移出的HDFS块的文件名和块ID。可以通过Hadoop的命令行工具或HDFS管理界面获取这些信息。
确保HDFS集群处于正常运行状态，并且所有的数据节点（DataNode）都处于可用状态。
将移出的HDFS块文件复制回/dataN/dfs/dn/current目录。可以使用以下命令将文件复制回原始位置：cp /path/to/moved/block/file /dataN/dfs/dn/current
确保复制的文件具有正确的权限和所有者。可以使用以下命令进行更改：chown hdfs:hadoop /dataN/dfs/dn/current/block-file
在HDFS中更新块的元数据。可以使用以下命令将块的元数据更新到NameNode：hdfs dfsadmin -refreshNodes
确认块已经成功恢复。可以使用Hadoop的命令行工具或HDFS管理界面来验证块的状态和位置。

需要注意的是，以上步骤仅适用于单个移出的HDFS块的恢复。如果有多个块被移出，需要按照相同的步骤逐个恢复。此外，为了避免类似情况的发生，建议定期备份HDFS数据，并采取适当的数据恢复策略和监控措施。

腾讯云相关产品和产品介绍链接地址：

腾讯云对象存储（COS）：提供高可靠、低成本的云端存储服务，适用于大规模数据存储和备份。详情请参考：https://cloud.tencent.com/product/cos
腾讯云云服务器（CVM）：提供弹性、安全、稳定的云服务器实例，可满足各种计算需求。详情请参考：https://cloud.tencent.com/product/cvm
腾讯云弹性MapReduce（EMR）：提供大数据处理和分析的完全托管服务，支持Hadoop、Spark等开源框架。详情请参考：https://cloud.tencent.com/product/emr
腾讯云数据库（TencentDB）：提供多种类型的云数据库，包括关系型数据库、NoSQL数据库等。详情请参考：https://cloud.tencent.com/product/cdb

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

【Hadoop】如何做到Hadoop集群删库不跑路……

扯个犊子先，我司进行集群迁移，没有用的测试机器要进行格式化卖掉了，然后突然一条伟大的命令，误删除了正在使用的hadoop集群所有节点的操作系统盘，数据盘保留，灾难就此来了。

01

初识HDFS原理及框架

HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，首先它是一个文件系统，用于存储文件，通过目录树来定位文件位置；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

01

HDFS最基础使用

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

05

怎么做 HDFS 的原地平滑缩容？

当数据规模越来越大，存储成本也水涨船高。随着时间推移，数据热度分布往往呈 2⁄8 原则，即 80% 的访问集中在 20% 的数据上。对于那不经常访问的 80% 数据来说，使用多个 SSD 来存储真是巨大的浪费，需要将冷数据迁移到其他存储成本更低的系统里。这时 JuiceFS 成了理想之选，成本下降 20 倍，同时又提供跟 HDFS 一样高性能的元数据能力（避免Metastore 遍历元数据时雪崩），大量扫描冷数据时也有很高的吞吐量。如果 80% 的数据转移到 JuiceFS 上来，整体成本可节省 90%。如果再给 JuiceFS 提供适当的空间做缓存，还可以完整替换 HDFS (20% 的热数据通过 JuiceFS 管理的缓存盘来服务，也可以有极高的性能）。

01

Hadoop学习指南：探索大数据时代的重要组成——HDFS(下)

（1）客户端通过Distributed FileSystem 模块向NameNode 请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。（2）NameNode返回是否可以上传。（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用 dn2，然后dn2调用dn3，将这个通信管道建立完成。（6）dn1、dn2、dn3逐级应答客户端。（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet 为单位，dn1 收到一个Packet 就会传给 dn2，dn2 传给 dn3；dn1 每传一个 packet 会放入一个应答队列等待应答。（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。

01

一次误格式化引发的hdfs集群不可用

我们知道hadoop集群搭建之后，并不能马上启动集群进行使用，需要对namenode做格式化。具体执行的命令：hadoop namenode -format。namenode格式化是删除hdfs-site.xml中dfs.namenode.name.dir指定目录下已有的文件信息（包含fsimage和edit文件），然后在该目录下创建VERSION等文件。初次使用集群必须执行，但对已有数据的集群，会导致集群不可用。如若是非HA集群，会导致丢失所有数据的严重后果。

08

hadoop学习随笔-入门阶段

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-22uhcfxh-1617677655640)(D:\Code_Study\博客笔记\Hadoop学习笔记.assets\1604300154815.png)]

02

大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作(开发重点)+HDFS客户端操作(开发重点)+HDFS的数据流(面试重点)+NameNode和Seconda

传统硬盘HDD（Hard Disk Drive）传输速率：100MB/s 固态硬盘SSD（Solid State Drive）传输速率：500MB/s 混合硬盘HHD（Hybrid Harddrive）传输速率：300MB/s PCIe固态硬盘SSD（Solid State Drive）传输速率：1500MB/s

01

Hadoop技术(一)分布式文件系统HDFS

明确假设磁盘每秒读取500兆数据, 则1T内容需要2048s 约等于 30min

01

Hadoop（四）HDFS集群详解

前言　　前面几篇简单介绍了什么是大数据和Hadoop，也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群。接下来这篇我详细的分享一下HDFS。　　HDFS前言：　　　　设计思想：（分而治之）将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。　　　　在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务。　　分布式文件系统：　　　　问题引发：海量数据超过了单台物理计算机的存储能力　　　　解

09

Hadoop（四）HDFS集群详解

前面几篇简单介绍了什么是大数据和Hadoop，也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群。接下来这篇我详细的分享一下HDFS。

04

HDFS的集群信息

我们都知道整个hdfs由nn+zkfc，dn，jn组成，这些可能运行在不同节点上的组件能组成一个集群，其中包含了共同的集群信息，并且各自将集群信息持久化存储到了本地，这个文件就是VERSION文件。本文就来聊聊VERSION文件的相关内容。

03

吐血整理 | HDFS运维问题大全

| 作者：周晓，腾讯游戏 CROS 体系高级工程师，负责多套HDFS集群的维护管理，并为Apache Hadoop社区提交过2个Patch。同时也作为游戏DBA，稳定支撑包括穿越火线、天天酷跑等在内多款游戏的DB管理维护。 ---- 1 这次我吐血整理了一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apache hadoop官方。最后根据这些问题处理经验，汇总了hadoop hdfs集群需要关注的告警指标。一、定期bloc

06

独家 | 一文读懂Hadoop（二）HDFS（上）

随着全球经济的不断发展，大数据时代早已悄悄到来，而Hadoop又是大数据环境的基础，想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0，也意味着一直有一群人在对Hadoop不断的做优化，不仅如此，各个Hadoop的商业版本也有好多公司正在使用，这也印证了它的商业价值。读者可以通过阅读“一文读懂Hadoop”系列文章，对Hadoop技术有个全面的了解，它涵盖了Hadoop官网的所有知识点，并且通俗易懂，英文不好的读者完全可以通过阅读此篇文章了解Hado

Hadoop总结（面试题）

分布式是将资源分布存储或者分布计算的统称,分布式是指资源不再单一的再单独的服务器上进行存储或者计算, 而是通过很多服务器来进行存储或者计算

02

NameNode Metadata备份和恢复最佳实践

对于未启用HA的NameNode集群，fsimage和edits将存储在活动的NameNode和SecondNameNode上，建议定期备份fsimage和edits。

03

COS助力HADOOP轻松实现数据存储

1.2 如何在hadoop集群上实现简单的数据处理，通过 wordcount 实现测试。

02

HDFS文件读写流程

详细步骤解析： 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 client请求第一个block该传输到哪些DataNode服务器上； 3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；

02

HDFS集群缩容案例: Decommission DataNode

在HDFS集群运维过程中，常会碰到因为实际业务增长低于集群创建时的预估规模；集群数据迁出,数据节点冗余较多；费用控制等原因，需要对集群进行缩容操作。Decommission DataNode是该过程中关键的一步，就是把DataNode从集群中移除掉。那问题来了，HDFS在设计时就把诸如机器故障考虑进去了，能否直接把某台运行Datanode的机器关掉然后拔走呢？理论上可行的，不过在实际的集群中，如果某份数据只有一份副本而且它就在这个机器上，那么直接关掉并拔走机器就会造成数据丢失。本文将介绍如何Decommission DataNode以及可能会遇到Decommission超时案例及其解决方案。

08

【万字长文】HDFS最全知识点整理（建议收藏）

1）跟NN通信查询元数据(block所在的DN的节点)，找到文件块所在的DN的服务器。2）挑选一台DN（就近原则，然后随机）服务器，请求建立socket流。3）DN开始发送数据（从磁盘里读取数据放入流，一packet为单位做校验） 4）客户端以packet为单位接收，现在本地缓存，然后写入目标文件中，后面的block块就相当于append到前面的block块，最后合成最终需要的文件。

02

大数据面试题（一）：HDFS核心高频面试题

1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。

大数据面试题（一）：HDFS核心高频面试题

1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。

02

0531-6.1-如何手动迁移JournalNode

Fayson在上一篇文章《0530-6.1-如何只是迁移NameNode或JournalNode》，主要介绍了通过Cloudera Manager来界面化向导式迁移JournalNode，本文Fayson主要会实操演示如何手动迁移JournalNode角色。

00

你问我答1 - HDFS数据的写入原理

我们在集群中配置了hdfs异构存储策略,配置如下: dfs.datanode.data.dir:/data02/dfs/dn,/data03/dfs/dn,[ARCHIVE]/mnt/nfs01/dfs/dn dfs.namenode.replication.min:1 dfs.replication:2 然后做了如下测试: hdfs dfs -mkdir /user/xxx/warm hdfs storagepolicies -setStoragePolicy -path /user/xxx/warm -

02

如何在CDH实现HDFS透明加密

在前面文章Fayson介绍过《什么是HDFS透明加密》，要实现HDFS的透明加密，首先你需要一个KMS，KMS可以用CDH自带的Java KeyStore KMS也可以使用企业版工具Navigator。这里我们首先演示基础的Java KeyStore KMS，Fayson会在后面的文章介绍Navigator KMS以及Key Trustee Server。Java KeyStore KMS保存秘钥文件到本地，提供简单的密码保护。Cloudera不建议生产系统使用Java KeyStore KMS。

07

HDFS详解

【一】HDFS简介 HDFS的基本概念1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。 ----------------------------------------------------------------------------

大数据技术入门：hdfs（分布式文件存储系统）

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。----------来源于百度百科。

03

HDFS部署最佳实践

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- HDFS是组成Hadoop平台的关键服务，部署的正确与否直接影响到你整个集群的健康状态，以及所有应用能否正常的运行或者高效的运行，包括SQL，MapReduce，Spark等。前面Fayson也介绍过《CDH网络要求(Lenovo参考架构)》，《CDH安装前置准备》，《如何为Had

04

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。

02

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。

05

[hadoop3.x]HDFS存储类型和存储策略(五)概述

[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS

01

Hadoop集群日常运维

namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。

02

大数据笔记（三）：HDFS集群搭建-伪分布式模式

白话解释SSH免秘钥如果A 想免密的登陆到B： A：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa B：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

06

hadoop-hdfs-site.xml配置文件详解

hadoop:hdfs-site.xml配置文件详解 hdfs-site.xml配置文件j介绍 hadoop-hdfs相关的配置信息 hdfs-site.xml配置文件 name value description hadoop.hdfs.configuration.version 1 version of this configuration file dfs.namenode.logging.level info The logging level for dfs namenode. Other

03

进击大数据系列（四）：Hadoop 架构基石分布式文件系统 HDFS

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。

02

Hadoop2.7.6_03_HDFS原理

分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；

02

HDFS应用场景、原理、基本架构及使用方法

如果一个文件大小为10K，则1亿个文件大小仅为1TB(但要消耗掉NameNode 20GB内存)

02

如何有效恢复误删的HDFS文件

HDFS是大数据领域比较知名的分布式存储系统，作为大数据相关从业人员，每天处理HDFS上的文件数据是常规操作。这就容易带来一个问题，实际操作中对重要数据文件的误删，那么如何恢复这些文件，就显得尤为重要。

01

Hdfs的数据磁盘大小不均衡如何处理

最近浪尖在纠结一个现在看起来很简单的问题。现象描述建集群的时候，datanode的节点数据磁盘总共是四块磁盘做矩阵成了一个7.2TB的sdb1(data1)，两块通过矩阵做了一个3.6TB的sdc1(data2)磁盘，运维做的，历史原因。刚开始没有发现，然后集群过了一段时间，随着数据量的增加，发现集群有很多磁盘超过使用率90%告警，浪尖设置磁盘告警阈值是90%，超过阈值就会发短信或者微信告警，提醒我们磁盘将要满了进行预处理，但是通过hadoop的监控指标获取的磁盘利用率维持在55%+，这种情况下不应该

09

HDFS经典简答题(实习生必看!)

前一段时间,小菌陆续分享了HDFS系列1-12的博客，总算是要完结了。于是小菌打算再出一期关于HDFS的经典面试题,其中的内容大多都出自于在前面分享的博客中,感兴趣的小伙伴们可以自行浏览,链接小菌放到文末了哦~

02

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。

00

5.0 HDFS 集群

HDFS 集群是建立在 Hadoop 集群之上的，由于 HDFS 是 Hadoop 最主要的守护进程，所以 HDFS 集群的配置过程是 Hadoop 集群配置过程的代表。

04

HDFS原理概念扫盲

hdfs文件系统主要设计为了存储大文件的文件系统；如果有个TB级别的文件，我们该怎么存储呢？分布式文件系统未出现的时候，一个文件只能存储在个服务器上，可想而知，单个服务器根本就存储不了这么大的文件；退而求其次，就算一个服务器可以存储这么大的文件，你如果想打开这个文件，效率会高吗

02

BigData--Hadoop技术

（7）-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

01

HDFS NameNode重启优化

一、背景在Hadoop集群整个生命周期里，由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启，不论采用何种架构，重启期间集群整体存在可用性和可靠性的风险，所以优化NameNod

07

Hdfs的DN节点数据磁盘大小不均衡如何处理

这是一篇历史文章，貌似16还在负责做集群的时候遇到并解决的一问题。之所以发出来是因为感觉比较实用，自从公众号迁移之后，历史文章不能搜索了，所以浪尖每隔一段时间，抽一篇比较实用的历史文章发出来，以便于大家复习和新手来公众号搜索。

02

深刻理解HDFS工作原理

概述 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统的简称。HDFS被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。DFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop

(转载非原创)hadoop源码_hdfs启动流程_2_DataNode _

执行start-dfs.sh脚本后，集群是如何启动的？本文阅读并注释了start-dfs脚本，以及datanode的启动主要流程流程源码。

00

【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇

2021年初的时候，关于Hadoop要退休淘汰的PR文章甚嚣尘上。其中MapReduce思想最为人所诟病，因为其并不友好的写代码方式，高昂的维护成本以及较差的运行效率。

03

Hadoop HDFS 实现原理图文详解

Hadoop分布式文件系统 (HDFS) 是运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭