开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

‘`hadoop’会在NameNode还是DataNode上执行？

Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和计算。在Hadoop中，任务的执行是分布在不同的节点上的。

具体到NameNode和DataNode，它们是Hadoop中的两个关键组件。NameNode是Hadoop的主节点，负责管理整个分布式文件系统（HDFS）的命名空间和元数据信息。它维护了文件和目录的层次结构、文件的块信息、各个块所在的DataNode等。NameNode负责接收和处理客户端的读写请求。

DataNode是Hadoop的从节点，负责存储实际的数据块。它接收来自客户端或其他DataNode的写请求，并将数据块存储在本地磁盘上。DataNode还负责对本地存储的数据块进行复制和数据块的传输等工作。

在Hadoop中，MapReduce任务的执行是由JobTracker进行调度和管理的。JobTracker负责将任务划分为多个子任务（Map任务和Reduce任务），并将这些子任务分配给可用的TaskTracker节点来执行。TaskTracker节点既可以是NameNode也可以是DataNode。

综上所述，Hadoop的执行涉及到多个节点，包括NameNode和DataNode。具体的任务执行是由JobTracker负责调度和管理的，任务可以在NameNode或DataNode上执行，具体取决于任务的类型和调度算法。

腾讯云相关产品和产品介绍链接地址：

腾讯云Hadoop产品：https://cloud.tencent.com/product/chdfs
腾讯云云服务器CVM产品：https://cloud.tencent.com/product/cvm
腾讯云对象存储COS产品：https://cloud.tencent.com/product/cos

相关搜索:Cron不会在Ubuntu 21.10 impish上执行我的任何命令 Docker Swarm上的Hadoop群集-数据节点无法连接到Namenode Espresso不会在SearchView上执行typeText ViewAction Gradle不会在命令行上执行任何测试 Hadoop Datanode仅运行一次，然后不会在Windows 10上再次启动 Hadoop群集上的Namenode和Jobtracker信息 Hadoop集群上的Wordcount执行 Kubernetes上的Hadoop datanode路由问题为什么Hadoop MapReduce会在迭代算法的每次迭代中执行磁盘读写？从namenode和datanode文件恢复Hadoop

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Hadoop集群运维

场景1：namenode节点故障，active namenode节点状态切换？如何恢复？

01

必须掌握的HDFS相关问题

安全模式是Namenode的一种状态（Namenode主要有active/standby/safemode三种模式）。

01

关于HDFS应知应会的几个问题

安全模式是Namenode的一种状态（Namenode主要有active/standby/safemode三种模式）。

01

Hadoop启动异常的处理--DataNode未启动

hadoop格式化后，我们需要启动hdfs。然而，有些时候启动hdfs并不是那么顺利，往往会出现DataNode未启动的现象。

03

高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南

192.168.1.84 hadoop84 #namenode1,resourcemanager

04

Hadoop常用命令

启动Hadoop 进入HADOOP_HOME目录。执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: [hadoop@hadoop-1 test]$ hadoop fs -ls /gsw/rs 2、打开某个已存在文件 hadoop dfs –cat [file_path] eg:[hadoop@hadoop-1

03

干货 | 98道常见Hadoop面试题及答案解析（一）

这是一篇hadoop的测试题及答案解析，题目种类挺多，一共有98道题，题目难度不大，对于高手来说，90分以上才是你的追求。 1 单选题 1.1 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode 1.2 HDfS 中的 block 默认保存几份？ a)3 份 b)2 份 c)1 份 d)不确定答案 A 默认 3份 1.3 下列哪个程序通常与 Name

04

大数据技术Hadoop面试题,看看你能答对多少？答案在后面

a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker

02

塔说 | 常见Hadoop面试题及答案解析

导读：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop得以在大数据处理应用中

05

Hadoop问题：DataNode线程不见了

DataNode线程不见了问题描述最近配置Hadoop的时候出现了这么一个现象，启动之后，使用jps命令之后是这样的：看不到DataNode进程，但是能够正常的工作，是不是很神奇

06

大数据技术Hadoop面试题,看看你能答对多少？答案在后面

单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份？ a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个程序通常与 NameNode 在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 4. Hadoop 作者 a)Marti

成为大数据顶尖程序员，先过了这些Hadoop面试题！（附答案解析）

导读：在大数据开发岗位的需求下，工资待遇水涨船高，不少编程人员在面对职业瓶颈期的时候，会选择转编程方向发展。

02

干货 | HDFS是怎么做文件管理和容错的？

在 HDFS 中，NameNode 作为整个集群的管理中心，保存着整个 HDFS 中的元数据信息，而真正保存数据的是 DataNode。那么， Hadoop HDFS 是如何管理这些文件的呢？本期内容就来为大家解答：

04

进击大数据系列（四）：Hadoop 架构基石分布式文件系统 HDFS

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。

02

大数据学习（一）-------- HDFS

已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。

02

Hadoop大数据平台运维工程师须掌握的基本命令集分享

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢 1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help 2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output

09

【大数据哔哔集20210122】面试官问我HDFS丢不丢数据？我啪就把这个文章甩到他脸上

HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode节点来对这些数据进行管理，存储这些block的结点称为DataNode，NameNode是用来管理这些元数据的。

02

HDFS|基本概念和读写原理

01 — HDFS设计目的 A distributed file system that provides high-throughput access to application data. HDFS（Hadoop Distributed File System ）是Hadoop分布式文件系统，设计目的是为了存储超大文件，主要是针对几百MB，GB，甚至TB的文件，流式读取方式，主要是针对一次写入，写入的过程使用的是append的方式，多次读出的使用模式。该分布式系统构建在普通PC机组成的集群上，大大降

07

Hadoop-2.4.0分布式安装手册

本文的目的是为当前最新版本的Hadoop 2.4.0提供最为详细的安装说明，以帮助减少安装过程中遇到的困难，并对一些错误原因进行说明。本文的安装只涉及了hadoop-common、hadoop-hdfs、hadoop-mapreduce和hadoop-yarn，并不包含HBase、Hive和Pig等。

01

HDFS-集群扩容及缩容

白名单：在白名单的主机IP地址可以访问集群，对集群进行数据的存储。不在白名单的主机可以访问集群，但是不会在主机上存储数据企业中：配置白名单，可以尽量防止黑客恶意访问攻击。

01

Hadoop HDFS 实现原理图文详解

Hadoop分布式文件系统 (HDFS) 是运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。

02

Hadoop-2.7.2分布式安装手册

当前版本的Hadoop已解决了hdfs、yarn和hbase等单点，并支持自动的主备切换。

02

Hadoop主从节点之间建立SSH无密码登录

Hadoop使用ssh来通信。所以操作系统上必须安装ssh，本人采用的是Ubuntu 14，安装ssh后要保证sshd处于运行状态，如果没有安装ssh的话，

04

独家 | 一文读懂Hadoop（二）HDFS（上）

随着全球经济的不断发展，大数据时代早已悄悄到来，而Hadoop又是大数据环境的基础，想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0，也意味着一直有一群人在对Hadoop不断的做优化，不仅如此，各个Hadoop的商业版本也有好多公司正在使用，这也印证了它的商业价值。读者可以通过阅读“一文读懂Hadoop”系列文章，对Hadoop技术有个全面的了解，它涵盖了Hadoop官网的所有知识点，并且通俗易懂，英文不好的读者完全可以通过阅读此篇文章了解Hado

HDFS 基本概念及常用操作学习笔记

Hadoop 附带了一个名为 HDFS(Hadoop Distributed File System, Hadoop分布式文件系统)的分布式文件系统，基于 Hadoop 的应用程序使用 HDFS 。HDFS 是专为存储超大数据文件，运行在集群的商品硬件上。它是容错的，可伸缩的，并且非常易于扩展。

01

Hadoop-2.8.0分布式安装手册

10.12.154.79: Error: JAVA_HOME is not set and could not be found.

02

Hadoop之NameNode+ResourceManager高可用原理分析

俗话说的好，没有高可用，如何敢抗双十一？今天就来简单分析下，Hadoop集群中关于QJM高可用NamdeNode-HA的原理：关于NameNode高可靠需要配置的文件有core-site.xml和

07

Hadoop分布式文件系统HDFS

为了保证数据的可靠性和容错性，HDFS会为每个数据块创建多个副本（默认为3个），并将这些副本分布到不同的DataNode上。当某个DataNode出现故障时，可以从其他DataNode上获取数据块的副本，从而确保数据的可靠性。

01

Hadoop中HDFS读取和写入的工作原理

HDFS和HBase是Hadoop中两种主要的存储文件系统，两者适用的场景不同，HDFS适用于大文件存储，HBASE适用于大量小文件存储。本文主要讲解HDFS文件系统中客户端是如何从Hadoop集群中读取和写入数据的，也可以说是block策略。

02

HDFS 集群无法启动 DataNode 节点以及管理界面缺少 DataNode 节点的解决方法

搭建了一个 HDFS 集群，用了 3 台虚拟机，1 台虚拟机是master作为NameNode节点；2 台虚拟机分别是slave1和slave2作为DataNode节点，具体的集群搭建过程可参考「快速搭建 HDFS 系统（超详细版）」这篇博文。

02

Hadoop的管理目录

1、NameNode的文件结构,NameNode会创建VERSION、edits、fsimage、fstime文件目录。其中dfs.name.dir属性是一个目录列表，是每个目录的镜像文件。VERSION文件是JAVA属性文件，其中包含运行HDFS的版本信息。包含内容:

02

hadoop 面试题收集及个人答案整理

1、简要描述如何安装配置一个apache开源版hadoop，描述即可，列出步骤更好

01

Hadoop架构: HDFS中数据块的状态及其切换过程，GS与BGS

该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览

03

Java核心知识点整理大全25-笔记

就是一个大数据解决方案。它提供了一套分布式系统基础架构。核心内容包含 hdfs 和 mapreduce。hadoop2.0 以后引入 yarn. hdfs 是提供数据存储的，mapreduce 是方便数据计算的。

01

【最全的大数据面试系列】Hadoop面试题大全（一）

1）client 客户端发送上传请求，通过 RPC 与 namenode 建立通信，namenode 检查该用户是否有上传权限，以及上传的文件是否在 hdfs 对应的目录下重名，如果这两者有任意一个不满足，则直接报错，如果两者都满足，则返回给客户端一个可以上传的信息

02

安装Hadoop2.4.0遇到的问题及解决

2014-06-18 20:34:59,622 FATAL org.apache.Hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000 java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/hdfs/data: namenode clusterID = CID-af6f15aa-efdd-479b-bf55-77270058e4f7; datanode clusterID = CID-736d1968-8fd1-4bc4-afef-5c72354c39ce at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:472) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:225) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:249) at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:929) at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:900) at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:274) at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:220) at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:815) at java.lang.Thread.run(Thread.java:744)

01

大数据开发：Hadoop数据写入和数据读取流程

基于Hadoop开发自己的企业大数据平台，这是现如今很多企业刚开始做大数据的选择，而在Hadoop系统框架当中，Hadoop实现数据处理的原理和技术，更是很多同学在学习上的难点。今天，我们就基于Hadoop生成数据、写入数据和读取数据的流程，来给大家做一个简单的分解。

02

Hadoop中HDFS写入文件的原理剖析

要为即将到来的大数据时代最准备不是，下面的大白话简单记录了Hadoop中HDFS在存储文件时都做了哪些个事情，位将来集群问题的排查提供一些参考依据。

02

HDFS是如何设计架构的？

Hadoop到目前为止发展已经有10余年，版本经过无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1.0、Hadoop2.0、Hadoop3.0 三个版本。

03

hadoop关注点

Browser Interface A typical HDFS install configures a web server to expose the HDFS namespace through a configurable TCP port. This allows a user to navigate the HDFS namespace and view the contents of its files using a web browser. 浏览器接口一个典型的HDFS安装会在一个可配

09

Hadoop的HDFS和MapReduce

HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：

04

Hadoop之--HDFS

该文介绍了Hadoop分布式文件系统（HDFS）的基本概念、设计架构、工作原理、应用场景以及读写的实现方式。作为技术社区的内容编辑人员，需要对上述内容进行总结概述，以便于社区成员阅读和理解。

09

大数据常见面试知识点（一）

4.执行Hadoop balance命令。（此项为balance集群使用，如果只是添加节点，则此步骤不需要）

01

hadoop-1：部署并初探hadoop3.3.1的单节点集群

http://www.apache.org/dyn/closer.cgi/hadoop/common/

03

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。

02

大数据技术笔试题库

12、在MapTask的Combine阶段，当处理完所有数据时，MapTask会对所有的临时文件进行一次（）。

03

【技术创作101训练营】数据仓库应用分享

嗨，大家好。我是薄荷加点糖，我是一名java后端开发，一名彻头彻尾的coder。我今天的分享主要想解决的问题是 (下一张PPT)

07

hadoop使用（五）

第1章引言 1.1 编写目的对关于hadoop的文档及资料进行进一步的整理。 1.2 相关网站毋庸置疑 http://hadoop.apache.org/ 国内 http://www.hadoopor.com/ 专门研究hadoop的，《hadoop开发者》由该站创办，已发4期中国云计算论坛hadoop专区; http://bbs.chinacloud.cn/showforum-16.aspx 中科院计算所办的hadoop：http://www.hadooper.cn/

05

使用docker-compose创建hadoop集群

下载docker镜像首先下载需要使用的五个docker镜像 docker pull bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8 docker pull bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8 docker pull bde2020/hadoop-resourcemanager:1.1.0-hadoop2.7.1-java8 docker pull bde2020/hadoop-historyserv

06

Hadoop Raid-实战经验总结

分布式文件系统用于解决海量数据存储的问题，腾讯大数据采用HDFS（Hadoop分布式文件系统）作为数据存储的基础设施，并在其上构建如Hive、HBase、Spark等计算服务。 HDFS块存储采用三副本策略来保证数据可靠性，随着数据量的不断增长，三副本策略为可靠性牺牲的存储空间也越来越大。如何在不降低数据可靠性的基础上，进一步降低存储空间成本，成为腾讯大数据迫切需要解决的问题。我们对facebook版本的hadoop raid分析发现，还有很多细节需要优化改进，本文就hadoop raid存在的问题进行探

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭