一文带您全面认识 Hadoop 框架与三大核心组件（HDFS、MapReduce、YARN）

一文带您全面认识 Hadoop 框架与三大核心组件（HDFS、MapReduce、YARN）

🔷博主介绍

致力于网络安全（漏洞挖掘、攻防实战）、Linux 内核系统（底层原理与性能调优）、区块链技术（Web3 安全与智能合约审计）、Python 语言应用（自动化攻防工具开发）、软件开发（全栈安全开发）等新一代信息技术领域的技术研究与干货分享，坚持以极简篇幅承载硬核知识的创作理念，为技术爱好者提供高效、深度、可落地的阅读体验。CSDN认证网络安全领域优质创作者、网络安全博客专家认证、阿里云专家博主。

🌐各大技术专栏推荐

什么是Hadoop框架？

大数据时代下，针对大数据处理的新技术也在不断地开发和运用中，并逐渐成为数据处理挖掘行业广泛使用的主流技术之一。在大数据时代，Hadoop作为处理大数据的分布式存储和计算框架，在国内外大、中、小型企业中已得到了广泛应用。学习Hadoop技术是从事大数据行业工作必不可少的一步。

在这里插入图片描述

在这里插入图片描述

Hadoop的发展历史

在这里插入图片描述

Hadoop的特点优势

在这里插入图片描述

什么是分布式文件系统HDFS？

1.HDFS简介及架构

HDFS是以分布式进行存储的文件系统，主要负责集群数据的存储与读取。 HDFS是一个主/从（Master/Slave）体系架构的分布式文件系统。 HDFS架构如图所示。

在这里插入图片描述

HDFS文件系统主要包含一个NameNode、一个SecondaryNameNode和多个DataNode。

在这里插入图片描述

2.HDFS分布式技术原理

HDFS作为一个分分布式系统可以划分成多个子系统或模块，各自运行在不同的机器上，子系统或模块之间通过网络通信进行协作，实现最终的整体功能。利用多个节点共同协作完成一项或多项具体业务功能的系统即为分布式系统。分布式文件系统，主要体现在3个方面。

在这里插入图片描述

3.宕机情况下处理方案

数据存储在文件系统中，如果某个节点宕机了，那么很容易造成数据流失，那我们该如何处理呢❓

1、冗余备份 在数据存储的过程中，对每个数据块都进行了副本备份，副本个数可以自行设置。 2、副本存放 目前使用的策略是，以存放3个副本（dfs.replication=3）为例，在同一机器的两个节点上各备份一个副本，再在另一台机器的某个节点上存放一个副本，前者可防止当该机器的某个节点宕机使可恢复数据，后者则防止当某个机器宕机时可恢复数据。 3、宕机处理 ①如果NameNode在预定的时间内没有收到心跳信息（默认是1Omin），将该DataNode从集群中移除。 ②当HDFS读取某个数据块时，如果正好存储该数据块的某个节点宕机了，那么客户端将会在存储该数据块的其他节点上读取数据块信息。 当HDFS存储数据时，如果需要存放数据的节点宕机，那么HDFS将再重新分配一个节点给该数据块，并备份宕机节点中的数据。

4.HDFS的优点及缺点

HDFS的优点

在这里插入图片描述

HDFS的缺点

1、不适合低延迟数据访问

2、无法高效存储大量小文件

3、不支持多用户写入及任意修改文件

什么是分布式计算框架MapReduce?

1.MapReduce简介

MapReduce是Hadoop的核心计算框架，是用于大规模数据集（大于1TB）并行运算的编程模型，主要包括Map（映射）和Reduce（规约）两个阶段。 MapReduce的核心思想是，当启动一个MapReduce任务时，Map端将会读取HDFS上的数据，将数据映射成所需要的键值对类型并传至Reduce端。Reduce端接收Map端键值对类型的中间数据，并根据不同键进行分组，对每一组键相同的数据进行处理，得到新的键值对并输出至HDFS。

2.MapReduce工作原理一览

一个完整的MapReduce过程包含数据的输入与分片、Map阶段数据处理、Shuffle&Sort阶段数据整合、Reduce阶段数据处理、数据输出等阶段。

在这里插入图片描述

读取输入数据：从HDFS分布式文件系统中读取的，根据所设置的分片大小对文件重新分片（Split）。

Map阶段：数据将以键值对的形式被读入，键的值一般为每行首字符与文件最初始位置的 偏移量，即中间所隔字符个数，值为该行的数据记录。 根据具体的需求对键值对进行处理，映射成新的键值对，将新的键值对传输至 Reduce端。

shuffle&Sort阶段：将同一个Map中输出的键相同的数据先进行整合，减少传输的数据量，并且在整 合后将数据按照键进行排序。

Reduce阶段：针对所有键相同的数据，对数据进行规约，形成新的键值对。

输出阶段：将数据文件输出至HDFS，输出的文件个数和Reduce的个数一致，如果只有一个 Reduce，那么输出的只有一个数据文件，默认命名为“part-r-00000”。

3.MapReduce的本质

将一组键值对<K1,V1>经过Map阶段映射成新的键值对<K2,V2>，接着经过Shuffle/Sort阶段进行排序和整合，最后经过Reduce阶段，将整合后的键值对组进行规约处理，输出新的键值对<K3，V3>。

在这里插入图片描述

4.MapReduce映射示例

在这里插入图片描述

什么是集群资源管理器YARN？

1.YARN简介

YARN是Hadoop的资源管理器，提交应用至YARN上执行可以提高资源在集群的利用率，加快执行速率。

HadoopYARN的目的是使得Hadoop数据处理能力超越MapReduce。

YARN的另一个目标就是拓展Hadoop，使得YARN不仅可以支持MapReduce计算，而且还可以很方便地管理如Hive、HBase、Pig、Spark/Shark等组件的应用程序。

2.YARN的基本架构与任务流程

YARN的基本组成结构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Client Application这4部分构成。

在这里插入图片描述

ResourceManager(RM):一个全局的资源管理器，负责整个系统的资源管理和分配, ResourceManager主要由两个组件构成，即调度器（Scheduler）和应用程序 管理器（Applications Manager，ASM)。

NodeManager(NM):每个节点上的资源和任务管理器。一方面，会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；另一方面，将接收并处 理来自ApplicationMaster的Container启动或停止等各种请求。

ApplicationMaster(AM):与ResourceManager调度器协商以获取资源（用Container表示）。 将得到的任务进行进一步的分配。 与NodeManager通信以启动或停止任务。 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源并重启任务。

Client Application:ClientApplication是客户端应用程序，客户端将应用程序提交到RM时，首先将创建一个Application上下文件对象，再设置AM必需的资源请求信息，最后提交至RM。

3.YARN的工作流程

在这里插入图片描述

🤵‍♂️ 个人博客主页： @旺仔Sec的博客主页 WeChat公众号：鹏璃安全 ✍🏻 博主身份：网络安全兼技能大赛工程师 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞👍🏻 收藏 📂加关注（各大技能大赛参考答案链接如下） 🖥️：软件测试技能大赛参考答案 🙌：软件测试—单元自动化接口测试参考答案 👻：区块链技术应用技能大赛参考答案 🚀：大数据应用开发职业院校竞赛答案参阅 🔎：GZ100移动应用设计与开发参考答案 ✍：GZ031应用软件系统开发参考答案 ☠：网络安全职业技能大赛任务解析