Hadoop生态圈各种组件介绍

全栈程序员站长

发布于 2022-08-31 03:48:15

2.1K0

文章被收录于专栏：全栈程序员必看全栈程序员必看

大家好，又见面了，我是你们的朋友全栈君。

好多初入学习大数据的人不是很清楚，今天分享一个图，并介绍一下大致的组件，其他还有一些组件是没有包含在其中的，但是大部分这个图片是有了的。

一、简介

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

二、HDFS

Hadoop Distributed File System，简称HDFS，是个分布式文件系统，是hadoop的一个核心部分。HDFS有这高容错性(fault-tolerent)的特点，并且设计用来部署在低廉价的(low-cost)的硬件上，提供了高吞吐量(high-throughout)来访问应用程序的数据，适合那些有着超大数据集(largedata set)的应用程序。HDFS开始是为开源的apache项目nutch的基础结构而创建的。

三、MapReduce

Mapreduce是一个编程模型，一个处理和生成超大数据集算法模型的实现，简单概括就是“数据分解、并行计算、结果合并“。Mapreduce最大的优点是它简单的编程模型，程序猿只需根据该模型框架设计map和reduce函数，剩下的任务，如：分布式存储、节点任务调度、节点通讯、容错处理和故障处理都由mapreudce框架来完成，程序的设计有很高的扩展性。

四、大数据生态组件

Pig：Hadoop上的数据流执行引擎，由Yahoo开源，基于HDFS和MapReduce，使用Pig Latin语言表达数据流，目的在于让MapReduce用起来更简单。

Sqoop：主要用于在Hadoop和传统数据库进行数据互导。

ZooKeeper：分布式的，开放源码的分布式应用程序协调服务。

Flume：分布式、可靠、高可用的服务，它能够将不同数据源的海量日志数据进行高效收集、汇聚、移动，最后存储到一个中心化数据存储系统中，它是一个轻量级的工具，简单、灵活、容易部署，适应各种方式日志收集并支持failover和负载均衡。

Hive：构建在Hadoop之上的数据仓库，用于解决海量结构化的日志数据统计，定义了一种类SQL查询语言。

YARN：资源协调者、Hadoop 资源管理器，提供统一的资源管理和调度。

Impala：基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata。

Solr：基于Lucene的全文检索引擎。

Hue：开源的Apache Hadoop UI系统，基于Python Web框架Django实现的。通过使用Hue可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。

Oozie：基于工作流引擎的服务器，可以在上面运行Hadoop任务，是管理Hadoop作业的工作流调度系统。

Storm：分布式实时大数据处理系统，用于流计算。

Hbase：构建在HDFS上的分布式列存储系统，海量非结构化数据仓库。

Spark：海量数据处理的内存计算引擎，Spark框架包含Spark Streaming、Spark SQL、MLlib、GraphX四部分。

Mahout：Apache Software Foundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现。

Drill：低延迟的分布式海量数据（涵盖结构化、半结构化以及嵌套数据）交互式查询引擎，使用ANSI SQL兼容语法，支持本地文件、HDFS、HBase、MongoDB等后端存储，支持Parquet、JSON、CSV、TSV、PSV等数据格式。

Tez：有向无环图的执行引擎，DAG作业的开源计算框架。

Shark：SQL on Spark，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。

五、Hadoop核心件组有哪些? 广义hadoop指什么?

核心组件有：Hdfs、Yarn、MapReduce;
广义上指一个生态圈，泛指大数据技术相关的开源组件或产品，如hdfs、yarn、hbase、hive、spark、pig、zookeeper、kafka、flume、phoenix、sqoop。

Spark与hadoop之间有什么联系

Spark也是一个生态圈，发展非很快，在计算方面比mapreduce要快很多倍，供了一个简单而丰富的编程模型，支持多种应用，包括ETL、机器学习、数据流处理、图形计算；
Hadoop和Spark在某些方面有重叠，但组件之间都可以很好的协同作战。

六、分门别类介绍其中详细组件

为了方便理解以下按照功能进行了分类，并且把较为流行的排在了前面介绍，列表如下：

分类	相关产品
文件系统	HDFS,目前大量采用的分布式文件系统，是整个大数据应用场景的基础通用文件存储组件 S3, Simple Storage Service简单存储服务，更好的可扩展性，内置的持久性，以及较低的价格
资源调度	YARN,分布式资源调度，可以接收计算的任务把它分配到集群各节点处理，相当于大数据操作系统，通用性好，生态支持好； Mesos，同YARN类似，偏向于资源的抽象和管理
计算框架	Spark序列，有流计算、图计算、机器学习； Flink，支持计算数据不断变化，即增量计算； Storm，专注于流式计算，功能强大； Mapreduce, 分布式计算基本计算框架，编程难度高，执行效率低
数据库	Hbase，一种NoSQL列簇数据库，支持数十亿行数百万列大型数据储存和访问，尤其是写数据的性能非常好，数据读取实时性较好，提供一套API，不支持SQL操作，数据存储采用HDFS； Cassandra，对大型表格和 Dynamo支持得最好； Redis，运行异常快，还可应用于分布式缓存场景
SQL支持	Spark SQL，由Shark、Hive发展而来的，以SQL方式访问数据源（如hdfs、hbase、S3、redis甚至关系统数据库等，下同）； Phoenix，一套专注于SQL方式访问hbase的JDBC驱动，支持绝大部分SQL语法，支持二级索引，支持事务，低延时； Hive，通过HQL（类似SQL）来统计分析生成查询结果，通过解析HQL生成可以Mapreduce上执行的任务，典型的应用场景是与hbase集成；其它：impala、pig等，都实现了类似的功能，解决了直接写map/reduce分析数据的复杂性，降低了数据分析工作者或开发人员使用大数据的门槛
其它工具	分布式协作zookeeper,可以理解为一个小型高性能的数据库，为生态圈中与很多组件提供发布订阅的功能，还可以监测节点是否失效（心跳检测），如HBase、Kafka中利用zookeeper存放了主从节点信息； Kafka, 是一种分布式的，基于发布/订阅的消息系统,类似于消息对列的功能，可以接收生产者（如webservice、文件、hdfs、hbase等）的数据，本身可以缓存起来，然后可以发送给消费者（同上），起到缓冲和适配的作； Flume,分布式的海量日志采集、聚合和传输的系统，主要作用是数据的收集和传输，也支持非常多的输入输出数据源； Sqoop，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中

七、典型的组合使用场景

Hadoop、Spark生态圈的组件是相互配合使用的，每个组件都有自己“用武之地”，组合起来完成即可以满足各种系统业务需求，下面列举两个例子：

（1）数据采集、存储、分析场景

该场景下完成了整个数据的采集、存储、分析，并输出结果，组件搭配如下：

Flume + kafka(zookeeper)+ Hdfs + Spark/Storm/Hive + Hbase (Zookeeper、Hdfs) /Redis

说明如下：

Flume用来从种渠道（如http、exec、文件、kafka , …）收集数据，并发送到kaffka(当然也可以存放到hdfs、hbase、file、…)
Kafka可以缓存数据，与flume一样也支持各种协议的输入和输出，由于kafka需要zookeeper来完成负载均衡和HA，所以需要zookeeper来支持
开始计算，这里有三种选择，Spark/Storm/Hive，各有优势，相对Hive目前仍使用广泛，该技术出现的较早；Storm专注于流式处理，延迟非常低； Spark最有前景的计算工具；不管用什么，最终都是对数据的清理、统计，把得到的结果输出
展示结果数据存储，可以使用Hbase kafka(zookeeper) /Redis或mysql等，看使用场景（数据量大小等因素），由于处理之后的结果数据一般比较少可以直接放到Redis，然后就可以采用常规的技术展示出报表或其它消费方式使用这些计算后的结果数据

（2）数据存储和实时访问

这种场景非常类似常规应用开发场景，即通过java的JDBC来访问大数据集群，组件搭配：

Jdbc + Solr + Phoenix/Spark sql + Hbase kafka(zookeeper) + Hdfs

说明如下：