文章/答案/技术大牛

发布

社区首页 >专栏 >大数据_Hadoop初体验

大数据_Hadoop初体验

原创

Pandolar

修改于 2022-01-04 02:27:29

1K0

文章被收录于专栏：Pandolar个人学习Pandolar个人学习

Apache Hadoop

Hadoop介绍

Hadoop简介

狭义上：hadoop指的是Apache一款java开源软件，是一个大数据分析处理平台。
Hadoop HDFS：分布式文件系统。解决了海量数据存储问题。

    Hadoop Distributed File System (HDFS™)

Hadoop MapReduce：分布式计算框架。解决海量数据计算问题。

    parallel processing of large data sets.

Hadoop YARN：集群资源管理和任务调度。

    A framework for job scheduling and cluster resource management.
    
    #资源指的是和程序运行相关的硬件资源
    cpu ram内存
    
    #任务调度
    集群资源繁忙的时候 如何分配资源给各个程序  调度
    调度的关键是策略：先来后到  权重

广义上：Hadoop指的是hadoop生态圈。

  提供了大数据的几乎所有软件。
  采集、存储、导入、分析、挖掘、可视化、管理...

Hadoop起源发展

Hadoop之父--Doug Cutting 卡大爷
起源项目Apache Nutch。致力于构建一个全网搜索引擎。
Google也在做搜索，也遇到这些问题，内部解决了。
google不想开源软件，但是又憋的难受，怕被人不知道，写论文发表。
前后写了3篇论文（谷歌是使用c实现的）。

    谷歌分布式文件系统（GFS）------>HDFS
    谷歌版MapReduce 系统------>Hadoop MapReduce
    bigtable---->HBase

基于论文的影响 Nutch团队实现了相应的java版本开源组件。
Nutch团队把HDFS和MapReduce抽取独立成为单独软件在2008年贡献给了Apache。开源。
Doug Cutting 看到他儿子在牙牙学语时，抱着黄色小象，亲昵的叫hadoop，他灵光一闪，就把这技术命名为 Hadoop，而且还用了黄色小象作为标示 Logo。

Hadoop特性优点

分布式、扩容能力

  不再注重单机能力 看中的是集群的整体能力。
  动态扩容、缩容。

成本低

  在集群下 单机成本很低 可以是普通服务器组成集群
  意味着大数据处理不一定需要超级计算机。

高效率并发能力
可靠性
通用性

  #技术是相同的 业务不相同的
  #hadoop精准区分技术和业务。
  
  做什么?(what need to do)---->业务问题（20%）
  怎么做?(how to do)----->技术问题（80%）
  
  Hadoop把技术实现了 用户负责业务问题。
  
  原来大数据这么简单 可以这么玩。

Hadoop集群搭建

发行版本

官方社区版本 Apache基金会官方
版本新功能最全的
不稳定兼容性需要测试 bug多
商业版本商业公司在官方版本之上进行商业化发行。著名：Cloudera、hotonWorks、MapR
稳的一批兼容性极好技术支持本地化支持一键在线安装
版本不一定是最新的辅助工具软件需要收费

    Cloudera发行的hadoop生态圈软件叫做CDH版本。
    Cloudera’s Distribution Including Apache Hadoop。
    
    https://www.cloudera.com/products/open-source/apache-hadoop/key-cdh-components.html
    
    Hortonworks Data Platform (HDP)

本次使用的是Apache 3.3.0版本。
Hadoop本身版本变化
hadoop 1.x

    只有hdfs mapreduce. 架构过于垃圾 性能不高 当下企业中没人使用了。

hadoop 2.x

    hdfs  MapReduce  yarn.

hadoop 3.x

架构和2一样 性能做了优化

Hadoop集群

通常是有hdfs集群和yarn集群组成。两个集群都是标准的主从架构集群。
两个集群逻辑上分离物理上在一起。（图）

HDFS集群：解决了海量数据存储分布式存储系统
主角色：namenode（NN）
从角色：datanode（DN）
主角色辅助角色"秘书角色"：secondarynamenode （SNN）
YARN集群：集群资源管理任务调度
主角色：resourcemanager（RM）
从角色：nodemanager（NM）

Hadoop部署模式、集群规划

单机模式 Standalone

  一台机器，所有的角色在一个java进程中运行。 适合体验。

伪分布式

  一台机器 每个角色单独的java进程。 适合测试

分布式 cluster

  多台机器  每个角色运行在不同的机器上  生产测试都可以

高可用（持续可用）集群 HA - High Available

  在分布式的模式下 给主角色设置备份角色  实现了容错的功能 解决了单点故障
  保证集群持续可用性。

image-20211225145052520
Hadoop集群的规划
根据软件和硬件的特性合理的安排各个角色在不同的机器上。

- 有冲突的尽量不部署在一起
- 有工作依赖尽量部署在一起
- nodemanager  和datanode是基友

    node1: namenode  datanode                    | resourcemanager  nodemanger
    node2:			 datanode   secondarynamenode|			        nodemanger
    node3:			 datanode                    |  		        nodemanger

Q：如果后续需要扩容hadoop集群，应该增加哪些角色呢？

node4:  datanode  nodemanger

node5:  datanode  nodemanger

node6:  datanode  nodemanger

.....

Hadoop源码编译

https://archive.apache.org/dist/
Apache软件基金会的所有软件所有版本的下载地址.

源码下载地址

  https://archive.apache.org/dist/hadoop/common/
  
  hadoop-3.3.0-src.tar.gz    source 源码包
  hadoop-3.3.0.tar.gz        官方编译后安装包

对应java语言开发的项目软件来说，所谓的编译是什么？

  xxx.java(源码)---->xxx.class(字节码)---->jar包

正常来说，官方网站提供了安装包，可以直接使用，为什么要自己编译呢？
修改源码之后需要重新编译。
官方提供的最大化编译满足在各个平台运行，但是不一定彻底兼容本地环境。
某些软件，官方只提供源码。

  native library 本地库。
  官方编译好的 Hadoop的安装包没有提供带 C程序访问的接口。主要是本地压缩支持、IO支持。

怎么编译？

  在源码的根目录下有编译相关的文件BUILDING.txt 指导如何编译。
  使用maven进行编译 联网jar.

可以使用提供编译好的安装包

  hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

Hadoop具体安装部署

详细安装步骤参考课程资料：
《day02Hadoop基础\06软件\hadoop-3.3.0\Hadoop3.3.0Linux编译安装.md》

服务器基础环境准备

ip、主机名

hosts映射别忘了windows也配置

防火墙关闭

时间同步

免密登录 node1---->node1 node2 node3

JDK安装

安装包目录结构

#上传安装包到/export/server 解压

bin #hadoop核心脚本最基础最底层脚本

etc #配置目录

include

lib

libexec

LICENSE.txt

NOTICE.txt

README.txt

sbin #服务启动关闭维护相关的脚本

share #官方自带实例 hadoop相关依赖jar

配置文件的修改

官网文档：https://hadoop.apache.org/docs/r3.3.0/

第一类 1个 hadoop-env.sh
第二类 4个 core|hdfs|mapred|yarn-site.xml
site表示的是用户定义的配置，会覆盖default中的默认配置。
core-site.xml 核心模块配置
hdfs-site.xml hdfs文件系统模块配置
mapred-site.xml MapReduce模块配置
yarn-site.xml yarn模块配置
第三类 1个 workers
image-20211225151801375

scp安装包到其他机器

root@node1 server$ scp -r /export/server/hadoop root@node2:$PWD

root@node1 server$ scp -r /export/server/hadoop root@node3:$PWD

Hadoop环境变量配置

vim /etc/profile

HADOOP_HOME=/export/server/hadoop/

PATH=$PATH:$HADOOP_HOME/etc/hadoop

source /etc/profile

hadoop namenode format

format准确来说翻译成为初始化比较好。对namenode工作目录、初始文件进行生成。
通常在namenode所在的机器执行执行一次。首次启动之前

  #在node1 部署namenode的这台机器上执行
  
  hadoop namenode -format
  
  #执行成功 日志会有如下显示
  21/05/23 15:38:19 INFO common.Storage: Storage directory /export/data/hadoopdata/dfs/name has been successfully formatted.
  
  [root@node1 server]# ll /export/data/hadoopdata/dfs/name/current/
  total 16
  -rw-r--r-- 1 root root 321 May 23 15:38 fsimage_0000000000000000000
  -rw-r--r-- 1 root root  62 May 23 15:38 fsimage_0000000000000000000.md5
  -rw-r--r-- 1 root root   2 May 23 15:38 seen_txid
  -rw-r--r-- 1 root root 207 May 23 15:38 VERSION

Q：如果不小心初始化了多次，如何？
现象：主从之间互相不识别。
解决

#企业真实环境中    枪毙

#学习环境

删除每台机器上hadoop.tmp.dir配置指定的文件夹/export/data/hadoop-3.3.0。

重新format。

Hadoop集群启动

单节点单进程逐个手动启动

HDFS集群

  #hadoop2.x版本命令
  hadoop-daemon.sh start|stop  namenode|datanode|secondarynamenode
  
  #hadoop3.x版本命令
  hdfs --daemon start|stop namenode|datanode|secondarynamenode

YARN集群

  #hadoop2.x版本命令
  yarn-daemon.sh start|stop resourcemanager|nodemanager
  
  #hadoop3.x版本命令
  yarn --daemon start|stop resourcemanager|nodemanager

优点：精准的控制每个角色每个进程的启停。避免了群起群停（时间成本）。
image-20211225162307379

脚本一键启动

前提：配置好免密登录。ssh

  ssh-copy-id node1.itcast.cn
  ssh-copy-id node2.itcast.cn
  ssh-copy-id node3.itcast.cn

HDFS集群

  start-dfs.sh 
  stop-dfs.sh

YARN集群

  start-yarn.sh
  stop-yarn.sh

更狠的 - 首次启动集群

  start-all.sh
  stop-all.sh
  
  [root@node1 ~]# start-all.sh 
  This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

集群进程确认和错误排查

确认是否成功

  [root@node1 ~]# jps
  8000 DataNode
  8371 NodeManager
  8692 Jps
  8264 ResourceManager
  7865 NameNode

如果进程不在看启动运行日志！！！！！！！！！！！！！

  #默认情况下 日志目录
  cd /export/server/hadoop-3.3.0/logs/
  
  #注意找到对应进程名字 以log结尾的文件

Hadoop初体验

Hadoop Web UI页面
HDFS集群 http://namenode_host:9870
YARN集群 http://resourcemanager_host:8088

  http://node1:9870/dfshealth.html#tab-overview

初体验之HDFS

本质就是存储文件的和标准文件系统一样吗？
也是有目录树结构，也是从根目录开始的。
文件是文件、文件夹是文件夹（对于zk来说）
和linux很相似
上传小文件好慢。为什么慢？和分布式有没有关系？

体验之MapReduce+yarn

MapReduce是分布式程序 yarn是资源管理给程序提供运算资源。 Connecting to ResourceManager

  [root@node1 mapreduce]# pwd
  /export/server/hadoop-3.3.0/share/hadoop/mapreduce
  
  hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi  2 2

MR程序运行首先连接YRAN ResourceManager，连接它干什么的？要资源。
MR程序好像是两个阶段，先Map 再Reduce。
数据量这么小的情况下，为什么MR这么慢？ MR适合处理大数据场景还是小数据场景？

Hadoop辅助功能

MapReduce jobhistory服务

背景

  默认情况下，yarn上关于MapReduce程序执行历史信息、执行记录不会永久存储；
  一旦yarn集群重启 之前的信息就会消失。

功能

  保存yarn上已经完成的MapReduce的执行信息。

配置
因为需求修改配置。重启hadoop集群才能生效。

    vim mapred-site.xml
    
    <property>
    	<name>mapreduce.jobhistory.address</name>
    	<value>node1:10020</value>
    </property>
    
    <property>
    	<name>mapreduce.jobhistory.webapp.address</name>
    	<value>node1:19888</value>
    </property>

scp同步给其他机器

    scp /export/server/hadoop-3.3.0/etc/hadoop/mapred-site.xml node2:/export/server/hadoop-3.3.0/etc/hadoop/
    
    scp /export/server/hadoop-3.3.0/etc/hadoop/mapred-site.xml node3:/export/server/hadoop-3.3.0/etc/hadoop/

重启hadoop集群
自己手动启停jobhistory服务。

#hadoop2.x版本命令

mr-jobhistory-daemon.sh start|stop historyserver

#hadoop3.x版本命令

mapred --daemon start|stop historyserver

[root@node1 ~]# jps

13794 JobHistoryServer

13060 DataNode

12922 NameNode

13436 NodeManager

13836 Jps

13327 ResourceManager

HDFS 垃圾桶机制

背景在windows叫做回收站

  在默认情况下 hdfs没有垃圾桶 意味着删除操作直接物理删除文件。
  
  [root@node1 ~]# hadoop fs -rm /itcast/1.txt
  Deleted /itcast/1.txt

功能：和回收站一种在删除数据的时候先去垃圾桶如果后悔可以复原。
配置

  在core-site.xml中开启垃圾桶机制
  
  指定保存在垃圾桶的时间。单位分钟
  
  <property>
  	<name>fs.trash.interval</name>
  	<value>1440</value>
  </property>

集群同步配置重启hadoop服务。

  [root@node1 hadoop]# pwd
  /export/server/hadoop-3.3.0/etc/hadoop
  [root@node1 hadoop]# scp core-site.xml node2:$PWD
  core-site.xml                                              100% 1027   898.7KB/s   00:00    
  [root@node1 hadoop]# scp core-site.xml node3:$PWD
  core-site.xml

垃圾桶使用
配置好之后再删除文件直接进入垃圾桶

    [root@node1 ~]# hadoop fs -rm /itcast.txt
    INFO fs.TrashPolicyDefault: Moved: 'hdfs://node1:8020/itcast.txt' to trash at: hdfs://node1:8020/user/root/.Trash/Current/itcast.txt

垃圾桶的本质就是hdfs上的一个隐藏目录。

    hdfs://node1:8020/user/用户名/.Trash/Current

后悔了需要恢复怎么做？

    hadoop fs -cp /user/root/.Trash/Current/itcast.txt /

就想直接删除文件怎么做？

    hadoop fs -rm -skipTrash /itcast.txt
     
    [root@node1 ~]#  hadoop fs -rm -skipTrash /itcast.txt
    Deleted /itcast.txt

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

hadoop

大数据

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

hadoop

大数据

登录后参与评论

暂无评论

hadoop+spark+zookeeper+hive的大数据分布式集群搭建

hadoop bash bash 指令 spark

hadoop+spark+zookeeper分布式集群部署这里的排版可能不太好看因为本是我直接写在博客上的外挂标签修剪的，如果想要获得更好的阅读体验建议在我的博客中浏览1.环境准备环境的准备基于我写的初始化脚本,自用7.x系列的CentOS,老版本的就支持CentOS/Redhat6,7,8但是有点不完善，需要可以邮箱或者博客留言。os\ip hostnameblock centos7.9 192.168.222.226master rsmanage

Tianlin_Zz

2022/11/18

8780

大数据Flink进阶（九）：集群基础环境搭建

大数据

Flink可以运行在所有类unix环境中，例如：Linux，Mac OS 和Windows，一般企业中使用Flink基于的都是Linux环境，后期我们进行Flink搭建和其他框架整合也是基于linux环境，使用的是Centos7.6版本，JDK使用JDK8版本(Hive版本不支持JDK11,所以这里选择JDK8)，本小节主要针对Flink集群使用到的基础环境进行配置，不再从零搭建Centos系统，另外对后续整合使用到的技术框架也一并进行搭建，如果你目前已经有对应的基础环境，可以忽略本小节，Linux及各个搭建组件使用版本如下表所示。

Lansonli

2023/03/30

1.3K0

Hadoop3.0基础平台搭建(三节点),以及案例运行并使用python生成词云

hadoop xml bash bash 指令大数据

软件包下载地址：链接: https://pan.baidu.com/s/1dvf4o8i9J02fmUu3SMRyDw 提取码: 3dk3

指剑

2022/07/15

5120

Hadoop3.0基础平台搭建(三节点),以及案例运行并使用python生成词云

Hadoop学习指南：探索大数据时代的重要组成——Hadoop运行模式(上）

hadoop 大数据集群脚本配置

1）Hadoop 官方网站：http://hadoop.apache.org/ 2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 ➢ 本地模式：单机运行，只是用来演示一下官方案例。==生产环境不用。 == ➢ 伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。==个别缺钱的公司用来测试，生产环境不用。 == ➢ 完全分布式模式：多台服务器组成分布式环境。==生产环境使用。 ==

老虎也淘气

2024/01/30

2700

Hadoop完全分布式安装部署

hadoop

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。我们本次主要完成搭建实际生产环境中比较常用的完全分布式模式，搭建完全分布式模式之前需要对集群部署进行提前规划，不要将过多的服务集中到一台节点上，我们将负责管理工作的namenode和ResourceManager分别部署在两台节点上，另外一台节点上部署SecondaryNamenode，所有节点均承担Datanode和Nodemanager角色，并且datanode和nodemanager通常存在同一节点上，所有角色尽量做到均衡分配。

程序狗

2021/09/02

8430

2021年大数据Hadoop（六）：全网最详细的Hadoop集群搭建

xml hadoop yarn node.js 大数据

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

Lansonli

2021/10/11

3.8K0

hadoop集群搭建

jdk hadoop 大数据 bash bash 指令

其他两台机器改一下我们的hostname就行了 node2 node3（重复上面的操作）

背雷管的小青年

2020/08/24

3.2K0

如何安装和设置3节点Hadoop集群

hadoop

Hadoop是一个开源Apache项目，允许在大型数据集上创建并行处理应用程序，分布在网络节点上。它由处理节点间数据可扩展性和冗余的Hadoop分布式文件系统（HDFS™）和Hadoop YARN组成：用于在所有节点上执行数据处理任务的作业调度框架。

chokwin

2018/09/11

2.2K0

CentOS7搭建Hadoop-3.3.0集群

hadoop 大数据 jdk xml ssh

这篇文章是基于Linux系统CentOS7搭建Hadoop-3.3.0分布式集群的详细手记。

Throwable

2020/12/29

2.3K0

COS助力HADOOP轻松实现数据存储

对象存储 hadoop 云服务器

1.2 如何在hadoop集群上实现简单的数据处理，通过 wordcount 实现测试。

Hunter

2020/03/01

2K0

史上最强hadoop分布式集群的搭建

hadoop zookeeper xml 分布式 http

原文首发CSDN：https://blog.csdn.net/weixin_44510615/article/details/104625802

润森

2020/03/12

6410

Hadoop基础教程-第9章 HA高可用（9.2 HDFS 高可用配置）

xml node.js 大数据面向对象编程 hadoop

因为前面我们已经配置启动了普通的Hadoop相关服务，需要先停止相关服务并清除数据。（1）停止Hadoop服务首先停止YARN

程裕强

2022/05/06

3060

Hadoop集群安装

hadoop 程序集群脚本配置

Hadoop安装主要就是配置文件的修改，一般在主节点进行修改，完毕后scp分发给其他各个从节点机器。

张哥编程

2024/12/07

2150

大数据必知必会：Hadoop（3）集群环境安装

xml hadoop 大数据 bash bash 指令

wux_labs

2023/02/08

9760

实战CentOS系统部署Hadoop集群服务

linux hadoop yarn node.js xml

shaonbean

2019/05/26

5680

0基础搭建Hadoop大数据处理-集群安装

大数据 hadoop java

　　经过一系列的前期环境准备，现在可以开始Hadoop的安装了，在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 　　不需要下载最新的3.0版本，与后续Hive最新版本有冲突，不知道是不是自己的打开方式不对。　 hadoop有三种运行方式：单机、伪分布式、完全分布式，本文介绍完全分布式。安装Hadoop 　　现在有三个机器，一个Mast

欢醉

2018/01/22

1.2K0

大数据篇---hadoop学习一、搭建hadoop环境(centos7)二、hadoop知识点

unix hadoop yarn mapreduce tcp/ip

大咖揭秘Java人都栽在了哪？点击免费领取《大厂面试清单》，攻克面试难关~>>>

用户2337871

2020/11/13

5110

大数据篇---hadoop学习一、搭建hadoop环境(centos7)二、hadoop知识点

大数据-Hadoop的使用指南

大数据开源 hadoop http https

1.x版本系列：hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等

cwl_java

2019/12/25

1.1K0

快速带你搭建Hadoop的HA集群！（确定不来看看吗？）

node.js hadoop tcp/ip

相信大家在看了前面一篇《Hadoop High Availability （高可用）详细讲解》之后，大家一定在想怎么搭建Hadoop HA的集群呢？不要着急，小生接下来就带大家快速搭建一下(#.#)。

刘浩的BigDataPath

2021/04/13

5040

大数据必知必会：Hadoop（4）高可用集群安装

hadoop xml zookeeper yarn node.js

高可用集群是在多个节点上运行进程来实现Hadoop集群，并在集群中提供两个NameNode、两个ResourceManager节点。

wux_labs

2023/02/09

9551