【详解】hadoop下配置文件说明

Hadoop下配置文件说明

Hadoop 是一个开源框架，用于处理大规模数据集的存储和计算。它主要由两个核心组件组成：HDFS（Hadoop Distributed File System）和 MapReduce。Hadoop 的配置文件对于集群的正确运行至关重要。本文将详细介绍 Hadoop 中几个重要的配置文件及其用途。

1. ​​core-site.xml​​

​​core-site.xml​​ 文件是 Hadoop 核心配置文件之一，主要用于设置 Hadoop 系统级别的参数。这些参数影响整个 Hadoop 集群的行为。以下是该文件中常见的几个配置项：

• fs.defaultFS​:
• 描述: 指定默认的文件系统名称。
• 示例: ​​<value>hdfs://localhost:9000</value>​​
• io.file.buffer.size​:
• 描述: 设置文件读写的缓冲区大小。
• 示例: ​​<value>4096</value>​​
• hadoop.tmp.dir​:
• 描述: 指定 Hadoop 运行时使用的临时目录。
• 示例: ​​<value>/app/hadoop/tmp</value>​​

2. ​​hdfs-site.xml​​

​​hdfs-site.xml​​ 文件专门用于配置 HDFS 相关的参数。通过这个文件可以调整 HDFS 的行为，以适应不同的应用场景。以下是一些常用的配置项：

• dfs.replication​:
• 描述: 设置 HDFS 文件块的副本数。
• 示例: ​​<value>3</value>​​
• dfs.namenode.http-address​:
• 描述: 指定 NameNode 的 HTTP 地址。
• 示例: ​​<value>localhost:50070</value>​​
• dfs.datanode.data.dir​:
• 描述: 指定 DataNode 存储数据块的位置。
• 示例: ​​<value>/app/hadoop/data</value>​​

3. ​​mapred-site.xml​​

​​mapred-site.xml​​ 文件用于配置 MapReduce 框架的相关参数。这些参数决定了 MapReduce 任务的执行方式。以下是几个重要的配置项：

• mapreduce.framework.name​:
• 描述: 指定 MapReduce 框架的类型。
• 示例: ​​<value>yarn</value>​​
• mapreduce.jobhistory.address​:
• 描述: 指定 JobHistory Server 的地址。
• 示例: ​​<value>localhost:10020</value>​​
• mapreduce.map.memory.mb​:
• 描述: 设置 Map 任务的内存限制。
• 示例: ​​<value>1024</value>​​

4. ​​yarn-site.xml​​

​​yarn-site.xml​​ 文件用于配置 YARN（Yet Another Resource Negotiator），它是 Hadoop 2.x 及以上版本中的资源管理器。以下是几个关键的配置项：

• yarn.resourcemanager.hostname​:
• 描述: 指定 ResourceManager 的主机名。
• 示例: ​​<value>localhost</value>​​
• yarn.nodemanager.aux-services​:
• 描述: 指定 NodeManager 提供的辅助服务。
• 示例: ​​<value>mapreduce_shuffle</value>​​
• yarn.scheduler.minimum-allocation-mb​:
• 描述: 设置 YARN 调度器分配给容器的最小内存。
• 示例: ​​<value>512</value>​​

5. ​​slaves​​

​​slaves​​ 文件列出了所有 DataNode 和 NodeManager 的主机名或 IP 地址。这个文件通常位于 Hadoop 安装目录的 ​​etc/hadoop​​ 文件夹下。每行一个节点，例如：

node1 node2 node3

Hadoop 的配置文件主要用于设置 Hadoop 集群的各种参数，包括但不限于 HDFS、YARN 和 MapReduce 等组件的配置。下面是一些常见的 Hadoop 配置文件及其示例内容：

1. ​​core-site.xml​​

这个文件主要配置 Hadoop 的核心属性，如 HDFS 的默认文件系统和 Hadoop 的临时目录。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadoop/tmp</value>
    </property>
</configuration>

2. ​​hdfs-site.xml​​

这个文件主要配置 HDFS 的相关属性，如数据块的副本数、数据节点的存储路径等。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>localhost:50070</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/app/hadoop/data/dn1,/app/hadoop/data/dn2</value>
    </property>
</configuration>

3. ​​yarn-site.xml​​

这个文件主要配置 YARN 的相关属性，如资源管理器的地址、节点管理器的地址等。

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>8192</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8192</value>
    </property>
</configuration>

4. ​​mapred-site.xml​​

这个文件主要配置 MapReduce 的相关属性，如框架的运行模式（YARN 或本地）。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>localhost:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>localhost:19888</value>
    </property>
</configuration>

实际应用场景

假设你有一个 Hadoop 集群，需要进行以下配置：

1. HDFS 配置：

• 设置数据块的副本数为 3。
• 设置 NameNode 的 HTTP 地址为 ​​localhost:50070​​。
• 设置 DataNode 的存储路径为 ​​/app/hadoop/data/dn1​​ 和 ​​/app/hadoop/data/dn2​​。

1. YARN 配置：

• 设置 ResourceManager 的主机名为 ​​localhost​​。
• 设置 NodeManager 的辅助服务为 ​​mapreduce_shuffle​​。
• 设置每个 NodeManager 的内存资源为 8GB。

1. MapReduce 配置：

• 设置 MapReduce 框架的运行模式为 YARN。
• 设置 JobHistory Server 的地址为 ​​localhost:10020​​。
• 设置 JobHistory Web 应用的地址为 ​​localhost:19888​​。

在Hadoop生态系统中，配置文件是系统运行的基础，它们定义了Hadoop集群的各个组件如何工作以及如何与彼此交互。Hadoop的主要配置文件包括​​core-site.xml​​、​​hdfs-site.xml​​、​​yarn-site.xml​​和​​mapred-site.xml​​。下面我将详细介绍这些配置文件及其常用的配置项。

1. ​​core-site.xml​​

这个文件主要包含Hadoop核心系统的配置信息，比如文件系统（FS）的默认名称节点地址等。它对所有Hadoop组件都是通用的。

• fs.defaultFS​: 指定HDFS的默认名称节点（NameNode）。例如：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

这里​​localhost:9000​​是指HDFS的名称节点主机名和端口号。

• io.file.buffer.size​: 设置读写文件时使用的缓冲区大小，单位为字节。例如：

<property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
</property>

2. ​​hdfs-site.xml​​

这个文件包含了HDFS特定的配置，如数据块的复制因子、数据节点（DataNode）的目录等。

• ​​dfs.replication​​: 指定数据块的默认复制因子。例如：

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

这意味着每个数据块会被复制到三个不同的节点上。

• ​​dfs.namenode.http-address​​: 指定名称节点的HTTP服务地址。例如：

<property>
  <name>dfs.namenode.http-address</name>
  <value>localhost:50070</value>
</property>

• ​​dfs.datanode.data.dir​​: 指定数据节点存储数据块的本地目录。例如：

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/app/hadoop/tmp/dfs/data</value>
</property>

3. ​​yarn-site.xml​​

这个文件包含了YARN（Yet Another Resource Negotiator）相关的配置，用于管理整个集群的资源调度。

• ​​yarn.resourcemanager.hostname​​: 指定资源管理器（ResourceManager）的主机名。例如：

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>localhost</value>
</property>

• ​​yarn.nodemanager.resource.memory-mb​​: 指定每个节点管理器（NodeManager）可用的最大内存（以MB为单位）。例如：

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>8192</value>
</property>

4. ​​mapred-site.xml​​

这个文件包含了MapReduce框架的配置，虽然在较新的Hadoop版本中，很多配置已经移到了​​yarn-site.xml​​中，但一些特定于MapReduce的设置仍然保留在这里。

• ​​mapreduce.framework.name​​: 指定MapReduce作业执行的框架。例如：

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

以上就是Hadoop配置文件中的一些基本配置项介绍。根据实际的集群规模和需求，可能还需要调整更多的参数来优化性能或满足特定的安全要求。