Hadoop HDFS介绍及入门基础

关键特性：

1. 高容错性：HDFS通过数据复制和故障检测机制确保数据的高可用性。每个文件被分割成多个块，并存储在多个DataNode（数据节点）上，通常有多个副本。即使部分硬件故障导致部分数据丢失或不可访问，系统仍能通过其他副本恢复数据。

2. 海量数据存储：HDFS旨在处理非常大的文件（通常GB、TB甚至PB级别），并能在由普通商用硬件构成的集群上高效运行，允许水平扩展以容纳不断增长的数据规模。

3. 流式数据访问：HDFS优化了对大规模数据集的批量读写操作，特别适合于一次写入、多次读取的场景，如批处理分析作业。它不是为频繁的小规模随机读写而设计的。

4. 主从架构：HDFS采用Master/Slave架构，包括一个**NameNode**（主节点）和多个**DataNode**（从节点）。NameNode负责管理文件系统的命名空间、维护文件与数据块之间的映射关系、处理客户端的文件系统操作请求。DataNodes则负责实际存储数据块，并执行来自NameNode的指令，如数据块的创建、删除、复制等。

5. 数据块管理：文件被切割成固定大小的数据块（默认大小通常为128MB或256MB），这些块在集群中分散存储。NameNode保存元数据（文件名、目录结构、数据块的位置信息等），而DataNodes存储实际数据块。

6. 数据复制与负载均衡：HDFS通过配置设定复制因子（通常为3），在集群中自动复制数据块，以提高容错性和数据局部性。NameNode会根据集群状态动态调整数据块的分布，以保持负载均衡和副本一致性。

7. 简化运维： HDFS提供了丰富的工具和接口，便于系统监控、故障诊断、数据完整性检查及日常管理任务，降低了大规模分布式存储系统的运维复杂度。

应用场景：

- 大数据分析： 作为Hadoop MapReduce、Spark等分布式计算框架的底层存储，HDFS为批处理、机器学习、数据挖掘等任务提供海量数据支持。

- 数据仓库： 作为企业数据湖的基石，HDFS存储原始数据、中间结果和备份数据，供各种BI工具和查询引擎（如Hive、Presto、Impala）进行交互式或批量查询。

- 日志存储与分析： 收集、存储大规模的系统日志、用户行为日志等，并支持高效地进行日志挖掘和趋势分析。

Hadoop HDFS是一种面向大数据处理的分布式文件系统，以其高容错性、高吞吐量、可扩展性和对大规模数据集的支持，成为大数据生态系统中不可或缺的存储层。

HDFS入门基础使用主要包括以下几个方面： 环境准备与集群搭建 1. 安装Hadoop：

首先需要下载合适的Hadoop版本（如Hadoop 3.x），并将其安装到所有参与集群的节点上。通常包括配置环境变量、修改核心配置文件（如`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`等）以指定Java环境、Hadoop目录、端口、数据存储路径等。 2. 集群配置： - 设置IP与主机名：确保所有节点间的网络连接正常，且主机名与IP映射正确，通常在`/etc/hosts`文件中进行配置。 - 关闭防火墙与SELinux（非必需，可根据实际情况选择）：避免防火墙规则阻碍Hadoop服务间的通信。 - 时间同步：确保集群内所有节点的系统时间一致，可以使用NTP服务进行同步。 3. 格式化NameNode：

首次启动HDFS之前，需要使用`hdfs namenode -format`命令格式化NameNode，初始化文件系统元数据。 4. 启动HDFS：

运行`start-dfs.sh`脚本启动HDFS服务，包括NameNode和DataNodes。可以通过`jps`命令或Hadoop的日志检查各服务是否成功启动。 基本操作 Shell命令行操作 Hadoop提供了一个命令行工具`hdfs dfs`（或`hadoop fs`），用于与HDFS进行交互。以下是一些常用命令示例： - **文件/目录管理**： - **创建目录**：`hdfs dfs -mkdir /path/to/directory` - **上传文件**：`hdfs dfs -put local_file /path/in/hdfs` - **下载文件**：`hdfs dfs -get /path/in/hdfs local_destination` - **查看文件内容**：`hdfs dfs -cat /path/to/file` - **删除文件/目录**：`hdfs dfs -rm /path/to/file_or_directory` - **列出目录内容**：`hdfs dfs -ls /path/to/directory` - **权限管理**： - **更改文件权限**：`hdfs dfs -chmod permissions /path/to/file` - **更改文件属主**：`hdfs dfs -chown owner:group /path/to/file` - **文件系统信息查询**： - **查看文件系统使用情况**：`hdfs dfs -df -h /` - **获取文件详细信息**：`hdfs dfs -stat /path/to/file` Java API使用 对于程序化的访问，可以使用HDFS提供的Java API进行文件读写操作。以下是一个简单的读写示例： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSBasics { public static void main(String[] args) throws Exception { // 创建配置对象并加载Hadoop配置 Configuration conf = new Configuration(); conf.addResource(new Path("/path/to/core-site.xml")); conf.addResource(new Path("/path/to/hdfs-site.xml")); // 创建文件系统对象 FileSystem fs = FileSystem.get(conf); // 写入文件 Path writePath = new Path("/path/in/hdfs/output.txt"); try (FSDataOutputStream out = fs.create(writePath)) { out.writeUTF("Hello, HDFS!"); } // 读取文件 Path readPath = new Path("/path/in/hdfs/input.txt"); try (FSDataInputStream in = fs.open(readPath)) { String content = in.readUTF(); System.out.println(content); } // 关闭文件系统连接 fs.close(); } } 注意事项 - 数据块大小：HDFS中的文件会被切分为固定大小的数据块。在处理大文件时，应考虑数据块大小与应用程序需求（如I/O效率、数据分布等）的匹配。 - 副本管理：HDFS通过配置文件设置数据块的复制因子，确保数据冗余和容错性。根据集群规模、存储成本和容灾需求调整副本数量。 - 故障恢复：在发生节点故障时，HDFS会自动进行数据块的重新复制以维持副本数。管理员应定期检查系统报告，确保数据健康性和集群稳定性。 通过上述步骤和操作，用户可以初步掌握HDFS的基本使用方法，包括环境搭建、命令行操作和编程接口的使用，为进一步进行大数据分析和处理打下基础。