什么是Hadoop ？

Hadoop 是一个开源的分布式计算框架，由 Apache Software Foundation 开发和维护。它主要用于处理和分析为大数据。Hadoop 的核心设计理念是将计算任务分布到多个节点上，以实现高度可扩展性和容错性。

Hadoop 的主要组件包括 Hadoop Distributed File System（HDFS）和 MapReduce 编程模型。

• Hadoop Distributed File System（HDFS）：HDFS 是 Hadoop 的分布式文件系统，负责在集群中存储数据。HDFS 将数据切分成多个块（通常为 64MB 或 128MB），并将这些块分布到集群中的不同节点上。为了提高数据的可靠性和容错性，HDFS 会对每个数据块创建多个副本（通常为 3 个）。这样，即使某个节点发生故障，数据仍然可以从其他节点上的副本中恢复。
• MapReduce 编程模型：MapReduce 是 Hadoop 的核心编程模型，用于处理和分析 HDFS 中的数据。MapReduce 任务包括两个阶段：Map 阶段和 Reduce 阶段。在 Map 阶段，输入数据被切分成多个片段，并分发到集群中的各个节点上。每个节点上的 Map 函数对其分配的数据片段进行处理，并生成一组键值对（key-value pairs）。在 Reduce 阶段，这些键值对被汇总到一个或多个 Reduce 函数中，以生成最终的输出结果。

Hadoop 的优势在于其高度可扩展性、容错性和灵活性。它可以处理 PB 级别的数据集，并支持各种数据类型（如结构化数据、半结构化数据和非结构化数据）。Hadoop 的生态系统还包括许多其他工具和组件，如 Hive（用于数据仓库和 SQL 查询）、Pig（用于数据流处理和转换）、HBase（用于实时数据存储和检索）等。这些工具和组件使 Hadoop 成为大数据处理和分析的强大平台。