Hadoop端口号全解析：掌握这些端口，轻松驾驭大数据集群，一文读懂常用端口号及其作用！
Hadoop端口号全解析：掌握这些端口，轻松驾驭大数据集群，一文读懂常用端口号及其作用！
1. HDFS（Hadoop Distributed File System）相关端口
端口号 | 组件/服务 | 作用 |
|---|---|---|
8020 | NameNode RPC | NameNode的远程过程调用(RPC)端口，用于处理客户端和DataNode的请求。 |
9870 | NameNode的HTTP UI端口 | 用于通过Web界面查看HDFS集群的状态、配置、存储等信息。 |
50070 | NameNode WebHDFS | NameNode的WebHDFS端口，通过HTTP协议提供对HDFS的访问。 |
50020 | DataNode的IPC（Inter-Process Communication）服务端口 | 用于与NameNode进行内部通信。 |
9000 | NameNode HTTP（非高可用） | NameNode的HTTP服务端口，用于Web界面访问（如HDFS的Web UI）。在高可用配置中，此端口可能不常用。 |
50010 | DataNode 数据传输 | 用于HDFS内部的数据传输，例如DataNode与NameNode之间、DataNode与客户端之间的数据读写操作。同时，这也是DataNode的IPC（Inter-Process Communication）端口，用于接受来自NameNode或其他DataNode的命令和状态同步请求。 |
50075 | DataNode HTTP | DataNode的Web界面端口，通常用于查看DataNode的状态和报告。但需要注意的是，这个端口并不总是默认开启的，且其Web界面可能不如NameNode的Web界面详细。 |
50090 | Secondary NameNode Web | Secondary NameNode的Web浏览器访问端口，用于定期合并编辑日志。 |
8485 | JournalNode 的RPC服务端口 | 用于与NameNode等组件通信，保障HDFS元数据的持久化存储。 |
8480 | JournalNode 的HTTP服务端口 | 提供JournalNode的Web界面。 |
8019 | ZooKeeper Failover Controller的端口 | 用于NameNode的高可用性（HA）配置中，与ZooKeeper集群通信以管理NameNode的自动故障转移。 |
- 端口号可能会根据Hadoop的配置和版本有所不同。以上列出的是Hadoop 2.x和Hadoop 3.x中的常见端口。
- Hadoop的配置文件（如
core-site.xml和hdfs-site.xml）中定义了这些端口的值，可以通过修改这些配置文件来自定义端口号。 - 如果需要查看或修改这些端口，可以直接编辑Hadoop的配置文件，并使用Hadoop提供的命令行工具或Web界面进行验证。
2. YARN（Yet Another Resource Negotiator）相关端口
端口号 | 组件/服务 | 作用 |
|---|---|---|
8088 | YARN ResourceManager Web UI | YARN集群的ResourceManager的Web UI端口，用于监控和管理集群中的资源和任务。 |
8032 | YARN ResourceManager IPC | ResourceManager的IPC端口，用于ResourceManager与其他YARN组件（如NodeManager）之间的内部通信。 |
8030 | ResourceManager的Scheduler组件的IPC端口 | ResourceManager的Scheduler组件的IPC端口，用于处理与资源调度相关的请求。 |
8041 | NodeManager的Web UI端口 | （注意：这个端口号在官方文档中可能不常见，但通常NodeManager也会有一个用于内部通信或Web UI的端口，具体端口号可能因配置而异）：NodeManager的Web UI端口（具体端口号可能根据配置不同而有所变化），用于查看节点上的资源使用情况和正在运行的任务信息。然而，需要注意的是，并非所有版本的Hadoop或YARN配置都会默认开启NodeManager的Web UI。 |
（随机） | NodeManager | NodeManager的HTTP服务端口，用于执行任务并管理容器。默认情况下，使用随机端口，可以通过配置文件修改。 |
- 端口号可能会根据Hadoop和YARN的配置以及版本而有所不同。因此，在查看或修改端口号时，请参考具体的Hadoop和YARN配置文件（如
yarn-site.xml）。 - YARN的Web UI和IPC端口对于集群的管理和监控至关重要，因此请确保这些端口在防火墙和安全组规则中是被允许的。
- 如果需要自定义端口号，可以通过修改Hadoop和YARN的配置文件来实现，并在重启集群后生效。
3. MapReduce相关端口
MapReduce作业的执行情况主要通过YARN ResourceManager的Web UI（即8088端口）来查看。虽然MapReduce本身不直接提供特定的Web UI端口，但其作业的日志和输出通常会存储在HDFS上，因此与HDFS相关的端口（如50070或9870，取决于Hadoop的版本）也可能用于间接地查看MapReduce作业的输出和日志。
4. 其他Hadoop生态组件端口
端口号 | 组件/服务 | 作用 |
|---|---|---|
9083 | Hive Metastore | Hive Metastore服务的默认监听端口，用于存储和管理Hive的元数据。 |
10000 | Hive JDBC | Hive JDBC服务的端口，允许通过JDBC协议连接到Hive服务。 |
60010 | HBase Master Web UI（旧） | HBase Master的Web UI端口，用于监控和管理HBase集群的状态。 |
16010 | HBase Master Web UI（新） | 在Hadoop新版本中，HBase Master的Web UI可能使用此端口。 |
60030 | HBase RegionServer Web UI | HBase RegionServer的Web UI管理端口，提供RegionServer的状态和性能信息。 |
7077 | Spark Master | Spark集群中Master节点与Worker节点进行通信的端口。 |
8080 | Spark Master Web UI | Spark Master的Web UI端口，用于监控和管理Spark作业和集群状态。 |
8081 | Spark Worker Web UI | Spark Worker的Web UI端口，提供Worker节点的状态和性能信息。 |
4040 | Spark Driver Web UI | Spark应用程序的Driver节点的Web UI端口，用于查看应用程序的运行状态和日志。 |
2181 | Zookeeper | Zookeeper客户端连接的端口，用于集群管理和协调。 |
9092 | Kafka | Kafka集群节点之间通信的RPC端口。 |
腾讯云开发者
