【赵渝强老师】大数据主从架构的单点故障原创

本节课我们来讨论一下大数据主从架构的单点故障。首先了解一下大数据核心组件的架构，HDFS是hadoop的分布式文件系统，它的主节点是name node, 从节点是data node12是hadoop的资源任务调度平台，它的主节点是resource manager, 从节点是node manager Spark是大数据批处理计算引擎，它的主节点是master，从节点是worker flink是大数据流处理计算引擎，它的主节点是job manager, 从节点式task manager. 从这里可以看出，这些核心组件都是主从式架构，只要是主从式架构都存在单点故障的问题。如果当主节点出现故障宕机时，将会造成整个集群无法正常工作。为了保证集群的正常工作，需要借助zookeeper实现ha的功能。Zukeeper是大数据的分布式协调服务，通过sokeeper的监听和选举机制，能够解决大数据主从式架构的单点故障问题，从而实现ha。这里的。

The ha是high availability的缩写，翻译成中文是高可用。因此Zookeeper在大数据体系中非常重要，我们将在后续的课程中为大家详细介绍基于zookeeper。的大数据ha架构。现在你已经知道大数据主从架构的单点故障了，那你知道如何使用zookeper吗？欢迎评论区留言讨论好了，记得点加号关注赵宇强老师。