【赵渝强老师】HDFS的HA原创

本节课我们来讨论一下hdf s h ha的架构。在上一期的课程中，我们提到大数据的核心组件都是主从架构，需要借助zu keepeper来实现HHA的功能，从而解决单点故障的问题。这里将以HDFS为例来进行具体介绍。因为HDFSHA的架构体系最复杂，Sokee集群提供监听和选举的功能，在该集群中至少需要三个sokeeper节点，在dfha的架构中至少需要两个name node. 在同一个时间点上，只有一个name node的状态是active，而另一个是standby的状态，他们通过feelover controller将心跳信息发送给zkeeper监听，此时只能通过active the name node访问data node, 从而操作HDFS。当Active the name node出现故障宕机时，Zkeper机群通过选举机制将standby the name node切换成active的状态，已完成主被切换的功能，从而实现HD。

Fsha的高可用。另外在DHA架构中还至少需要两个journal node用于维护艾得S日志。如果在实际的生产中，要实现HDFS的HHA将需要9台服务器来完成。当然，如果是在测试环境中，可以将有些部分搭建在一起，从而减少服务器的数量。现在你已经知道如何基于zkeeper实现HDFS的ha了，那你知道其他大数据组件如何实现的ha吗？欢迎评论区留言讨论好了，记得点加号关注赵玉强老师。