【赵渝强老师】基于RBF的HDFS联邦架构原创

本节课我们来讨论一下基于RBF的HDFS联邦架构。HDFS是hadoop的分布式文件系统，其中name node是主节点，Data node是从节点客户端将读写请求发送给name node, 从而读写存储在data node上的数据。如果只存在一个name node, 它将负责接收所有客户端的请求，这就必然成为整个系统的性能瓶颈。为了解决这一问题，HDFS提供了联邦架构，也可以叫做hdfs federation, 其基本思想是在HDFS中搭建多个name node, 从而分摊客户端的请求。它有两种实现的方式，方式一，基于VFS实现。VFS是view file system的缩写，翻译成中文是视图文件系统。注意，FS是基于客户端实现的。方式2，基于RBF实现。它的全称是routear based federation. 下面重点讨论一下基于RBF实现HDFS联邦的价格。

否。这里有一个子集群，1用NS1表示。NS是namespace名称空间的缩写，该子集群中至少包含两个name node, 从而实现了name node的高可用。当然，这样的子集群可以有多个。在基于VFS实现的联邦架构中，请求的路由规则是由客户端管理和维护。为了将这些规则从客户端中剥离出来，而BF将路由规则存入state store中，并由routeter管理和维护。State store有两种存储方式，本地存储和zookeeper存储。这样的routeter可以有多个，且相互独立，从而实现了routeter的高可用。客户端将访问HDFS的请求发送给routear，并由routear解析存储在state store中的路由规则，从而实现将请求转发到正确的子集群中。由于Routear会定期检查name node的状态，当某一个name node不可用时，Routeer会将请求转发到子集群中的另一个namede上，从而实现高可用的功能。在了解。

到了RBF的架构后，这里的步骤将在HDFS中启动route，并添加了三条路由规则。完成这些操作后，便可以通过访问RO web UI查看添加的路由规则。现在你已经知道基于RBF的HDFS联邦架构了，那你知道基于VFS的HDFS联邦架构吗？欢迎评论区留言讨论好了，记得点加号关注赵玉强老师。