【赵渝强老师】基于ViewFS的HDFS联邦架构原创

本节课我们来讨论一下基于view FS的HDFS联邦架构。HDFS是hadoop的分布式文件系统，其中name node是主节点，Data node是从节点客户端将读写请求发送给name node, 从而读写存储在data node上的数据。如果只存在一个name node, 它将负责接收所有客户端的请求，这就必然成为整个系统的性能瓶颈。为了解决这一问题，HDFS提供了联邦架构，也可以叫做hdfs federation, 其基本思想是在HDFS中搭建多个name node, 从而分摊客户端的请求。它有两种实现的方式，方式一，基于view FS实现VFS是view file system的缩写，翻译成中文是视图文件系统。方式二，基于RBF实现。它的全称是route based federation. 下面重点讨论一下基于view FS实现HDFS联邦的架构。这里有两个name node name node1。

和name notde2，为了实现将客户端请求转发到不同的name notde上，就必须在客户端与name notde之间实现请求的代理转发，这就是VFS的核心功能。通过在FS上配置不同的转发路由规则，可以将访问不同HDFS目录的请求转发到不同的name note上。例如，当访问movie目录时，客户端请求将被转发到name node1，而当访问MP3目录时，客户端请求将被转发到name node2。有了VFS的路由转发规则，就有了下面这一段FML的配置。但VFS也有自身的缺点，主要体现在三个方面，1、HDFS路径需要变为VFS路径，这就意味着需要将haveve的原数据管理、HTL脚本计算、任务作业中的所有HDFS路径修改为VFS 2VFS是基于客户端实现的，需要用户在客户端进行相关的配置。这种重客户。

户端的升级会比较困难。3、维护成本比较高，主要体现在新增或者修改路径时需要多方配合完成。为了解决VFS存在的问题，便有了基于RBF的HDFS联邦架构。现在你已经知道基于VFS的HDFS联邦架构了，那你知道基于RBF的HDFS联邦架构吗？欢迎评论区留言，讨论好了记得点加号关注赵玉强老师。