分布式文件系统HDFS原理一网打尽

bin/hdfs dfs -mkdir -p /user/input

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh stop namenode

<configuration>
<!--配置分片的数量-->
<property>
        <name>dfs.replication</name>
        <value>3</value>
        <description>分片数量</description>
</property>


<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
        <name>dfs.nameservices</name>
        <value>yfcluster</value>
        <description>为namenode集群定义一个services name</description>
</property>

<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
        <name>dfs.ha.namenodes.yfcluster</name>
        <value>nn1,nn2</value>
        <description>nameservice包含哪些namenode，为各个namenode起名</description>
</property>

<property>
        <name>dfs.namenode.rpc-address.yfcluster.nn1</name>
        <value>kafka1:8020</value>
        <description> 名为nn1的namenode 的rpc地址和端口号，rpc用来和datanode通讯</description>
</property>

<property>
        <name>dfs.namenode.rpc-address.yfcluster.nn2</name>
        <value>kafka2:8020</value>
        <description> 名为nn2的namenode 的rpc地址和端口号，rpc用来和datanode通讯</description>
</property>

<property>
        <name>dfs.namenode.http-address.yfcluster.nn1</name>
        <value>kafka1:50070</value>
        <description> 名为nn1的namenode 的http地址和端口号，web客户端</description>
</property>

<property>
        <name>dfs.namenode.http-address.yfcluster.nn2</name>
        <value>kafka2:50070</value>
        <description> 名为nn2的namenode 的http地址和端口号，web客户端</description>
</property>

<!--默认情况下，hadoop 在NameNode所在机器里运行SecondaryNameNode，http监听端口是50090，在浏览器输入NameNode的地址和50090端口号，为了安全分别放到两台机器上，在浏览器输入NameNode的地址和50090端口号，就可看到其信息-->
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>kafka2:50090</value>
        <description>命名空间和事务在本地文件系统永久存储的路径</description>
</property>

<!-- 指定NameNode的元数据在JournalNode上的存放位置，这样nameNode2可以从Jn集群中获得最新的nameNode信息 -->
<property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://kafka1:8485;kafka2:8485;kafka3:8485/yfcluster</value>
        <description>namenode间用于共享编辑日志的journal节点列表</description>
</property>

<!-- 指定journal的存放位置 -->
<property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/moudle/hadoop3/hdfs/journaldata</value>
        <description>journalnode上用于存放edits日志的目录</description>
</property>

<!--配置nameNode数据存放位置-->
<property>
        <name>dfs.namenode.name.dir</name>
        <value>/moudle/hadoop3/hdfs/name</value>
        <description>在本地文件系统所在的NameNode的存储空间和持续化处理日志</description>
</property>


<property>
        <name>dfs.datanode.data.dir</name>
        <value>/moudle/hadoop3/hdfs/data</value>
        <description>数据节点的块本地存放目录</description>
</property>

<!-- HDFS的HA功能的防脑裂方法。可以是内建的方法(例如shell和sshfence)或者用户定义的方法。
建议使用sshfence(hadoop:9922)，括号内的是用户名和端口，注意，这需要NN的2台机器之间能够免密码登陆
fences是防止脑裂的方法，保证NN中仅一个是Active的，如果2者都是Active的，新的会把旧的强制Kill。-->
<!-- 配置隔离机制 -->
<property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
        <description>配置隔离机制</description>
</property>

<!-- ssh 登录秘钥坐在位置 -->
<property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
        <description>密钥认证文件</description>
</property>

<!-- nameNode故障时自动切换-->
<property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
        <description>是否开启自动故障转移。建议开启，true</description>
</property>

<!-- 配置切换实现方式-->
<property>
        <name>dfs.client.failover.proxy.provider.yfcluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        <description>客户端连接可用状态的NameNode所用的代理类</description>
</property>

<!--namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true，否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令，因为这些信息都是由namenode来保存的。-->
<property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
</property>

<property>
        <!-- JournalNode的HTTP地址和端口。-->
        <name>dfs.journalnode.http-address</name>
        <value>0.0.0.0:8480</value>
</property>

<property>
        <!-- JournalNode RPC服务地址和端口-->
        <name>dfs.journalnode.rpc-address</name>
        <value>0.0.0.0:8485</value>
</property>

<!-- 配置hdfs的操作权限,false表示任何人都有权限 -->
<property> 
<!-- 是否在HDFS中开启权限检查。为了避免权限检查可以设置为false或使用命令hadoop fs -chmod -R 777 /-->
<name>dfs.permissions.enabled</name> 
<value>true</value> 
</property> 

<!-- 默认情况下ACLs是关闭的，想要开启此功能需要在hdfs-site.xml的配置项里找到dfs.namenode.acls.enabled把属性设为true才可以。文件系统提供更精细化的权限控制。/-->
<property> 
        <!-- 是否在hdfs开启acl，默认为false-->
        <name>dfs.namenode.acls.enabled</name> 
        <value>true</value> 
</property>

<!-- 默认情况下，用户在HDFS上创建的文件和目录的权限是rwxr-xr-x，即732，x表示有ls权限。032表示屏蔽位，默认权限是777-屏蔽位对应的数字，因此，777-032=745, 745是权限位 /-->
<property>
    <name>fs.permissions.umask-mode</name>
    <value>032</value>
</property>

</configuration>

<!-- 用来指定hdfs的namenode名称-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://yfcluster</value>
</property>

<!-- 用来指定hadoop运行时文件产生目录-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/moudle/hadoop3/tmp</value>
</property>

<!-- 指定zookeeper地址-->
<property>
        <name>ha.zookeeper.quorum</name>
        <value>kafka2:2181,kafka3:2181</value>
</property>

<!-- 当前用户全设置成root -->
<property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
</property>

<!-- 不开启权限检查 -->
<property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
</property>
</configuration>