MapReduce工作笔记——Hadoop shell 常用文件操作命令

0. 文件操作基本格式

hadoop fs [generic options]

1. ls

列出当前目录下的文件以及文件夹，类似于UNIX/Linux 中的ls， 但是hadoop 中没有ll方法。 使用方法：

hadoop fs -ls <args> 
#  <args> 指的是要列出的文件路径

2. put

将本地文件上传至HDFS 使用方法：

hadoop fs -put <localsrc>  <dst>

3. get

复制HDFS文件到本地文件系统 使用方法：

hadoop fs -get  <src> <localdst>

4. rm

删除HDFS文件 使用方法：

hadoop fs -rm <dst>

5. rmr

递归删除 使用方法：

hadoop fs -rmr <dst>

6. mkdir

创建文件 使用方法：

 hadoop fs -mkdir <paths> 

7. cp

将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。 但是如果目标已存在，会报错 使用方法：

hadoop fs -cp <path1> <path2>

8. mv

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。 使用方法：

hadoop fs -mv <path1> <path2>

9. du

显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。 使用方法：

hadoop fs -du <path>

一般为了更加直观，使用如下命令：

hadoop fs -du -h <path>

10. text

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。 使用方法：

hadoop fs -text <src> 

11. test

使用方法：

使用方法：hadoop fs -test -[ezd] <path>

其中可选参数：

-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。 
-d 如果路径是个目录，则返回1，否则返回0。

12. tail

将文件尾部1K字节的内容输出到stdout。 使用方法：

hadoop fs -tail [-f] URI

参考

Hadoop Shell命令 官方