hdfs的經常使用命令

Hadoop2 HDFS shell命令

 

1. hdfs dfs -appendToFile <localsrc> ... <dst>

 

可同時上傳多個文件到HDFS裏面

 

2.  hdfs dfs -cat URI [URI ...]

 

查看文件內容

 

3. hdfs dfs -chgrp [-R] GROUP URI [URI ...]

 

修改文件所屬組

 

4.  hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

 

修改文件權限

 

5. hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

 

修改文件全部者，文件所屬組，其餘用戶的讀、寫、執行權限

 

6. hdfs dfs -copyFromLocal <localsrc> URI

 

複製文件到hdfs

 

7.  hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

 

複製文件到本地

 

8. hdfs dfs -count [-q] <paths>

 

統計文件及文件夾數目

 

9.  hdfs dfs -cp [-f] URI [URI ...] <dest>

 

Hadoop HDFS 文件系統間的文件複製

 

10. hdfs dfs -du [-s] [-h] URI [URI ...]

 

統計目錄下的文件及大小

 

 

 

11. hdfs dfs -dus <args>

 

彙總目錄下的文件總大小

 

12.  hdfs dfs -expunge

 

清空回收站，文件被刪除時，它首先會移到臨時目錄.Trash/中，當超過延遲時間以後，文件纔會被永久刪除

 

13. hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

 

下載文件到本地

 

14. hdfs dfs -getfacl [-R] <path>

 

查看ACL （訪問權限組擁有者）

 

15. hdfs dfs -getmerge <src> <localdst> [addnl]

 

合併下載文件到本地

 

16. hdfs dfs -ls <args>

 

查看目錄

 

17. hdfs dfs -lsr <args>

 

循環列出目錄、子目錄及文件信息 

 

18. hdfs dfs -mkdir [-p] <paths>

 

建立空白文件夾

 

19.  dfs -moveFromLocal <localsrc> <dst>

 

剪切文件到hdfs

 

20.  hdfs dfs -moveToLocal [-crc] <src> <dst>

 

剪切文件到本地

 

21. hdfs dfs -mv URI [URI ...] <dest>

 

剪切hdfs文件

 

22. hdfs dfs -put <localsrc> ... <dst>

 

上傳文件

 

23. hdfs dfs -rm [-skipTrash] URI [URI ...]

 

刪除文件/空白文件夾

 

24.  hdfs dfs -rmr [-skipTrash] URI [URI ...]

 

遞歸刪除  刪除文件及文件夾下的全部文件

 

25. hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

 

Sets Access Control Lists (ACLs) of files and directories.

Options:

• -b: Remove all but the base ACL entries. The entries for user, group and others are retained for compatibility with permission bits.

• -k: Remove the default ACL.

• -R: Apply operations to all files and directories recursively.

• -m: Modify ACL. New entries are added to the ACL, and existing entries are retained.

• -x: Remove specified ACL entries. Other ACL entries are retained.

• --set: Fully replace the ACL, discarding all existing entries. The acl_spec must include entries for user, group, and others for compatibility with permission bits.

• acl_spec: Comma separated list of ACL entries.

• path: File or directory to modify.

Examples:

• hdfs dfs -setfacl -m user:hadoop:rw- /file

• hdfs dfs -setfacl -x user:hadoop /file

• hdfs dfs -setfacl -b /file

• hdfs dfs -setfacl -k /dir

• hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file

• hdfs dfs -setfacl -R -m user:hadoop:r-x /dir

• hdfs dfs -setfacl -m default:user:hadoop:r-x /dir

Exit Code:

Returns 0 on success and non-zero on error.

 

 

26.  hdfs dfs -setrep [-R] [-w] <numReplicas> <path>

 

修改副本數

 

27. hdfs dfs -stat URI [URI ...]

 

顯示文件統計信息

 

28.  hdfs dfs -tail [-f] URI

 

查看文件尾部信息

 

29. hdfs dfs -test -[ezd] URI

 

對PATH進行以下類型的檢查： 

-e PATH是否存在，若是PATH存在，返回0，不然返回1 

-z 文件是否爲空，若是長度爲0，返回0，不然返回1 

-d 是否爲目錄，若是PATH爲目錄，返回0，不然返回1 

 

30. hdfs dfs -text <src>

 

查看文件內容

 

31.  hdfs dfs -touchz URI [URI ...]

 

建立長度爲0的空文件