2019獨角獸企業重金招聘Python工程師標準>>>

Hadoop2 HDFS shell命令

?

1.?hdfs dfs -appendToFile <localsrc> ... <dst>

?

可同時上傳多個文件到HDFS里面

?

2.??hdfs dfs -cat URI [URI ...]

?

查看文件內容

?

3.?hdfs dfs -chgrp [-R] GROUP URI [URI ...]

?

修改文件所屬組

?

4.??hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

?

修改文件權限

?

5.?hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

?

修改文件所有者，文件所屬組，其他用戶的讀、寫、執行權限

?

6.?hdfs dfs -copyFromLocal <localsrc> URI

?

復制文件到hdfs

?

7.??hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

?

復制文件到本地

?

8.?hdfs dfs -count [-q] <paths>

?

統計文件及文件夾數目

?

9.??hdfs dfs -cp [-f] URI [URI ...] <dest>

?

Hadoop HDFS?文件系統間的文件復制

?

10.?hdfs dfs -du [-s] [-h] URI [URI ...]

?

統計目錄下的文件及大小

?

?

?

11.?hdfs dfs -dus <args>

?

匯總目錄下的文件總大小

?

12.??hdfs dfs -expunge

?

清空回收站，文件被刪除時，它首先會移到臨時目錄.Trash/中，當超過延遲時間之后，文件才會被永久刪除

?

13.?hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

?

下載文件到本地

?

14.?hdfs dfs -getfacl [-R] <path>

?

查看ACL?（訪問權限組擁有者）

?

15.?hdfs dfs -getmerge <src> <localdst> [addnl]

?

合并下載文件到本地

?

16.?hdfs dfs -ls <args>

?

查看目錄

?

17.?hdfs dfs -lsr <args>

?

循環列出目錄、子目錄及文件信息?

?

18.?hdfs dfs -mkdir [-p] <paths>

?

創建空白文件夾

?

19.??dfs -moveFromLocal <localsrc> <dst>

?

剪切文件到hdfs

?

20.??hdfs dfs -moveToLocal [-crc] <src> <dst>

?

剪切文件到本地

?

21.?hdfs dfs -mv URI [URI ...] <dest>

?

剪切hdfs文件

?

22.?hdfs dfs -put <localsrc> ... <dst>

?

上傳文件

?

23.?hdfs dfs -rm [-skipTrash] URI [URI ...]

?

刪除文件/空白文件夾

?

24.??hdfs dfs -rmr [-skipTrash] URI [URI ...]

?

遞歸刪除??刪除文件及文件夾下的所有文件

?

25.?hdfs dfs -setfacl [-R] [-b|-k?-m|-x <acl_spec>?<path>]|[--set <acl_spec> <path>]

?

Sets Access Control Lists (ACLs) of files and directories.

Options:

• -b: Remove all but the base ACL entries. The entries for user, group and others are retained for compatibility with permission bits.

• -k: Remove the default ACL.

• -R: Apply operations to all files and directories recursively.

• -m: Modify ACL. New entries are added to the ACL, and existing entries are retained.

• -x: Remove specified ACL entries. Other ACL entries are retained.

• --set: Fully replace the ACL, discarding all existing entries. The?acl_spec?must include entries for user, group, and others for compatibility with permission bits.

• acl_spec: Comma separated list of ACL entries.

• path: File or directory to modify.

Examples:

• hdfs dfs -setfacl -m user:hadoop:rw- /file

• hdfs dfs -setfacl -x user:hadoop /file

• hdfs dfs -setfacl -b /file

• hdfs dfs -setfacl -k /dir

• hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file

• hdfs dfs -setfacl -R -m user:hadoop:r-x /dir

• hdfs dfs -setfacl -m default:user:hadoop:r-x /dir

Exit Code:

Returns 0 on success and non-zero on error.

?

?

26.??hdfs dfs -setrep [-R] [-w] <numReplicas> <path>

?

修改副本數

?

27.?hdfs dfs -stat URI [URI ...]

?

顯示文件統計信息

?

28.??hdfs dfs -tail [-f] URI

?

查看文件尾部信息

?

29.?hdfs dfs -test -[ezd] URI

?

對PATH進行如下類型的檢查：?

-e PATH是否存在，如果PATH存在，返回0，否則返回1?

-z?文件是否為空，如果長度為0，返回0，否則返回1?

-d?是否為目錄，如果PATH為目錄，返回0，否則返回1?

?

30.?hdfs dfs -text <src>

?

查看文件內容

?

31.??hdfs dfs -touchz URI [URI ...]

?

創建長度為0的空文件

轉載于:https://my.oschina.net/u/2529303/blog/541061

總結

以上是生活随笔為你收集整理的hdfs的常用命令的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。