# 格式化hdfs hadoop namenode -format # 查看hadoop下的文件夾 hadoop fs -ls # 創建hdfs文件夾 hadoop fs -mkdir /user/input # 將本地文件file.txt 復制到新建文件夾,file->hdfs hadoop fs -put /user/wangbin/input/ip_data.txt wangbin # 從hadoop復制到hadoop # 從wangbin復制到wangbin hadoop fs -put ip_list.txt /user/hadoop # 從本地復制到hdfs hadoop fs -copyFromLocal ip_data.txt /user/hadoop # 從hdfs復制到本地 hadoop fs -copyToLocal sample.txt sample.txt # 查看文件內容 hadoop fs -cat /user/output/outfile # 查看順序文件的內容 hadoop fs -text input/numbers.seq |head # 從hdfs獲取文件到本地,hdfs->file hadoop fs -get /user/output/ /home/hadoop_tp/ # 更改所有人 hadoop fs -chown -R wangbin:wangbin /user/wangbin # 刪除含有文件的文件夾 hadoop fs -rmr output # 并行復制文件或文件夾，以MapReduce作業實現，-overwrite 覆蓋目標文件，-update 僅更新發生變化的部分hadoop distcp ip_data.txt ip_datav2.txt # 打包project為jar包，上傳文件 export HADOOP_CLASSPATH=mapReduceDemoV1.jar # 將hdfs上output目錄下的多個文件合并成一個文件output-merge，并存儲到本地，hdfs->file hadoop fs -getmerge output output-merge # 確定input存在，且output不存在，執行jar包 hadoop MaxTemperature sample.txt output
# 將本地文件追加到hdfs，file->hdfs
hadoop fs -appendToFile 1.txt 2.txt hdfs://cdh5/tmp/lxw1234.txt
# 將hdfs文件追加到hdfs
hadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt

?

#查看hadoop所有命令 hadoop fs #顯示該目錄中每個文件或目錄的大小 hadoop fs -du /tmp/logs/shtermuser/-1531305777000.txt #類似于du，PATH為目錄時，會顯示該目錄的總大小 hadoop fs –dus PATH #循環列出目錄、子目錄及文件信息 hadoop fs –lsr #從HDFS文件系統刪除test.txt文件，rm命令也可以刪除空目錄 hadoop fs –rm /user/sunlightcs/test.txt #修改HDFS系統中/user/sunlightcs目錄所屬群組，選項-R遞歸執行，跟linux命令一樣 hadoop fs –chgrp [-R] /user/sunlightcs #修改HDFS系統中/user/sunlightcs目錄擁有者，選項-R遞歸執行 hadoop fs –chown [-R] /user/sunlightcs #修改HDFS系統中/user/sunlightcs目錄權限，MODE可以為相應權限的3位數或+/-{rwx}，選項-R遞歸執行 hadoop fs –chmod [-R] MODE /user/sunlightcs #清空回收站，文件被刪除時，它首先會移到臨時目錄.Trash/中，當超過延遲時間之后，文件才會被永久刪除 hadoop fs –expunge 對PATH進行如下類型的檢查： -e PATH是否存在，如果PATH存在，返回0，否則返回1 -z 文件是否為空，如果長度為0，返回0，否則返回1 -d 是否為目錄，如果PATH為目錄，返回0，否則返回1 hadoop fs –test –[ezd] PATH #顯示文件的內容，當文件為文本文件時，等同于cat，文件為壓縮格式（gzip以及hadoop的二進制序列文件格式）時，會先解壓縮 hadoop fs –text PATH 查看某個[ls]命令的幫助文檔 hadoop fs –help ls

?

#移動文件，源目錄可以有多個，目標只能是一個 hadoop fs -mv src dst #統計hdfs對應路徑下的目錄個數，文件個數，文件總計大小 hadoop fs -count <hdfs path>

?

? #創建一個0字節的空文件

? hadoop fs -touchz pathname

? #計算目錄、文件個數和字節數

? #hadoop fs -count path

? #將單個src或多個srcs從本地文件系統附加到目標文件系統。 還從stdin讀取輸入并附加到目標文件系統。

??hadoop fs -appendToFile localfile /user/hadoop/hadoopfile

? hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile

? hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile

? #返回文件的校驗信息

? hadoop fs -checksum URI

? #顯示目錄可用空間

? hadoop fs -df path

? #查找與指定表達式匹配的所有文件，并將選定的操作應用于它們。 如果未指定路徑，則默認為當前工作目錄。

??hadoop fs -find / -name test -print

? ＃顯示文件和目錄的訪問控制列表（ACL）。 如果目錄具有默認ACL，則getfacl還會顯示默認ACL。
? hadoop fs -getfacl [-R] <path>
? ＃顯示文件或目錄的擴展屬性名稱和值（如果有）。
? hadoop fs -getfattr [-R] -n name | -d [-e en] <path>

? ＃以指定格式打印<path>中文件/目錄的統計信息。
? hadoop fs -stat [格式] <路徑> ...

? ＃將所有與指定文件模式匹配的文件截斷為指定的長度。
? hadoop fs -truncate [-w] <length> <paths>

?

轉載于:https://www.cnblogs.com/wangbin2188/p/8252210.html

總結

以上是生活随笔為你收集整理的hadoop之文件管理基本操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。