# 格式化hdfs hadoop namenode -format # 查看hadoop下的文件夾 hadoop fs -ls # 創(chuàng)建hdfs文件夾 hadoop fs -mkdir /user/input # 將本地文件file.txt 復(fù)制到新建文件夾,file->hdfs hadoop fs -put /user/wangbin/input/ip_data.txt wangbin # 從hadoop復(fù)制到hadoop # 從wangbin復(fù)制到wangbin hadoop fs -put ip_list.txt /user/hadoop # 從本地復(fù)制到hdfs hadoop fs -copyFromLocal ip_data.txt /user/hadoop # 從hdfs復(fù)制到本地 hadoop fs -copyToLocal sample.txt sample.txt # 查看文件內(nèi)容 hadoop fs -cat /user/output/outfile # 查看順序文件的內(nèi)容 hadoop fs -text input/numbers.seq |head # 從hdfs獲取文件到本地,hdfs->file hadoop fs -get /user/output/ /home/hadoop_tp/ # 更改所有人 hadoop fs -chown -R wangbin:wangbin /user/wangbin # 刪除含有文件的文件夾 hadoop fs -rmr output # 并行復(fù)制文件或文件夾，以MapReduce作業(yè)實(shí)現(xiàn)，-overwrite 覆蓋目標(biāo)文件，-update 僅更新發(fā)生變化的部分hadoop distcp ip_data.txt ip_datav2.txt # 打包project為jar包，上傳文件 export HADOOP_CLASSPATH=mapReduceDemoV1.jar # 將hdfs上output目錄下的多個(gè)文件合并成一個(gè)文件output-merge，并存儲(chǔ)到本地，hdfs->file hadoop fs -getmerge output output-merge # 確定input存在，且output不存在，執(zhí)行jar包 hadoop MaxTemperature sample.txt output
# 將本地文件追加到hdfs，file->hdfs
hadoop fs -appendToFile 1.txt 2.txt hdfs://cdh5/tmp/lxw1234.txt
# 將hdfs文件追加到hdfs
hadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt

?

#查看hadoop所有命令 hadoop fs #顯示該目錄中每個(gè)文件或目錄的大小 hadoop fs -du /tmp/logs/shtermuser/-1531305777000.txt #類(lèi)似于du，PATH為目錄時(shí)，會(huì)顯示該目錄的總大小 hadoop fs –dus PATH #循環(huán)列出目錄、子目錄及文件信息 hadoop fs –lsr #從HDFS文件系統(tǒng)刪除test.txt文件，rm命令也可以刪除空目錄 hadoop fs –rm /user/sunlightcs/test.txt #修改HDFS系統(tǒng)中/user/sunlightcs目錄所屬群組，選項(xiàng)-R遞歸執(zhí)行，跟linux命令一樣 hadoop fs –chgrp [-R] /user/sunlightcs #修改HDFS系統(tǒng)中/user/sunlightcs目錄擁有者，選項(xiàng)-R遞歸執(zhí)行 hadoop fs –chown [-R] /user/sunlightcs #修改HDFS系統(tǒng)中/user/sunlightcs目錄權(quán)限，MODE可以為相應(yīng)權(quán)限的3位數(shù)或+/-{rwx}，選項(xiàng)-R遞歸執(zhí)行 hadoop fs –chmod [-R] MODE /user/sunlightcs #清空回收站，文件被刪除時(shí)，它首先會(huì)移到臨時(shí)目錄.Trash/中，當(dāng)超過(guò)延遲時(shí)間之后，文件才會(huì)被永久刪除 hadoop fs –expunge 對(duì)PATH進(jìn)行如下類(lèi)型的檢查： -e PATH是否存在，如果PATH存在，返回0，否則返回1 -z 文件是否為空，如果長(zhǎng)度為0，返回0，否則返回1 -d 是否為目錄，如果PATH為目錄，返回0，否則返回1 hadoop fs –test –[ezd] PATH #顯示文件的內(nèi)容，當(dāng)文件為文本文件時(shí)，等同于cat，文件為壓縮格式（gzip以及hadoop的二進(jìn)制序列文件格式）時(shí)，會(huì)先解壓縮 hadoop fs –text PATH 查看某個(gè)[ls]命令的幫助文檔 hadoop fs –help ls

?

#移動(dòng)文件，源目錄可以有多個(gè)，目標(biāo)只能是一個(gè) hadoop fs -mv src dst #統(tǒng)計(jì)hdfs對(duì)應(yīng)路徑下的目錄個(gè)數(shù)，文件個(gè)數(shù)，文件總計(jì)大小 hadoop fs -count <hdfs path>

?

? #創(chuàng)建一個(gè)0字節(jié)的空文件

? hadoop fs -touchz pathname

? #計(jì)算目錄、文件個(gè)數(shù)和字節(jié)數(shù)

? #hadoop fs -count path

? #將單個(gè)src或多個(gè)srcs從本地文件系統(tǒng)附加到目標(biāo)文件系統(tǒng)。 還從stdin讀取輸入并附加到目標(biāo)文件系統(tǒng)。

??hadoop fs -appendToFile localfile /user/hadoop/hadoopfile

? hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile

? hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile

? #返回文件的校驗(yàn)信息

? hadoop fs -checksum URI

? #顯示目錄可用空間

? hadoop fs -df path

? #查找與指定表達(dá)式匹配的所有文件，并將選定的操作應(yīng)用于它們。 如果未指定路徑，則默認(rèn)為當(dāng)前工作目錄。

??hadoop fs -find / -name test -print

? ＃顯示文件和目錄的訪問(wèn)控制列表（ACL）。 如果目錄具有默認(rèn)ACL，則getfacl還會(huì)顯示默認(rèn)ACL。
? hadoop fs -getfacl [-R] <path>
? ＃顯示文件或目錄的擴(kuò)展屬性名稱(chēng)和值（如果有）。
? hadoop fs -getfattr [-R] -n name | -d [-e en] <path>

? ＃以指定格式打印<path>中文件/目錄的統(tǒng)計(jì)信息。
? hadoop fs -stat [格式] <路徑> ...

? ＃將所有與指定文件模式匹配的文件截?cái)酁橹付ǖ拈L(zhǎng)度。
? hadoop fs -truncate [-w] <length> <paths>

?

轉(zhuǎn)載于:https://www.cnblogs.com/wangbin2188/p/8252210.html

總結(jié)

以上是生活随笔為你收集整理的hadoop之文件管理基本操作的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。