三、HDFS常用Shell操作

3.1、HDFS文件系統(tǒng)

HDFS Shell 指的是可以使用類似shell的命令來直接和Hadoop分布式文件系統(tǒng)（HDFS）進(jìn)行交互。

使用命令：

bin/hadoop fs <args> bin/hdfs dfs <args>

參數(shù)中的路徑使用scheme://authority/path 的格式，如默認(rèn)配置的是hdfs,那么路徑如： hdfs://namenodehost:port/parent/child 。

如果使用相對路徑，那么當(dāng)前的工作目錄就是/user/{username}， 比如當(dāng)前是root賬號，那么工作目錄就是/user/root。

示例：

3.2、常用Shell命令-appendToFile

用法：

hadoop fs -appendToFile <localsrc> ... <dst>

示例：

hadoop fs -appendToFile localfile /user/hadoop/hadoopfile hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile hadoop fs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile

3.3、常用Shell命令-cat

用法：

hadoop fs -cat [-ignoreCrc] URI [URI ...]

示例：

hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2 hadoop fs -cat file:///file3 /user/hadoop/file4

3.4、常用Shell命令-copyFromLocal | put

用法：

hadoop fs -put [-f] [-p] [-l] [-d] [-t <thread count>] [ - | <localsrc1> .. ]. <dst>

示例：

hadoop fs -put localfile /user/hadoop/hadoopfile hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir hadoop fs -put -d localfile hdfs://nn.example.com/hadoop/hadoopfile hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile

3.5、常用Shell命令-cp

用法：

hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

示例：

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

可選項(xiàng)：
-f : 如果目標(biāo)文件存在，則覆寫目標(biāo)文件;
-p : 保存文件的屬性，[topx] (timestamps, ownership, permission, ACL, XAttr).

3.6、常用Shell命令-du

用法：

hadoop fs -du [-s] [-h] [-v] [-x] URI [URI ...]

可選項(xiàng)：
-s : 統(tǒng)計(jì)文件夾;
-h : 格式化友好輸出;
-v : 顯示列名;
-x ： 去除snapshots 進(jìn)行計(jì)算;

3.7、常用Shell命令-copyToLocal | get

用法：

hadoop fs -get [-ignorecrc] [-crc] [-p] [-f] <src> <localdst>

示例：

hadoop fs -get /user/hadoop/file localfile hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile

3.8、常用Shell命令-ls

用法：

hadoop fs -ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] <args>

可選項(xiàng)：
-C ： 只顯示文件及文件夾 ； -d : 只顯示給定文件夾 ; -h ： 格式化文件大小顯示
-q : 使用？替代不可打印字符 ; -R ： 遞歸顯示 ；-t : 按照最近修改文件排序
-S : 按照文件大小排序 ; -r : 翻轉(zhuǎn)排序規(guī)則 ; -u : 使用創(chuàng)建時(shí)間進(jìn)行排序

3.9、常用Shell命令-mkdir

用法：

hadoop fs -mkdir [-p] <paths>

示例：

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 hadoop fs -mkdir hdfs://nn1.example.com/user/hadoop/dir hdfs://nn2.example.com/user/hadoop/dir

3.10、常用Shell命令-rm

用法：

hadoop fs -rm [-f] [-r |-R] [-skipTrash] [-safely] URI [URI ...]

可選項(xiàng)：
-f : 忽略錯(cuò)誤信息 ； -R : 遞歸刪除 ； -r : -R
-skipTrash : 不放回收站，直接刪除 ； -safely : 強(qiáng)制確認(rèn)是否需要刪除

3.11、HDFS UI交互

開啟方法：
① 終端開啟HDFS：hadoop的sbin目錄下執(zhí)行./start-dfs.sh
② 瀏覽器網(wǎng)址輸入：master:50070

文件基本信息：

總結(jié)

以上是生活随笔為你收集整理的学习笔记Hadoop（十）—— Hadoop基础操作（2）—— HDFS常用Shell操作的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。