作者信息

Elesdspline
目前從事NLP與知識圖譜相關工作。

工作中需熟練掌握的Hadoop命令

導讀

工作中經常要用到一些Hadoop命令，這里簡單列舉一下，熟悉基本的命令操作，工作效率事半功倍。

Hadoop的基本命令與Linux的基本命令非常相似，對于熟練Linux的同學來說，看五分鐘就get到重點了。

Hadoop基本常用命令

在介紹基本常用命令之前，這里有三個命令先加以區分，即 hadoop fs、hadoop dfs 與 hdfs dfs 三個命令。這三個命令都可以完成一些基本的操作，但是稍微有所不同，具體如下：

fs 是一個通用的文件系統，可以指向任何的文件系統如本地系統local，分布式HDFS等， dfs 僅是針對HDFS的。

hadoop fs : 該命令可以用于其他文件系統，不僅僅是HDFS系統，該命令的使用范圍更廣。

hadoop dfs: 該命令專門針對HDFS分布式文件系統

hdfs dfs: 和 haddoop dfs 命令作用一樣，在使用 hadoop dfs 命令時內部會轉化為 hdfs dfs命令，相比之下，更為推薦。

下面我們以 hadoop fs 命令來嘗試學習常用的基本命令。

命令基本格式:

hadoop?fs?-cmd?

列出目錄下的文件和文件夾

列出目錄下的文件和文件夾
hadoop?fs?-ls?/home/data/basic?

遞歸列出目錄下的文件和文件夾
hadoop?fs?-ls?-R?/home/data/basic?

創建文件夾

一級一級的建目錄，父目錄不存在會報錯
hadoop?fs?-mkdir?/home/data/basic/new

創建的目錄如果父目錄不存在同時創建該父目錄
hadoop?fs?-mkdir?-p?/home/data/basic/new

上傳文件

hadoop?fs?-put?<local?file>?
hadoop?fs?-put?./text.txt?/home/data/basic/new/text.txt
hdfs?file?的父目錄要存在
hadoop?fs?-put?<local?file?or?dir>?
hadoop?fs?-put?./test.txt?/home/data/basic/new/
hdfs?dir目錄要存在

下載文件

hadoop?fs?-get??local?file?or?dir>
hadoop?fs?-get?/home/data/basic/new/text.txt?./tmp
local?file?和?hdfs?file?的名字不能相同，否則會提示文件已存在，沒有重名的文件會復制到本地

也可以采用查看文件重定向的方式
hadoop?fs?-text?/home/data/basic/new/text.txt?>?./tmp/text.txt

查看文件

hadoop?fs?-text?/home/data/basic/new/text.txt?
hadoop?fs?-cat?/home/data/basic/new/text.txt

刪除文件(文件夾)

刪除文件
hadoop?fs?-rm?/home/data/basic/new/text.txt
刪除文件夾
hadoop?fs?-rm?-r?/home/data/basic/new/

查看文件大小

hadoop?fs?-du?/home/data/basic

合并文件

hadoop?fs?-getmerge??<local?file>
將?hdfs?dir下面的所有文件經過排序合并到?local?file?文件
hadoop?fs?-getmerge?/home/data/basic/new/?./merge.txt

拷貝文件

hadoop?fs?-cp??
將hdfs?file?拷貝到另外的hdfs路徑下，目標文件不能存在，否則出錯
hadoop?fs?-cp??
目標文件夾要存在，否在出錯

移動文件

hadoop?fs?-mv??
目標文件不能存在，否則出錯
hadoop?fs?-mv??
源文件有多個時，目標文件夾必須存在

查看文件目錄信息

hadoop?fs?-count?/home/data/basic
統計hdfs對應路徑下的目錄個數，文件個數，文件總計大小
顯示為目錄個數，文件個數，文件總計大小，輸入路徑

---

歡迎點贊、在看、分享三步走哈~

總結

以上是生活随笔為你收集整理的hadoop put命令的格式_工作中需熟练掌握的Hadoop命令的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。