【hadoop系列】Hadoop HDFS命令
格式:hadoop fs -命令
主要有如下的命令:
命令
說明
hadoop fs -mkdir
創建HDFS目錄
hadoop fs -ls
列出HDFS目錄
hadoop fs -copyFromLocal
使用-copyFromLocal復制本地文件(local)到HDFS
hadoop fs -put
使用-put復制本地(local)文件到HDFS
hadoop fs -copyToLocal
將HDFS上的文件復制到本地(local)
hadoop fs -get
將HDFS上的文件復制到本地(local)
hadoop fs -cp
復制HDFS文件
hadoop fs -rm
刪除HDFS文件
hadoop fs -cat
列出HDFS目錄下的文件的內容
【一、創建與查看HDFS目錄】
1、創建HDFS目錄:
2、查看之前創建的HDFS目錄
注意:因為登錄的用戶為hduser,所以會顯示/user/hduser下的目錄。
3、查看HDFS完整目錄
因為hadoop fs -ls只能查看一級目錄,所以必須逐級查看:
4、查看所有的HDFS子目錄
HDFS提供了一個方便的選項 -R 可以遞歸查看目錄
5、一次性創建所有HDFS子目錄
逐級創建很麻煩,但是可以添加參數-p,來一次性創建多級目錄:
【二、從本地計算機復制文件到HDFS】
1、復制本地文件到HDFS:
2、列出文件內容:
可以使用:hadoop fs -cat /user/hduser/test/test1.txt | more 進行分頁顯示
3、如果復制到HDFS的文件已經存在,會報錯,此時可以使用-f 參數,強制復制重復文件到HDFS目錄:
4、從本地復制多個文件到HDFS,中間用空格分割即可。
5、從本地復制整個目錄到HDFS:
6、列出HDFS目錄下的所有文件(包括這個目錄下子目錄的文件)
7、使用put復制文件到HDFS,這個參數與copyFromLocal的不同之處在于:
-put更寬松,可以把本地或者HDFS上的文件拷貝到HDFS中;而-copyFromLocal則更嚴格限制只能拷貝本地文件到HDFS中。如果本地和HDFS上都存在相同路徑,則-put跟趨于優先取HDFS的源。(不用太深究兩者區別,更多用-put)
【三、從HDFS上復制文件到本地】
1、參數 -copyToLocal
2、同樣的也可以用參數-get完成上述操作:
【四、復制與刪除HDFS文件】
1、使用-cp參數,在HDFS上進行復制文件
2、使用-rm參數,刪除HDFS上的文件;添加-R參數,刪除目錄:
在http://master:50070上可以瀏覽和操作HDFS的目錄和文件
總結
以上是生活随笔為你收集整理的【hadoop系列】Hadoop HDFS命令的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python 文件读和写
- 下一篇: oracle-扫盲贴:存储过程实现增删改