日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

【hadoop系列】Hadoop HDFS命令

發布時間:2023/12/9 编程问答 23 豆豆
生活随笔 收集整理的這篇文章主要介紹了 【hadoop系列】Hadoop HDFS命令 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

格式:hadoop fs -命令

主要有如下的命令:

命令

說明

hadoop fs -mkdir

創建HDFS目錄

hadoop fs -ls

列出HDFS目錄

hadoop fs -copyFromLocal

使用-copyFromLocal復制本地文件(local)到HDFS

hadoop fs -put

使用-put復制本地(local)文件到HDFS

hadoop fs -copyToLocal

將HDFS上的文件復制到本地(local)

hadoop fs -get

將HDFS上的文件復制到本地(local)

hadoop fs -cp

復制HDFS文件

hadoop fs -rm

刪除HDFS文件

hadoop fs -cat

列出HDFS目錄下的文件的內容

【一、創建與查看HDFS目錄】

1、創建HDFS目錄:

2、查看之前創建的HDFS目錄

注意:因為登錄的用戶為hduser,所以會顯示/user/hduser下的目錄。

3、查看HDFS完整目錄

因為hadoop fs -ls只能查看一級目錄,所以必須逐級查看:

4、查看所有的HDFS子目錄

HDFS提供了一個方便的選項 -R 可以遞歸查看目錄

5、一次性創建所有HDFS子目錄

逐級創建很麻煩,但是可以添加參數-p,來一次性創建多級目錄:

【二、從本地計算機復制文件到HDFS】

1、復制本地文件到HDFS:

2、列出文件內容:

可以使用:hadoop fs -cat /user/hduser/test/test1.txt | more 進行分頁顯示

3、如果復制到HDFS的文件已經存在,會報錯,此時可以使用-f 參數,強制復制重復文件到HDFS目錄:

4、從本地復制多個文件到HDFS,中間用空格分割即可。

5、從本地復制整個目錄到HDFS:

6、列出HDFS目錄下的所有文件(包括這個目錄下子目錄的文件)

7、使用put復制文件到HDFS,這個參數與copyFromLocal的不同之處在于:

-put更寬松,可以把本地或者HDFS上的文件拷貝到HDFS中;而-copyFromLocal則更嚴格限制只能拷貝本地文件到HDFS中。如果本地和HDFS上都存在相同路徑,則-put跟趨于優先取HDFS的源。(不用太深究兩者區別,更多用-put)

【三、從HDFS上復制文件到本地】

1、參數 -copyToLocal

2、同樣的也可以用參數-get完成上述操作:

【四、復制與刪除HDFS文件】

1、使用-cp參數,在HDFS上進行復制文件

2、使用-rm參數,刪除HDFS上的文件;添加-R參數,刪除目錄:

在http://master:50070上可以瀏覽和操作HDFS的目錄和文件

總結

以上是生活随笔為你收集整理的【hadoop系列】Hadoop HDFS命令的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。