一.HDFS命令行

Hadoop help命令的使用

1.hadoop -help查詢所有Hadoop Shell支持的命令

2.distcp

這是Hadoop下的一個分布式復(fù)制程序，可以在不t同的HDFS集群間復(fù)制數(shù)據(jù)，也可以在本地文件間復(fù)制數(shù)據(jù)。

hadoop distcp

將/test/test.txt文件復(fù)制到/test/cp下面：hadoop distcp/test/test.txt/test/cp

將master1集群/test目錄(包含內(nèi)容)復(fù)制到master2集群/test_cp目錄下：

Hadoop distcp hdfs://master1/test hdfs://master2/test_cp

3.用戶可以把MapReduce代碼捆綁到j(luò)ar文件中，使用這個jar文件

命令格式：hadoop jar [mainClass]arges

4.archive 創(chuàng)建一個Hadoop存檔文件，這是一種特殊的文檔格式。一個Hadoop archive對應(yīng)一個文件系統(tǒng)目錄。Hadoop archive的擴展名為*.har。可以將文件寫入HDFS塊，一定程度上解決了大量小文件耗費NameNode節(jié)點的現(xiàn)象，同時允許對文件的透明訪問。

命令格式：hadoop archive-archiveName*

命令選項：

-archiveName 要創(chuàng)建存檔文件的名字

src 文件系統(tǒng)的路徑名，和通常含正則表達式一樣

dest 保存存檔文件的目錄索引目標

for example:

1.hadoop archive-archiveName part-20170906-0.har -p/input/ child1 child2/ah_input/har

2.查看歸檔后的目錄結(jié)構(gòu)：hadoop fs-lsr/

3.查看結(jié)果文件part -0的內(nèi)容：hadoop fs-cat /test/in/har/0825.har/part-0

4.使用har uri訪問原始數(shù)據(jù)

har是HDFS之上的一個文件系統(tǒng)，因此所有fs shell命令對har文件有用，只不過路徑格式不一樣

hadoop -lsr har://ah_input/har/part-20170906-0.har

5.?用har uri訪問下一級目錄

hdfs dfs-lsr har://ah_input/har/part-20170906-0.har/input

6.遠程訪問

hadoop fs-lsr har://master:8020/ah_input/har/part-20170906-0.har

其中master是NameNode所在節(jié)點的主機名，8020是core-site.xml文件中的fs.defaultFS參數(shù)配置中對應(yīng)的端口號

7.刪除har文件

必須使用rmr命令來刪除har文件，rm命令是不行的

hadoop fs-rmr/ah_input/har/part-20170906-0.har

除此之外，har還可以作為MapReduce的輸入進行使用。

HDFS常用命令行操作

1.dfsadmin -help

help命令會在屏幕客戶端列出dfsadmin下的命令的列表及語法的命令格式的幫助信息

hadoop dfsadmin -help

2.report

-report [-live][-dead][-decommissioning]:報告HDFS的基本信息和統(tǒng)計信息

3.safemode

-safemode:安全模式維護命令，可以說它是NameNode狀態(tài)。處于安全模式時，它不接受對空間名字的修改(即只讀)，同時它不復(fù)制或刪除塊。在NameNode啟動時，系統(tǒng)自動進入安全模式，當(dāng)配置最小的Block百分比滿足最小的復(fù)制條件時，就會自動離開安全模式。安全模式也可以手動輸入，此時只能手動關(guān)閉。

4.job -history 看歷史日志匯總

5.dfs- mkdir在DFS創(chuàng)建目錄

hadoop dfs- mkdir/testmkdir

6.fs- put該命令上傳本地file到HDFS指定目錄

7.fs-lsr查看所有文件以及所在的目錄信息

8.fs- cat查看HDFS上的文件內(nèi)容

9.fs-rm刪除指定文件

10.fs-rm-r 刪除HDFS上的文件夾以及文件夾的內(nèi)容

11.fs-chmod更改HDFS文件權(quán)限

-r只讀權(quán)限

-w寫入權(quán)限

-rw讀寫權(quán)限

-x執(zhí)行權(quán)限

總結(jié)

以上是生活随笔為你收集整理的hadoop put命令的格式_HDFS常用命令的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。