31、獲取或設置每個守護進程的日志級別(daemonlog)。
用法：hadoop daemonlog -getlevel <host:port> <name>
用法：hadoop daemonlog -setlevel <host:port> <name> <level>
命令選項 ???????????????????????????????????????描述
-getlevel <host:port> <name> ???????????????????????打印運行在<host:port>的守護進程的日志級別。這個命令內部會連接 http://<host:port>/logLevel?log=<name>
-setlevel <host:port> <name> <level> ???????????????設置運行在<host:port>的守護進程的日志級別。這個命令內部會連接 http://<host:port>/logLevel?log=<name>
32、運行一個HDFS的datanode。
用法：hadoop datanode [-rollback]
命令選項 ??????????????????????????????????????描述
-rollback ??????????????????????????????????????將datanode回滾到前一個版本。這需要在停止datanode，分發老的hadoop版本之后使用。
33、運行一個HDFS的dfsadmin客戶端。
用 法：hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> < dirname>...<dirname>] [-clrQuota < dirname>...<dirname>] [-help [cmd]]
命令選項 ???????????????????????????????????????????????????????描述
-report ???????????????????????????????????????????????????????報告文件系統的基本信息和統計信息。
-safemode enter | leave | get | wait ???????????????????????????????安全模式維護命令。安全模式是Namenode的一個狀態，這種狀態下，Namenode
1. 不接受對名字空間的更改(只讀)
2. 不復制或刪除塊
Namenode會在啟動時自動進入安全模式，當配置的塊最小百分比數滿足最小的副本數條件時，會自動離開安全模式。安全模式可以手動進入，但是這樣的話也必須手動關閉安全模式。
-refreshNodes ?????????????????????????????????????重新讀取hosts和exclude文件，更新允許連到Namenode的或那些需要退出或入編的Datanode的集合。
-finalizeUpgrade ?????????????????????????????終結HDFS的升級操作。Datanode刪除前一個版本的工作目錄，之后Namenode也這樣做。這個操作完結整個升級過程。
-upgradeProgress status | details | force ?????請求當前系統的升級狀態，狀態的細節，或者強制升級操作進行。
-metasave filename ?????????????????????????????保存Namenode的主要數據結構到hadoop.log.dir屬性指定的目錄下的<filename>文件。對于下面的每一項，
?????????????????????????????????????????????????<filename>中都會一行內容與之對應
1. Namenode收到的Datanode的心跳信號
2. 等待被復制的塊
3. 正在被復制的塊
4. 等待被刪除的塊
-setQuota <quota> <dirname>...<dirname> ????為每個目錄 <dirname>設定配額<quota>。目錄配額是一個長整型整數，強制限定了目錄樹下的名字個數。
命令會在這個目錄上工作良好，以下情況會報錯：
1. N不是一個正整數，或者
2. 用戶不是管理員，或者
3. 這個目錄不存在或是文件，或者
4. 目錄會馬上超出新設定的配額。
-clrQuota <dirname>...<dirname> ????為每一個目錄<dirname>清除配額設定。
命令會在這個目錄上工作良好，以下情況會報錯：
1. 這個目錄不存在或是文件，或者
2. 用戶不是管理員。
如果目錄原來沒有配額不會報錯。
-help [cmd] ????顯示給定命令的幫助信息，如果沒有給定命令，則顯示所有命令的幫助信息。
34、運行MapReduce job Tracker節點(jobtracker)。
用法：hadoop jobtracker
35、運行namenode。有關升級，回滾，升級終結的更多信息請參考升級和回滾。
用法：hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]
命令選項 ????????????????????????????描述
-format ????????????????????????????格式化namenode。它啟動namenode，格式化namenode，之后關閉namenode。
-upgrade ????????????????????????????分發新版本的hadoop后，namenode應以upgrade選項啟動。
-rollback ????????????????????????????將namenode回滾到前一版本。這個選項要在停止集群，分發老的hadoop版本后使用。
-finalize ????????????????????????????finalize會刪除文件系統的前一狀態。最近的升級會被持久化，rollback選項將再
????????????????????????????????????????不可用，升級終結操作之后，它會停掉namenode。
-importCheckpoint ????????????????????從檢查點目錄裝載鏡像并保存到當前檢查點目錄，檢查點目錄由fs.checkpoint.dir指定。
36、運行HDFS的secondary namenode。
用法：hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]
命令選項 ????????????????????????????描述
-checkpoint [force] ????????????????????如果EditLog的大小 >= fs.checkpoint.size，啟動Secondary namenode的檢查點
????????????????????????????????????????過程。 如果使用了-force，將不考慮EditLog的大小。
-geteditsize ????????????????????????????打印EditLog大小。
37、運行MapReduce的task Tracker節點。
?用法：hadoop tasktracker
1、列出所有Hadoop Shell支持的命令
??$ bin/hadoop fs -help
2、顯示關于某個命令的詳細信息
??$ bin/hadoop fs -help command-name
3、用戶可使用以下命令在指定路徑下查看歷史日志匯總
??$ bin/hadoop job -history output-dir
這條命令會顯示作業的細節信息，失敗和終止的任務細節。
4、關于作業的更多細節，比如成功的任務，以及對每個任務的所做的嘗試次數等可以用下面的命令查看
??$ bin/hadoop job -history all output-dir
5、 格式化一個新的分布式文件系統：
??$ bin/hadoop namenode -format
6、在分配的NameNode上，運行下面的命令啟動HDFS：
??$ bin/start-dfs.sh
??bin/start-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動DataNode守護進程。
7、在分配的JobTracker上，運行下面的命令啟動Map/Reduce：
??$ bin/start-mapred.sh
??bin/start-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動TaskTracker守護進程。
8、在分配的NameNode上，執行下面的命令停止HDFS：
??$ bin/stop-dfs.sh
??bin/stop-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止DataNode守護進程。
9、在分配的JobTracker上，運行下面的命令停止Map/Reduce：
??$ bin/stop-mapred.sh
??bin/stop-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止TaskTracker守護進程。
?
DFSShell
10、創建一個名為 /foodir 的目錄
??$ bin/hadoop dfs -mkdir /foodir
11、創建一個名為 /foodir 的目錄 ????
??$ bin/hadoop dfs -mkdir /foodir
12、查看名為 /foodir/myfile.txt 的文件內容 ????
??$ bin/hadoop dfs -cat /foodir/myfile.txt

DFSAdmin
13、將集群置于安全模式 ?????
??$ bin/hadoop dfsadmin -safemode enter
14、顯示Datanode列表 ????
??$ bin/hadoop dfsadmin -report
15、使Datanode節點 datanodename退役????
??$ bin/hadoop dfsadmin -decommission datanodename
16、bin/hadoop dfsadmin -help 命令能列出所有當前支持的命令。比如：
????* -report：報告HDFS的基本統計信息。有些信息也可以在NameNode Web服務首頁看到。
????* -safemode：雖然通常并不需要，但是管理員的確可以手動讓NameNode進入或離開安全模式。
????* -finalizeUpgrade：刪除上一次升級時制作的集群備份。
17、顯式地將HDFS置于安全模式
??$ bin/hadoop dfsadmin -safemode
18、在升級之前，管理員需要用（升級終結操作）命令刪除存在的備份文件
??$ bin/hadoop dfsadmin -finalizeUpgrade
19、能夠知道是否需要對一個集群執行升級終結操作。
??$ dfsadmin -upgradeProgress status
20、使用-upgrade選項運行新的版本
??$ bin/start-dfs.sh -upgrade
21、如果需要退回到老版本,就必須停止集群并且部署老版本的Hadoop，用回滾選項啟動集群
??$ bin/start-dfs.h -rollback

轉載于:https://blog.51cto.com/10988776/1722928

總結

以上是生活随笔為你收集整理的大数据测试之hadoop命令大全 2的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。