寫目錄

• Yarn常用命令
• • 1. yarn application查看任務
  • 2. yarn logs查看日志
  • 3. yarn applicationattermpt查看嘗試運行的任務
  • 4. yarn container查看容器
  • 5. yarn ndoe查看節點狀態
  • 6. yarn rmadmin 更新配置
  • 7. yarn queue 查看隊列
• yarn生產環境核心配置參數

Yarn常用命令

1. yarn application查看任務

執行wordcount案例：

[xiaobai@hadoop102 hadoop-3.2.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /input /output1

列出所有application：

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn application -list

與通過hadoop103:8088頁面查看yarn狀態一致：

根據application狀態過濾：yarn application-list-appStates(所有狀態：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED)

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn application -list -appStates FINISHED

kill掉application(例如在任務卡死情況下)：

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn application -kill application_1630326119767_0004

tips: 該進程已經完成。

2. yarn logs查看日志

查詢application日志：yarn logs -applicationId <ApplicationId>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn logs -applicationId application_1630326119767_0003

查詢Container日志：yarn logs -applicationId <ApplicationId> -container <ContainerId>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn logs -applicationId application_1630326119767_0003 -containerId container_1630326119767_0003_01_000001

3. yarn applicationattermpt查看嘗試運行的任務

列出所有application嘗試的列表：yarn applicationattempt -list <ApplicationId>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn applicationattempt -list application_1630326119767_0003

打印ApplicationAttempt狀態：yarn applicationattempt -status <ApplicationAttemptId>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn applicationattempt -status appattempt_1630326119767_0003_000001

4. yarn container查看容器

列出所有container：yarn container -list <ApplicationAttemptId

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn container -list appattempt_1630326119767_0003_000001

打印container狀態：yarn container -status <ContainerId>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn container -status container_1630326119767_0003_01_000001

tips:
只有在任務運行過程中才可以查看到container狀態，因為容器運行完成后就會立即釋放掉。

5. yarn ndoe查看節點狀態

列出所有節點：yarn node -list -all

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn node -list -all

6. yarn rmadmin 更新配置

加載隊列配置：yarn rmadmin -refreshQueues

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn node -list -all

tips: 對隊列進行相關配置，無需重啟集群即可進行刷新隊列，若是更改yarn-site.xml需重啟集群！

7. yarn queue 查看隊列

打印隊列信息：yarn queue -status <QueueName>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn queue -status default

也可通過hadoop103:8088頁面查看：

yarn生產環境核心配置參數

tips: 可在配置參數前拍攝Linux快照，后續可通過恢復快照回到配置前狀態。
推薦查看《Hadoop權威指南》！

總結

以上是生活随笔為你收集整理的Hadoop--Yarn常用命令 与 生产环境核心配置参数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。