通过yarn上的applicationId杀死hadoop中的任务,或通过hadoop job命令停止任务、yarn container 的日志路径
示例:
$ yarn application -kill application_Id
hadoop命令行 與job相關的:
命令行工具 ?
1.查看 Job 信息:
hadoop job -list
2.殺掉 Job:
hadoop job –kill job_id
3.指定路徑下查看歷史日志匯總:
hadoop job -history output-dir
4.作業的更多細節:
hadoop job -history all output-dir
5.打印map和reduce完成百分比和所有計數器:
hadoop job –status job_id
6.殺死任務。被殺死的任務不會不利于失敗嘗試:
hadoop jab -kill-task
7.使任務失敗。被失敗的任務會對失敗嘗試不利:
hadoop job -fail-task
8、yarn container 的日志路徑
/etc/hadoop/conf/yarn-site.xml 配置文件中
- yarn.nodemanager.log-dirs 指定本機的日志路徑 (/hadoopfs/fs1/yarn/nodemanager/log/application_1546250639760_0052/container_e03_1546250639760_0052_01_000001/)
- yarn.log-aggregation-enable 是否啟用日志聚集功能。默認 false。
yarn.log-aggregation-enable 啟用之后,日志路徑:hdfs://app-logs/user_name/logs-ifile/application_1546250639760_0045
查看日志 yarn logs -applicationId application_1546250639760_0055
9、查看集群的狀態
hadoop dfsadmin -safemode get # 查看安全模式狀態
hadoop dfsadmin -safemode enter # 進入安全模式狀態
hadoop dfsadmin -safemode leave # 離開安全模式
10 啟動線上hadoop集群的方式(以下是第一次運行的時候)
./hdfs zkfc -formatZK格式化zookeeper
./hadoop-daemons.sh start journalnode 啟動 journalnode (3臺機器上執行)
./hadoop namenode -format
./hadoop-daemon.sh start namenode
./hdfs namenode -bootstrapStandby 同步第一臺NameNode元數據 (進入第二臺機器)
./start-all.sh
./yarn-daemon.sh start resourcemanager
查詢resourcemanager狀態:actve、standby
./yarn rmadmin -getServiceState namenode2
./yarn-daemon.sh start nodemanager
sbin/hadoop-daemon.sh start datanode
總結
以上是生活随笔為你收集整理的通过yarn上的applicationId杀死hadoop中的任务,或通过hadoop job命令停止任务、yarn container 的日志路径的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一旦高空坠落,首先该做什么?
- 下一篇: 2、运行.py文件、字符串、保留字符、行