日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

通过yarn上的applicationId杀死hadoop中的任务,或通过hadoop job命令停止任务、yarn container 的日志路径

發布時間:2024/9/27 编程问答 27 豆豆
生活随笔 收集整理的這篇文章主要介紹了 通过yarn上的applicationId杀死hadoop中的任务,或通过hadoop job命令停止任务、yarn container 的日志路径 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

示例:
$ yarn application -kill application_Id

hadoop命令行 與job相關的:
命令行工具 ?
1.查看 Job 信息:
hadoop job -list
2.殺掉 Job:
hadoop job –kill job_id
3.指定路徑下查看歷史日志匯總:
hadoop job -history output-dir
4.作業的更多細節:
hadoop job -history all output-dir
5.打印map和reduce完成百分比和所有計數器:
hadoop job –status job_id
6.殺死任務。被殺死的任務不會不利于失敗嘗試:
hadoop jab -kill-task
7.使任務失敗。被失敗的任務會對失敗嘗試不利:
hadoop job -fail-task
8、yarn container 的日志路徑
/etc/hadoop/conf/yarn-site.xml 配置文件中

  • yarn.nodemanager.log-dirs 指定本機的日志路徑 (/hadoopfs/fs1/yarn/nodemanager/log/application_1546250639760_0052/container_e03_1546250639760_0052_01_000001/)
  • yarn.log-aggregation-enable 是否啟用日志聚集功能。默認 false。
    yarn.log-aggregation-enable 啟用之后,日志路徑:hdfs://app-logs/user_name/logs-ifile/application_1546250639760_0045
    查看日志 yarn logs -applicationId application_1546250639760_0055

9、查看集群的狀態
hadoop dfsadmin -safemode get # 查看安全模式狀態

hadoop dfsadmin -safemode enter # 進入安全模式狀態

hadoop dfsadmin -safemode leave # 離開安全模式

10 啟動線上hadoop集群的方式(以下是第一次運行的時候)
./hdfs zkfc -formatZK格式化zookeeper
./hadoop-daemons.sh start journalnode 啟動 journalnode (3臺機器上執行)
./hadoop namenode -format
./hadoop-daemon.sh start namenode
./hdfs namenode -bootstrapStandby 同步第一臺NameNode元數據 (進入第二臺機器)
./start-all.sh
./yarn-daemon.sh start resourcemanager

查詢resourcemanager狀態:actve、standby

./yarn rmadmin -getServiceState namenode2

./yarn-daemon.sh start nodemanager

sbin/hadoop-daemon.sh start datanode

總結

以上是生活随笔為你收集整理的通过yarn上的applicationId杀死hadoop中的任务,或通过hadoop job命令停止任务、yarn container 的日志路径的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。