集群啟動/停止方式總結

各個模塊分開啟動/停止(前提配置ssh)常用
1). 整體啟動/停止HDFS：

start-dfs.sh/stop-dfs.sh

2).整體啟動/停止YARN：

start-yarn.sh/stop-yarn.sh

2.各個服務組建注意啟動/停止

1). 分別啟動/停止HDFS組件：

hdfs --daemon start/stop namenode/datanode/secondarynamenode

2). 啟動/停止YARN：

yarn --daemon start/stop resourcemanager/nodemanager

編寫Hadoop集群常用腳本

1.Hadoop集群啟停腳本(包含HDFS、YARN、Historyserver):myhadoop.sh;

在/opt/module/hadoop-3.2.2/bin目錄下創建myhadoop.sh：

[xiaobai@hadoop102 bin]$ vim myhadoop.sh

在文件里輸入如下內容：

case $1 in "start")echo "=========啟動hadoop集群==========="echo "---------啟動hdfs----------"ssh hadoop102 "/opt/module/hadoop-3.2.2/sbin/start-dfs.sh"echo "----------啟動yarn----------"ssh hadoop103 "/opt/module/hadoop-3.2.2/sbin/start-yarn.sh"echo "----------啟動historyserver----------"ssh hadoop102 "/opt/module/hadoop-3.2.2/bin/mapred --daemon start historyserver" ;; "stop") echo "=========關閉hadoop集群==========="echo "----------關閉historyserver----------"ssh hadoop102 "/opt/module/hadoop-3.2.2/bin/mapred --daemon stop historyserver"echo "----------關閉yarn------------"ssh hadoop103 "/opt/module/hadoop-3.2.2/sbin/stop-yarn.sh"echo "-----------關閉hdfs------------"ssh hadoop102 "/opt/module/hadoop-3.2.2/sbin/stop-dfs.sh" ;; *)echo "Input Args Error..." ;; esac

保存退出，賦予腳本權限：

[xiaobai@hadoop102 bin]$ chmod 777 myhadoop.sh

測試腳本是否可正常使用：

[xiaobai@hadoop102 hadoop-3.2.2]$ myhadoop.sh start =========啟動hadoop集群=========== ---------啟動hdfs---------- Starting namenodes on [hadoop102] Starting datanodes Starting secondary namenodes [hadoop104] ----------啟動yarn---------- Starting resourcemanager Starting nodemanagers ----------啟動historyserver----------

2.查看3x服務器Java進程腳本：jpsall

在/opt/module/hadoop-3.2.2/bin目錄下創建jpsall：

[xiaobai@hadoop102 bin]$ vim jpsall

輸入如下內容：

#!/bin/bashfor host in hadoop102 hadoop103 hadoop104 doecho ============ $host ===========ssh $host jps done

保存退出，賦予腳本執行權限：

[xiaobai@hadoop102 bin]$ chmod +x jpsall

測試腳本是否可正常使用：

[xiaobai@hadoop102 hadoop-3.2.2]$ jpsall ============ hadoop102 =========== 2624 JobHistoryServer 2020 NameNode 2132 DataNode 2694 Jps 2460 NodeManager ============ hadoop103 =========== 2533 Jps 1878 DataNode 2054 ResourceManager 2171 NodeManager ============ hadoop104 =========== 2070 NodeManager 1883 DataNode 1951 SecondaryNameNode 2191 Jps

3.分發/home/xiaobai/bin目錄，保證自定義腳本在三臺機器上都可以使用：

[xiaobai@hadoop102 hadoop-3.2.2]$ xsync /home/xiaobai/bin/

總結

以上是生活随笔為你收集整理的hadoop--hadoop集群常用脚本的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。