集群启动命令
Hadoop集群軟件啟動命令
1.集群規劃
| node01:192.168.204.138 | nn/2nn | rm1 | zk1 | hive | sqoop | flume | solo/exec | oozie | hue | |
| node02:192.168.204.139 | dn1 | nm1 | zk2 | sqoop | flume | exec/web | ||||
| node03:192.168.204.137 | dn2 | nm2 | zk3 | mysql | hive | sqoop | flume |
2.Hadoop啟動和關閉命令
#啟動命令 start-all.sh #關閉命令 stop-all.sh3.JobHistory啟動和關閉命令
#啟動命令 mr-jobhistory-daemon.sh start historyserver #關閉命令 mr-jobhistory-daemon.sh stop historyserver4.Zookeeper啟動和關閉命令
#啟動命令 zkServer.sh start#查看狀態 zkServer.sh status#關閉命令 zkServer.sh stop# zkui可視化工具啟動命令 cd /data/zkui && nohup java -jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &# 查看進程 netstat -tunpl | grep :90905.Hive啟動命令和關閉命令
#hivemetastore服務后臺啟動命令 nohup hive --service metastore & nohup hive --service metastore 2>&1 >> /var/log.log & #關閉命令 jps -m # 找到Hiveserver2運行的進程號 kill -9 17303 # 使用kill -9 進程號 關閉相應的服務 #hiveserver2服務后臺啟動命令 nohup hiveserver2 & ---------------------------- beeline !connect jdbc:hive2://node03:10000 !connect jdbc:hive2://172.26.168.65:10000 # ECS_test2 機器root 123456 --------------------------- #關閉命令 jps -m # 找到Hiveserver2運行的進程號 kill -9 17303 # 使用kill -9 進程號 關閉相應的服務6.Azkaban solo-server 模式啟動和關閉命令
注:solo-server模式在node01機器上面
#注:啟動/關閉必須進到 azkaban-solo-server-0.1.0-SNAPSHOT/目錄下 #啟動命令 cd /export/servers/azkaban-solo-server bin/start-solo.sh # solo-server 模式 web端口為 http://node01:8081/#關閉命令 cd /export/servers/azkaban-solo-server bin/shutdown-solo.sh7.Azkaban two-server 模式啟動和關閉命令
注:two-server模式在node02機器上面
#注:啟動/關閉必須進到 azkaban-exec-server/目錄下 # 需要先啟動exec-server,然后在手動激活exector,再啟動web-server #azkaban-exec-server啟動命令 cd /export/servers/azkaban/azkaban-exec-server bin/start-exec.sh #手動激活 executor curl -G "node02:$(<./executor.port)/executor?action=activate" && echo #azkaban-web-server啟動命令 cd /export/servers/azkaban/azkaban-web-server bin/start-web.sh# two-server 模式 web端口為 https://node01:8443/ --------------------------------------------------#azkaban-exec-server關閉命令 cd /export/servers/azkaban/azkaban-exec-server bin/shutdown-exec.sh #azkaban-web-server關閉命令 cd /export/servers/azkaban/azkaban-web-server bin/shutdown-web.sh8.Oozie啟動和關閉命令
#啟動命令 oozied.sh start #關閉命令 注: 盡量不要使用kill方式關閉進程 oozied.sh stop9.Hue啟動和關閉命令
#注:需要先從root用戶下轉換到用戶hliushi下 su hliushi #啟動命令 supervisor -------------------------- #頁面訪問 hue http://node01:8888 #關閉命令 #在xshell按住ctrl+shift+c關閉進程即可9.機器之間發送配置文件命令
scp /export/servers/hadoop-2.7.7/etc/hadoop/core-site.xml node02:/export/servers/hadoop-2.7.7/etc/hadoop/ scp /export/servers/hadoop-2.7.7/etc/hadoop/core-site.xml node03:/export/servers/hadoop-2.7.7/etc/hadoop/10.Nginx啟動和關閉命令
#注:nginx安裝在node02機器上, 且沒有配置環境變量 #啟動命令 cd /usr/local/nginx sbin/nginx -c conf/nginx.conf ---------------------------------- #查看nginx的運行轉態 ps -ef | grep nginx #關閉命令 sbin/nginx -s stop11.Apache Server啟動和關閉命令
#啟動命令 service httpd start #重啟命令 service httpd restart #關閉服務命令 service httpd stop12.本地 yum 源信息
#本地yum源信息在 master主機上面 url : http://192.168.204.10/cdh5.14.0/13.Redis啟動和關閉命令
啟動redis
# node01執行以下命令啟動redis cd /export/servers/redis-3.2.8/src redis-server ../redis.conf # 啟動哨兵服務 cd /export/servers/redis-3.2.8 src/redis-sentinel sentinel.conf # 查看redis的進程 ps -ef | grep redis連接redis客戶端
cd /export/servers/redis-3.2.8/src redis-cli -h node01關閉命令
# 輸入auth 123456 即可登錄進入客戶端 node03:6379> auth 123456 # 執行如下命令即可正常斷開redis連接 node03:6379> shutdown # 關閉server服務 not connected> quit14.Hbase啟動和關閉命令
注意事項：Hbase強依賴于HDFS以及zookeeper，所以安裝Hbase之前一定要保證Hadoop和zookeeper正常啟動
# HBase集群啟動命令 -- node01為Hbase master節點 node02為Hbase master backup 備份 start-hbase.sh# 關閉集群命令 stop-hbase.sh# 瀏覽器頁面訪問 # http://node01:16010/master-status--------------------------- # 單節點啟動方式命令 # 啟動HMaster命令 hbase-daemon.sh start master # 啟動HRegionServer命令 hbase-daemon.sh start regionserver--------------------------- # hbase的thrift server服務啟動命令 啟動hue之前要啟動這個服務 hbase-daemon.sh start thrift # 關閉服務命令 hbase-daemon.sh stop thrift進入HBase客戶端命令操作界面
[root@node01 export]# hbase shell hbase(main):001:0> # 集群關閉命令 stop-hbase.sh15.Kafka啟動和關閉命令
注意事項：在kafka啟動前，一定要讓zookeeper啟動起來。
# 可以選擇先進入kafka的安裝目錄, 只是把這個nohup.out輸出到當前路徑下而已 cd /export/servers/kafka_2.11-0.10.0.0 nohup kafka-server-start.sh config/server.properties 2>&1 & # 啟動命令-后臺啟動 nohup kafka-server-start.sh /export/servers/kafka_2.11-0.10.0.0/config/server.properties 2>&1 &# 停止命令 kafka-server-stop.sh16.Kafka-eagle啟動和關閉命令
# 啟動命令 安裝在node01 機器上 ke.sh start ---------------------- # web端口訪問 http://node01:8048/ke # 賬號: admin 密碼 : 123456 # 啟動 ke.sh start # 查看狀態 ke.sh status # 關閉 ke.sh stop # 重啟 ke.sh restart17.Spark啟動和關閉命令
注意下:Spark并沒有配置環境變量, 個人覺得有一個命令和hadoop命令一樣了,啟動同樣的命令有問題
# 啟動 Spark Master 和 Slaves, 以及 HistoryServer -- Spark Master在node01 # 注意由于spark集群配置了高可用, 是基于Zookeeper搭建起來的高可用 # 并且修改了spark-env.sh 配置文件, 添加了Spark運行時參數, 從而指定Zookeeper的位置 # 所以確保啟動高可用Spark之前, 一定先啟動Zookeeper!!! ------------------------------------------------------------- # Zookeeper啟動命令 [三臺機器都要啟動] zkServer.sh start cd /export/servers/spark sbin/start-all.sh sbin/start-history-server.sh# spark的web UI 端口 http://node01:8080/# 關閉 Spark 和 HistoryServer cd /export/servers/spark sbin/stop-all.sh sbin/stop-history-server.sh # 啟動 Spark shell cd /export/servers/spark bin/spark-shell --master local[2]問題出現:Can only call getServletHandlers on a running MetricsSystem
原因: spark 集群的 worker 都掛掉了, 掛掉的原因是沒有啟動Zookeeper, 高可用的Spark集群是基于Zookeeper搭建起來的, 啟動高可用的Spark的需要指定Zookeeper的位置, 如果不提前開啟來zookeeper,那樣Spark集群的 worker都會掛掉
解決方式
記得啟動之前開啟Zookeeper!!!, 不然worker還是會掛掉
18.CDH版本Hadoop服務啟動命令
| httpd | service httpd start |
| Zookeeper | service zookeeper-server start |
| hdfs-namenode | service hadoop-hdfs-namenode start |
| hdfs-datanode | service hadoop-hdfs-datanode start |
| hdfs-secondarynamenode | service hadoop-hdfs-secondarynamenode start |
| yarn-resourcemanager | service hadoop-yarn-resourcemanager start |
| mapreduce-historyserver | service hadoop-mapreduce-historyserver start |
| yarn-nodemanager | service hadoop-yarn-nodemanager start |
| hive-metastore | service hive-metastore start |
| hive-server2 | service hive-server2 start |
| kudu-master | service kudu-master start |
| kudu-tserver | service kudu-tserver start |
| impala-state-store | service impala-state-store start |
| impala-catalog | service impala-catalog start |
| impala-server | service impala-server start |
| hue | service hue start |
| ntp | service ntpd start ntpstat |
19.centos6與centos7服務開啟關閉命令對比
| 啟動服務 | service httpd start | systemctl start httpd.service |
| 關閉服務 | service httpd stop | systemctl stop httpd.service |
| 重啟服務 | service httpd restart | systemctl restart httpd.service |
| 查看服務狀態 | service httpd status | systemctl status httpd.service |
| 設置服務開機啟動 | chkconfig httpd on | systemctl enable httpd.service |
| 設置服務開機關閉 | chkconfig httpd off | systemctl disable httpd.service |
| 查看服務開機啟動 | chkconfig –list | systemctl list-units –type=service |
20.Flink啟動和關閉命令
# 注意由于spark集群配置了高可用, 是基于Zookeeper搭建起來的高可用 # 所以確保啟動高可用Spark之前, 一定先啟動Zookeeper!!! # Zookeeper啟動命令 [三臺機器都要啟動] zkServer.sh start# 啟動和關閉Flink集群 start-cluster.sh stop-cluster.sh# flink的web UI 端口 http://node01:8081/21.RocketMQ啟動和關閉命令
多Master多Slave模式服務啟動和關閉 [沒有自動創建topic]
# 服務啟動 # 1. 啟動NameServe集群(分別在1,2號服務器啟動) cd /export/servers/rocketmq-4.6.0/bin nohup sh mqnamesrv &# 2. 啟動Broker集群 # 一號服務器 # master1 nohup sh mqbroker -c /export/servers/rocketmq-4.6.0/conf/2m-2s-sync/broker-a.properties & autoCreateTopicEnable=true# slave2 nohup sh mqbroker -c /export/servers/rocketmq-4.6.0/conf/2m-2s-sync/broker-b-s.properties & autoCreateTopicEnable=true# 二號服務器 # master2 nohup sh mqbroker -c /export/servers/rocketmq-4.6.0/conf/2m-2s-sync/broker-b.properties & autoCreateTopicEnable=true# slave1 nohup sh mqbroker -c /export/servers/rocketmq-4.6.0/conf/2m-2s-sync/broker-a-s.properties & autoCreateTopicEnable=true# 注意問題: 在PowerShell窗口下執行maven命令 出錯Unknown lifecycle phase “.test.skip=true”. # 原因: 在PowerShell窗口下, 執行帶參數的需要 '' 單引號包起來才可以 # 方式1 # 命令改為 mvn clean install package '-Dmaven.test.skip=true' # 方式2 # 不要使用PowerShell命令行模式，使用 cmd 進入命令行執行 mvn clean install package -Dmaven.test.skip=true# console啟動命令 devp 端口在9900 cvm端口在9999 # 可以運行參數上更改運行端口和rocketMQ集群地址 # java -jar rocketmq-console-ng-2.0.0.jar --server.port=8080 --rocketmq.config.namesrvAddr=127.0.0.1:9876 java -jar dev-rocketmq-console-ng-2.0.0.jar# 3. rocketmq服務關閉 # 關閉broker服務 sh mqshutdown broker# 關閉namesrv服務： sh mqshutdown namesrv單機版啟動和關閉命令
cd /export/servers/rocketmq-4.6.0/### 啟動 NameServer 服務和路由 # 啟動命令，并且常駐內存，nohup 屬于后臺啟動，當前目錄下生成 nohup.out 日志文件，也可以指定日志輸出位置。 # sh mqnamesrv ：屬于終端啟動，直接輸出日志信息，按 ctrl+c 可直接關閉退出 nohup sh mqnamesrv &# 查看啟動日志，能看到 "The Name Server boot success" 字樣則成功 tail -f ~/logs/rocketmqlogs/namesrv.log### 啟動 Broker 中間件 nohup sh mqbroker -c conf/broker.conf -n localhost:9876 &# sh mqbroker -n localhost:9876 ：屬于終端啟動，直接輸出日志信息，按 ctrl+c 可直接關閉退出# 查看啟動日志 tail -f ~/logs/rocketmqlogs/broker.log### 關閉命令 # 先關閉 broker、在關閉 nameserv sh mqshutdown broker sh mqshutdown namesrv# web可視化界面命令 端口9999 java -jar cvm-rocketmq-console-ng-2.0.0.jar --rocketmq.config.namesrvAddr=cvm-node02:9876測試RocketMQ
cd /export/servers/rocketmq-4.6.0 # 發送消息 # 1.設置環境變量 export NAMESRV_ADDR=localhost:9876 # 2.使用安裝包的Demo發送消息 sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer# 接收消息 # 1.設置環境變量 export NAMESRV_ADDR=localhost:9876 # 2.接收消息 sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer| 查看 broker 狀態 | ./bin/mqadmin brokerStatus -n 127.0.0.1:9876 -b 172.20.1.138:10911 |
| 查看 topic 列表 | ./bin/mqadmin topicList -n 127.0.0.1:9876 |
| 查看 topic 狀態 | ./bin/mqadmin topicStatus -n 127.0.0.1:9876 -t MyTopic (換成想查詢的 topic) |
| 查看 topic 路由 | ./bin/mqadmin topicRoute -n 127.0.0.1:9876 -t MyTopic |
?
?
?
win10服務運行
# D:\develop\rocketmq-all-4.6.0-bin-release\bin # 打開cmd start mqnamesrv.cmd start mqbroker.cmd -n 127.0.0.1:9876 autoCreateTopicEnable=true21.WIN10中CMD隨筆
######################################################## # cmd 命令隨筆 # 輸入 D: 可切換到 D盤路徑下 同理,使用 F:切換到 F盤路徑下C:\Users\llhuang10>D: D:\> # dir命令顯示當先目錄, 等同于 Linux中的 ll或ls D:\>dir驅動器 D 中的卷沒有標簽。卷的序列號是 60A3-D0C6D:\ 的目錄2021/07/21 08:06 <DIR> book_study 2021/07/22 09:13 <DIR> code 2021/07/21 17:02 <DIR> develop 2021/07/22 15:51 <DIR> downloads 2021/07/22 10:03 <DIR> home 2021/07/22 15:53 <DIR> IdeaProjects 2021/07/21 19:13 <DIR> iflytek 2021/07/22 08:10 <DIR> Program Files 2021/07/21 16:52 <DIR> Program Files (x86) 2021/07/22 16:02 <DIR> tmp 2021/07/20 13:49 <DIR> WebstormProjects 2021/07/15 17:02 <DIR> workspace0 個文件 0 字節12 個目錄 484,580,605,952 可用字節 D:\> ########################################################22.集群之間免密登錄
刪除之前生成的公匙 (如果有)
rm ./id_rsa* # 刪除之前生成的公匙（如果有）遠程登錄自身，也需要配置免秘鑰!!
[root@cvm-node01 .ssh]# cat ./id_rsa.pub >> ./authorized_keys問題1
chmod: 更改’authorized_keys’ 的權限: 不允許的操作
原因
在linux系統下
有些配置文件是不允許被任何人（包括root）修改的
為了防止被誤修改或刪除
可以設定該文件的不可修改位：immutable
解決辦法 ：chattr
# 防止關鍵文件被修改： chattr +i authorized_keys # 如果需要修改文件則： chattr -i authorized_keys問題2
sh: .ssh/authorized_keys: 權限不夠
原因
修改修改.ssh目錄的權限以及authorized_keys 的權限(這個必須修改，要不然還是需要密碼)
解決辦法
sudo chmod 644 ~/.ssh/authorized_keys sudo chmod 700 ~/.ssh23.RabbitMQ啟動和關閉命令
docker run -d --hostname my-rabbit --name rabbit -p 15672:15672 -p5672:5672 daocloud.io/library/rabbitmq:3.6.10-management# 查看docker中的rabbitmq的運行狀態 docker ps | grep rabbit# 查看正在運行的容器 docker ps# 刪除指定容器 # docker rm 容器名稱(或容器Id) docker rm rabbit24.Jenkins啟動和關閉命令
# 啟動 service jenkins start # 重啟 service jenkins restart # 停止 service jenkins stop # 訪問地址 http://cvm-node02:12345/總結
- 上一篇： Jacob技术应用
- 下一篇： 用wget递归下载网站 离线浏览