集群状态正常时需要的jps进程＋是否需要部署到各个节点(持续更新中)
?
| 集群 | jps進程-主機 | jps進程-從機 | 需要在集群中每個節(jié)點輸入啟動命令 | 需要確保各個節(jié)點啟動特定jps |
| HDFS | HistoryServer NameNode DataNode(workers文件中包含主機) SecondaryNameNode | DataNode | 否 | 是 |
| Yarn | NodeManager ResourceManager | NodeManager | 否 | 是 |
| Spark | Master Worker JobHistoryServer | Worker | 否 | 是 |
| Hbase | QuorumPeerMain(獨立的Zookeeper) HQuorumPeer(hbase管理的Zookeeper) HRegionServer HMaster | HRegionServer | 否 | 是 |
| Nifi | NiFi RunNiFi | 無 | 否 | 否 |
| Zookeeper | ZooKeeperMain(啟動zookeeper的客戶端時才會出現(xiàn)) QuorumPeerMain | QuorumPeerMain | 是 | 是 |
| Hive | ①hive --service metastore ②hiveserver2 都是 RunJar | ? | 是 | 否 |
| Thrift | ThriftServer | 無 | 否 | 是 |
| Tez | 無 | 無 | 否 | 是 |
| Flink(單機模式) | TaskManagerRunner StandaloneSessionClusterEntrypoint | 無 | 否 | 否 |
| Flink(standalone+HA集群模式) | 71344 StandaloneSessionClusterEntrypoint 81890 QuorumPeerMain 67397 ResourceManager 67621 NodeManager 73271 Jps 66797 DataNode 66364 NameNode 71775 TaskManagerRunner | 3315 QuorumPeerMain 30996 Jps 29860 NodeManager 30889 TaskManagerRunner 3354 QuorumPeerMain 29691 DataNode 30494 StandaloneSessionClusterEntrypoint | 否 | 是 |
?
如果自己安裝zookeeper，啟動及關閉先后順序為：啟動Hadoop—>啟動ZooKeeper集群—>啟動HBase
關閉順序：停止HBase—>停止ZooKeeper集群—>停止Hadoop。
?
對于hive on? tez
①啟動hadoop
②hdfs離開安全模式
③hive --service metastore &
④hiveserver
⑤yarn timelineserver
⑥啟動tomcat
⑦啟動hive客戶端或者beeline客戶端
?
HBase是列式數(shù)據(jù)庫，既可以單機也可以集群的方式搭建，以集群的方式搭建一般建立在HDFS之上。
分布式HBase啟動說明：
首先啟動hadoop，然后問題就來了：zookeeper和hbase的啟動順序是什么？
1,先啟動hbase:hbase有內置的zookeeper，如果沒有裝zookeeper，啟動hbase的時候會有一個HQuorumPeer進程。
2.先啟動zookeeper：如果用外置的zookeeper管理hbase，則先啟動zookeeper，然后啟動hbase，啟動后會有一個QuorumPeerMain進程。
兩個進程的名稱不一樣：
HQuorumPeer表示hbase管理的zookeeper
QuorumPeerMain表示zookeeper獨立的進程
?
#---------------------------------正常啟動下各臺機子應該有的進程(案例)------------------------------------------------------------
?
| ? | 臺式機 | 筆記本 |
| HDFS | 2976 NameNode 3136 DataNode 6981 JobHistoryServer 3331 SecondaryNameNode | 1822 DataNode 1961 NodeManager |
| Yarn | 3737 NodeManager 3567 ResourceManager | 無 |
| Hbase | 13122 HMaster 13330 HRegionServer | 5774 HRegionServer |
| Spark | 4325 Master 4497 Worker 4584 HistoryServer | 2192 Worker |
| Zookeeper | 9219 QuorumPeerMain | 5441 QuorumPeerMain 5610 QuorumPeerMain |
| Hive | RunJar | ? |
| Thrift | ThriftServer | ThriftServer |
注意:
在還沒有啟動Hbase之前，jps中必須有進程QuorumPeerMain，否則不要進行下一步操作
?
?
總結
以上是生活随笔為你收集整理的集群状态正常时需要的jps进程＋是否需要部署到各个节点(持续更新中)的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 打开网页
- 下一篇： 启动hbase后hregionserve