如果某個節點徹底損毀，重裝系統，那么需要的步驟如下:

目的	操作步驟	節點之間配置文件是否完全一致	需要各個節點分別啟動
Hadoop修復	mkdir -p ~/dfs/name hadoop namenode -format start ? /home/appleyuchi/dfs/data/current/VERSION中的cluster-ID改成$HADOOP_HOME/logs/hadoop-appleyuchi-datanode-Laptop.out 中提示的cluster-ID字符串 然后再次輸入 start,從機的datapnode就起來了。	是	否
TEZ恢復	[3][4]照做 yarn timelineserver 打開 desktop:8880/tez-ui	-	-
Hive修復	mysql> create database hive; [0][1][2]做一遍 $ schematool -dbType mysql -initSchema hive --service metastore hive	否	是(hive只是個hdfs的轉化引擎)
Zookeeper恢復	/home/appleyuchi/dfs/zookeeper/data /home/appleyuchi/dfs/zookeeper2/data /home/appleyuchi/dfs/zookeeper3/data 上述各個節點的對應目錄下各自新建一個myid文件 文件中各自寫1,2,3即可	否	是
Spark恢復	mkdir?/home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2/logs/applicationHistory startspark	否	否
ClickHouse恢復	按照自己配置文件以及[6][7]配置	否	是(由于是開機啟動服務，所以各個節點都要各自重啟服務)
Flink恢復	按照自己配置文件來恢復	是	否
Hbase恢復	按照自己配置文件來恢復	否	否
Kafka恢復	按照自己配置文件來恢復	否	是

?

tez的yarn timelineserver啟動后如果使用tez會有bug

?

?

?

Reference:

[0]mysql8安裝后初始化密碼

[1]org.apache.hadoop.hive.metastore.api.InvalidObjectException: Role public already exists.

[2]Underlying cause: com.mysql.cj.jdbc.exceptions.CommunicationsException : Communications link failure

[3]org.apache.maven.plugin.MojoExecutionException: protoc version is libprotoc 3.6.1, expected versio

[4]https://gitee.com/fastsource/apache-tez-0.9.2-src/blob/master/README.md

[5]Hive引擎改為Tez筆記

[6]ClickHouse安裝

[7]clickhouse分布式集群搭建

?

總結

以上是生活随笔為你收集整理的大数据集群某节点彻底损毁后重装系统恢复(持续更新中)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。