如果某個(gè)節(jié)點(diǎn)徹底損毀，重裝系統(tǒng)，那么需要的步驟如下:

目的	操作步驟	節(jié)點(diǎn)之間配置文件是否完全一致	需要各個(gè)節(jié)點(diǎn)分別啟動(dòng)
Hadoop修復(fù)	mkdir -p ~/dfs/name hadoop namenode -format start ? /home/appleyuchi/dfs/data/current/VERSION中的cluster-ID改成$HADOOP_HOME/logs/hadoop-appleyuchi-datanode-Laptop.out 中提示的cluster-ID字符串 然后再次輸入 start,從機(jī)的datapnode就起來(lái)了。	是	否
TEZ恢復(fù)	[3][4]照做 yarn timelineserver 打開(kāi) desktop:8880/tez-ui	-	-
Hive修復(fù)	mysql> create database hive; [0][1][2]做一遍 $ schematool -dbType mysql -initSchema hive --service metastore hive	否	是(hive只是個(gè)hdfs的轉(zhuǎn)化引擎)
Zookeeper恢復(fù)	/home/appleyuchi/dfs/zookeeper/data /home/appleyuchi/dfs/zookeeper2/data /home/appleyuchi/dfs/zookeeper3/data 上述各個(gè)節(jié)點(diǎn)的對(duì)應(yīng)目錄下各自新建一個(gè)myid文件 文件中各自寫(xiě)1,2,3即可	否	是
Spark恢復(fù)	mkdir?/home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2/logs/applicationHistory startspark	否	否
ClickHouse恢復(fù)	按照自己配置文件以及[6][7]配置	否	是(由于是開(kāi)機(jī)啟動(dòng)服務(wù)，所以各個(gè)節(jié)點(diǎn)都要各自重啟服務(wù))
Flink恢復(fù)	按照自己配置文件來(lái)恢復(fù)	是	否
Hbase恢復(fù)	按照自己配置文件來(lái)恢復(fù)	否	否
Kafka恢復(fù)	按照自己配置文件來(lái)恢復(fù)	否	是

?

tez的yarn timelineserver啟動(dòng)后如果使用tez會(huì)有bug

?

?

?

Reference:

[0]mysql8安裝后初始化密碼

[1]org.apache.hadoop.hive.metastore.api.InvalidObjectException: Role public already exists.

[2]Underlying cause: com.mysql.cj.jdbc.exceptions.CommunicationsException : Communications link failure

[3]org.apache.maven.plugin.MojoExecutionException: protoc version is libprotoc 3.6.1, expected versio

[4]https://gitee.com/fastsource/apache-tez-0.9.2-src/blob/master/README.md

[5]Hive引擎改為T(mén)ez筆記

[6]ClickHouse安裝

[7]clickhouse分布式集群搭建

?

總結(jié)

以上是生活随笔為你收集整理的大数据集群某节点彻底损毁后重装系统恢复(持续更新中)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。