一、問題描述

? ? ? ?2019-02-19 08:44左右，實(shí)時(shí)計(jì)算服務(wù)重啟，報(bào)錯(cuò)顯示找不到zk集群的leader節(jié)點(diǎn)，同時(shí)ZooKeeper集群有告警顯示連接超時(shí)：

　　指標(biāo)[連接耗時(shí)(ms)=18221]符合告警規(guī)則[連接耗時(shí)(ms)>=3000]

?

二、排查過程

查看當(dāng)前集群狀態(tài)，集群狀態(tài)正常，查看報(bào)“連接超時(shí)”的zk節(jié)點(diǎn)日志，發(fā)現(xiàn)有shutdown情況，表明作為follower的zk server在一段時(shí)間內(nèi)會(huì)停止工作；

? ? ? ? ??

? ? ?2. 繼續(xù)查看zk運(yùn)行日志，發(fā)現(xiàn)有大量的fsync的告警，說明ZooKeeper將數(shù)據(jù)存入磁盤慢，導(dǎo)致ZooKeeper節(jié)點(diǎn)間心跳超時(shí)，進(jìn)而ZooKeeper實(shí)例異常；
? ? ? ?

? ? 3.? 查看磁盤劃分情況和zk data路徑，發(fā)現(xiàn)zk數(shù)據(jù)盤沒有單獨(dú)劃分，而且機(jī)器是老機(jī)器，zk數(shù)據(jù)量增大，磁盤IO性能跟不上；

? ? ? ?

? ? ? ?? ? ? ??

三、根因分析

“FOLLOWER”在跟“LEADER”同步時(shí)，fsync操作時(shí)間過長，導(dǎo)致超時(shí)。

四、解決方法

根本解決： 掛載新的磁盤到zk節(jié)點(diǎn)機(jī)器上，提高磁盤IO性能，根本上解決fsync超時(shí)問題；

? ? ? ? ?2. 臨時(shí)規(guī)避： 增大zk中tickTime、syncLimit?配置參數(shù)，需要重啟節(jié)點(diǎn)，可以一臺(tái)一臺(tái)操作。

轉(zhuǎn)載于:https://www.cnblogs.com/lwhctv/p/10408295.html

總結(jié)

以上是生活随笔為你收集整理的Zookeeper：fsync超时导致实例异常的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。