本文源碼：GitHub·點這里 || GitEE·點這里

一、分布式故障

分布式系統的架構，業務開發，這些在良好的思路和設計文檔規范之下，是相對來說好處理的，這里的相對是指比較分布式架構下生產環境的突然故障。

在實際的開發中，有這樣一個很妖嬈的情況：越是核心復雜的業務，越是擔心出問題，越容易出問題。

所以當核心服務的鏈路出現故障時，如何快速定位問題就是一件很頭疼的事情，尤其是一些特殊情況下，問題很模糊很難復現，外加客戶或者領導催促，這種場景心里陰影是大部分開發都有的。更有甚者，可能問題發生的切入點的開發是某人負責的，實際問題是發生在請求鏈路的其他服務上，這種情況遇多了，甩鍋水平會直線上升。

越是復雜的系統，越是經驗豐富的開發或者運維，對監控系統就越是有執念，尤其是全鏈路的監控，底層，網絡，中間件，服務鏈路，日志觀察預警等，用來快速定位問題，省時省心。

二、全鏈路監控

1、監控層次

在分布式系統中，需要監控的體系和層次極其復雜，通常整體上劃分為三個層次：應用服務，軟件服務，硬件服務。

通常情況，運維管理硬件服務，開發管理應用和軟件服務。

2、應用服務

應用層為開發的業務邏輯服務，也是最容易突發問題的一個層面，當在一家公司待久了，因為開發過多個業務線，就會感覺自己不是開發，是個打雜的，每天都要分出大量時間處理各種問題。應用層監控涉及下面幾個核心模塊：

請求流量

任何服務，高并發的流量都會暴露各種服務問題，尤其核心接口的流量更是監控的重點。

服務鏈路

一次請求發生問題，快速判斷問題所在的服務，或者哪些服務之間，這對快速處理問題是至關重要的。

日志體系

核心接口日志記錄也是必備的功能，通常情況下基于日志體系的分析結果，可以明確系統的異常點，重點優化。

3、軟件服務

為了解決分布式系統的各種復雜業務場景，通常會引入各種中間軟件來做支撐，例如必備的數據庫，緩存，消息MQ等，通常這些中間件都會有自帶的監控管理端口。

數據庫：較多使用Druid監控分析；

消息隊列：常用RocketMQ和控制臺；

Redis緩存：提供命令獲取相關監控數據；

還有一些公司甚至直接在中間件層開發一套管理運維和監控的聚合平臺，這樣更容易從整體上分析問題。

4、硬件服務

硬件層面，運維最關注的三大核心內容：CPU、內存、網絡。底層硬件資源爆發的故障，來自上層的應用服務或者中間件服務觸發的可能性偏高。

硬件層面的監控有許多成熟的框架，例如zabbix，grafana等，當然這些組件功能很豐富，不僅僅在硬件層應用。

5、雪崩效應

有些故障導致大面積服務癱瘓，也稱為雪崩效應，可能故障源沒有快速處理，也沒有熔斷機制，導致整個服務鏈路全部垮掉，這是常見的問題，所以在處理故障時，要學會基于全棧監控信息，全局關聯分析核心故障點，快速切斷單點服務的故障，保證整個系統的可用性。

三、注意事項

監控系統雖然作用很大，但是實際搭建的時候難度還是很大，需要有較好的意識，不是業務開發那種感覺，方方面面需求都需要處理，做監控系統的基本策略如下。

1、選擇性

不是所有服務的所有環境，和所有接口都需要監控，通常都是監控核心鏈路，核心中間件，和服務所在環境。

例如：交易鏈路，交易庫，和部署的環境；或者大客戶高并發業務，一旦出問題需要及時響應，立即處理。說的直接點，帶來收益的服務是需要重點關注的。

非關鍵服務即使出現問題，是有緩沖時間的，所以不需要花費精力添加監控，在做監控系統的時候存在這樣一句話：簡單的鏈路添加監控，復雜了容易出錯；復雜鏈路添加監控，更復雜更容易出錯，然而這樣卻是為了更好的解決故障。

2、獨立性

監控系統的本身發生故障，不能影響正常業務流程，即使在一定情況下沒有監控信息，也不能因為監控服務影響正常業務服務。

3、整體性

聚合的監控系統可以觀察監控鏈路的全局狀態，這樣可以快速定位故障坐標，可以關聯性分析問題原因。

4、預警性

例如CPU突然升高，某個中間件服務突然停止，內存占用過高，這些可以基于監控系統做預警通知，然后郵件或者消息通知到相關負責人，達到快速響應的目的，這個場景大部分開發都熟悉，且有心理陰影。

四、源代碼地址

GitHub·地址 https://github.com/cicadasmile/data-manage-parent GitEE·地址 https://gitee.com/cicadasmile/data-manage-parent

推薦閱讀：架構設計系列

標題

架構設計：單服務.集群.分布式，基本區別和聯系

架構設計：分布式業務系統中，全局ID生成策略

架構設計：分布式系統調度，Zookeeper集群化管理

架構設計：接口冪等性原則，防重復提交Token管理

架構設計：緩存管理模式，監控和內存回收策略

架構設計：異步處理流程，多種實現模式詳解

架構設計：高并發流量削峰，共享資源加鎖機制

架構設計：分布式服務，庫表拆分模式詳解

架構設計：分布式事務①概念簡介和基礎理論

架構設計：基于電商交易流程，圖解TCC事務分段提交

架構設計：基于消息中間件，圖解柔性事務一致性

架構設計：基于Seata中間件，微服務模式下事務管理

總結

以上是生活随笔為你收集整理的架构设计 | 分布式体系下，服务分层监控策略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。