Stack Exchange 架構(gòu)主管 Nick Craver 在最近的一篇文章中介紹了他們的監(jiān)控系統(tǒng)。他在文章中討論了監(jiān)控策略背后的理念和動機(jī)，并介紹了他們的工具集——主要是 Bosun、Grafana 和 Opserver。

Stack Overflow 及其姐妹站點(diǎn) Stack Exchange 運(yùn)行在.NET 和 MS SQL Server、IIS Web 服務(wù)器、HAProxy（作為負(fù)載均衡器）以及 Redis 和 Elasticsearch 提供的服務(wù)上。他們的主要數(shù)據(jù)中心位于紐約，在俄勒岡州有一個故障轉(zhuǎn)移中心。Craver 指出，Stack Exchange 的監(jiān)控通常包括“日志、指標(biāo)、運(yùn)行狀況檢查和分析”，他們使用 Bosun、Opserver、Grafana 和 MiniProfiler 作為主要工具。

Stack Exchange 監(jiān)控系統(tǒng)的數(shù)據(jù)源是日志、運(yùn)行狀況檢查和時間序列指標(biāo)。在日志方面，他們使用了標(biāo)準(zhǔn)機(jī)制和自定義庫將日志推送到數(shù)據(jù)庫中。日志包含了來自 HAProxy 負(fù)載均衡器的 HTTP 請求匯總?cè)罩疽约皝碜?Logstash 的日志事件。他們的運(yùn)行狀況檢查可以測試最終用戶看到的內(nèi)容，例如主頁。度量指標(biāo)被收集并保存在自己構(gòu)建的開源監(jiān)控工具 Bosun 中，Bosun 將 OpenTSDB 作為后端存儲。Bosun 還會發(fā)送警報，Pagerduty 負(fù)責(zé)處理事故升級。他們還有一個叫作 Opserver 的工具——顯示整個監(jiān)控系統(tǒng)的儀表盤視圖。

所有 Stack Exchange 的應(yīng)用程序都使用一個叫作 StackExchange.Exceptional 的日志記錄庫，這個庫將日志發(fā)送到 MSSQL Server。它其實是.NET 日志庫 ELMAH 的一個分支。Redis、Elasticsearch 和 SQL Server 將日志記錄到標(biāo)準(zhǔn)的位置，但不清楚這些日志是否會被發(fā)送到中央服務(wù)器進(jìn)行聚合和搜索。來自網(wǎng)絡(luò)設(shè)備的日志將被發(fā)送到 Logstash，并可以通過 Kibana 儀表盤查看。可以使用 MiniProfiler 詳細(xì)分析頁面加載時間，MiniProfiler 將顯示跨越各層的方法調(diào)用時間。

Bosun 先是由 Stack Exchange 開發(fā)，然后被開源出來。Bosun 的主要功能是根據(jù)歷史數(shù)據(jù)測試警報，提供了用于計算時間序列數(shù)據(jù)的查詢語言、模板化警報以及時間序列趨勢的警報和預(yù)測。與 Nagios、Zabbix 等傳統(tǒng)監(jiān)控工具不同，但與 Prometheus 等現(xiàn)代監(jiān)控工具類似，Bosun 不需要為每臺服務(wù)器設(shè)置單獨(dú)的警報。對于跨所有服務(wù)器的時間序列測量（例如 CPU 使用率），設(shè)置單個閾值檢查就足夠了。警報當(dāng)中包含了違反閾值的時間序列清單，可以用來識別有問題的服務(wù)器。

Bosun 支持多個后端存儲，Stack Exchange 還使用了 OpenTSDB（和 HBase 一起）。Bosun 的原始作者之一 Kyle Brandt 在文章寫道，這是他們的痛點(diǎn)之一，由于他們“在其他地方?jīng)]有使用 HBase，所以管理 HBase 會占用他們大量的時間”。Bosun 的附加代理是 scollector，它負(fù)責(zé)從受監(jiān)控的機(jī)器收集指標(biāo)。它使用 Go 語言開發(fā)，用于替換 OpenTSDB 的 tcollector 代理。他們使用 BosunReporter 推送應(yīng)用程序的指標(biāo)。

健康檢查側(cè)重于檢查最終用戶體驗以及內(nèi)部服務(wù)的健康狀況。Pingdom 檢查外部可訪問的 URL。Craver 寫道，面向最終用戶 URL（如主頁）的檢查非常關(guān)鍵，因為“主頁檢查可能會檢查到我們無法檢查到的問題，進(jìn)行整體檢查也很重要”。Fastly 充當(dāng) Stack Exchange 站點(diǎn)的 CDN 和代理，它的運(yùn)行狀況檢查可以確保在主數(shù)據(jù)中心發(fā)生故障時可以故障轉(zhuǎn)移到輔助數(shù)據(jù)中心。除服務(wù)器端監(jiān)控外，他們還使用瀏覽器 API 跟蹤客戶端的時間。

將所有這些結(jié)合在一起的是 Grafana 和 Opserver。Grafana 接入 Bosun 數(shù)據(jù)，用以顯示時間序列指標(biāo)。Opserver 專注于整個基礎(chǔ)設(shè)施的整體監(jiān)控狀態(tài)。為什么團(tuán)隊要自己構(gòu)建 Opserver，而不是使用 Nagios 或類似的工具？Craver 解釋說，當(dāng)時沒有一種工具可以滿足他們的所有需求。與大多數(shù)工具一樣，它是根據(jù)特定要求而開發(fā)出來的。Opserver 儀表盤可用于深入查看各個服務(wù)和服務(wù)器。它需要以 JSON 格式進(jìn)行靜態(tài)配置，如果用于監(jiān)控云環(huán)境（可能包含了一些臨時主機(jī)）可能會有些問題。

原文地址: https://www.infoq.cn/article/JTxqRbCzHh-c4UQlTEwz

.NET社區(qū)新聞，深度好文，歡迎訪問公眾號文章匯總 http://www.csharpkit.com

總結(jié)

以上是生活随笔為你收集整理的Stack Overflow 监控系统内部架构初探的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。