监控url_熬夜之作：一文带你了解Cat分布式监控
Cat 是什么？
CAT(Central Application Tracking)是基于 Java 開發的實時應用監控平臺，包括實時應用監控，業務監控。
CAT 作為服務端項目基礎組件，提供了 Java, C/C++, Node.js, Python, Go 等多語言客戶端，已經在美團點評的基礎架構中間件框架(MVC 框架，RPC 框架，數據庫框架，緩存框架等，消息隊列，配置系統等)深度集成，為美團點評各業務線提供系統豐富的性能指標、健康狀況、實時告警等。
CAT 很大的優勢是它是一個實時系統，CAT 大部分系統是分鐘級統計，但是從數據生成到服務端處理結束是秒級別，秒級定義是 48 分鐘 40 秒，基本上看到 48 分鐘 38 秒數據，整體報表的統計粒度是分鐘級；第二個優勢，監控數據是全量統計，客戶端預計算；鏈路數據是采樣計算。
Github: https://github.com/dianping/cat
Cat 功能亮點
- 實時處理：信息的價值會隨時間銳減，尤其是事故處理過程中
- 全量數據：全量采集指標數據，便于深度分析故障案例
- 高可用：故障的還原與問題定位，需要高可用監控來支撐
- 故障容忍：故障不影響業務正常運轉、對業務透明
- 高吞吐：海量監控數據的收集，需要高吞吐能力做保證
- 可擴展：支持分布式、跨 IDC 部署，橫向擴展的監控系統
為什么要用 Cat?
場景一：用戶反饋 App 無法下單，用戶反饋無法支付，用戶反饋商品無法搜索等問題
場景一的問題在于當系統出現問題后，第一反饋的總是用戶。我們需要做的是什么，是在出問題后研發第一時間知曉，而不是讓用戶來告訴我們出問題了。
Cat 可以出故障后提供秒級別的異常告警機制，不用再等用戶來反饋問題了。
場景二：出故障后如何快速定位問題
一般傳統的方式當出現問題后，我們就會去服務器上看看服務是否還存活。如果存活就會看看日志是否有異常信息。
在 Cat 后臺的首頁，會展示各個系統的運行情況，如果有異常，則會大片飄紅，非常明顯。最直接的方式還是直接查看 Problem 報表，這里會為我們展示直接的異常信息，快速定位問題。
場景三：用戶反饋訂單列表要 10 幾秒才展示，用戶反饋下單一直在轉圈圈
場景三屬于優化相關，對于研發來說，優化是一個長期的過程，沒有最好只有更好。優化除了需要有對應的方案，最重要的是要對癥下藥。
所謂的對癥下藥也就是在優化之前，你得先知道哪里比較慢。RPC 調用慢？數據庫查詢慢？緩存更新慢?
Cat 可以提供詳細的性能數據，95 線，99 線等。更細粒度的就是可以看到某個請求或者某個業務方法的所有耗時邏輯，前提是你做了埋點操作。
Cat 報表
Cat 目前有五種報表，每種都有特定的應用場景，下面我們來具體聊聊這些報表的作用。
Transaction 報表
適用于監控一段代碼運行情況，比如：運行次數、QPS、錯誤次數、失敗率、響應時間統計(平均影響時間、Tp 分位值)等等場景。
埋點方式：
public void shopService() { Transaction transaction = Cat.newTransaction("ShopService", "Service"); try { service(); transaction.setStatus(Transaction.SUCCESS); } catch (Exception e) { transaction.setStatus(e); // catch 到異常，設置狀態，代表此請求失敗 Cat.logError(e); // 將異常上報到cat上 // 也可以選擇向上拋出： throw e; } finally { transaction.complete(); }}可以在基礎框架中對 Rpc, 數據庫等框架進行埋點，這樣就可以通過 Cat 來監控這些組件了。
業務中需要埋點也可以使用 Cat 的 Transaction，比如下單，支付等核心功能，通常我們對 URL 進行埋點就可以了，也就包含了具體的業務流程。
Event 報表
適用于監控一段代碼運行次數，比如記錄程序中一個事件記錄了多少次，錯誤了多少次。Event 報表的整體結構與 Transaction 報表幾乎一樣，只缺少響應時間的統計。
埋點方式：
Cat.logEvent("Func", "Func1");Problem 報表
Problem 記錄整個項目在運行過程中出現的問題，包括一些異常、錯誤、訪問較長的行為。
如果有人反饋你的接口報 500 錯誤了，你進 Cat 后就直接可以去 Problem 報表了，錯誤信息就在 Problem 中。
Problem 報表不需要手動埋點，我們只需要在項目中集成日志的 LogAppender 就可以將所有 error 異常記錄，下面的段落中會講解如何整合 LogAppender。
Heartbeat 報表
Heartbeat 報表是 CAT 客戶端，以一分鐘為周期，定期向服務端匯報當前運行時候的一些狀態。
系統指標有系統的負載信息，內存使用情況，磁盤使用情況等。
JVM 指標有 GC 相關信息，線程相關信息。
Business 報表
Business 報表對應著業務指標，比如訂單指標。與 Transaction、Event、Problem 不同，Business 更偏向于宏觀上的指標，另外三者偏向于微觀代碼的執行情況。
這個報表我也沒怎么用過，用的多的還是前面幾個。
Cat 在 Kitty Cloud 中的應用
Kitty Cloud 的基礎組件是 Kitty，Kitty 里面對需要的一些框架都進行了一層包裝，比如擴展，增加 Cat 埋點之類的功能。
Cat 的集成
Kitty 中對 Cat 封裝了一層，在使用的時候直接依賴 kitty-spring-cloud-starter-cat 即可整合 Cat 到項目中。
com.cxytiandi kitty-spring-cloud-starter-cat Kitty Version然后在 application 配置文件中配置 Cat 的服務端地址信息，多個英文逗號分隔：
cat.servers=47.105.66.210在項目的 resources 目錄下創建 META-INF 目錄，然后在 META-INF 中創建 app.properties 文件配置 app.name。此名稱是在 Cat 后臺顯示的應用名
app.name=kitty-cloud-comment-provider最后需要配置一下 Cat 的 LogAppender，這樣應用在記錄 error 級別的日志時，Cat 可以及時進行異常告警操作。
在 logback.xml 增加下面的配置：
更詳細的內容請移步 Cat 的 Github 主頁進行查看。
MVC 框架埋點
基于 Spring Boot 做 Web 應用開發，我們最常用到的一個 Starter 包就是 spring-boot-starter-web。
如果你使用了 Kitty 來構建微服務的框架，那么就不再需要直接依賴 spring-boot-starter-web。而是需要依賴 Kitty 中的 kitty-spring-cloud-starter-web。
kitty-spring-cloud-starter-web 在 spring-boot-starter-web 的基礎上進行了封裝，會對請求的 Url 進行 Cat 埋點，會對一些通用信息進行接收透傳，會對 RestTemplate 的調用進行 Cat 埋點。
在項目中依賴 kitty-spring-cloud-starter-web：
com.cxytiandi kitty-spring-cloud-starter-web Kitty Version啟動項目，然后訪問你的 REST API。可以在 Cat 的控制臺看到 URL 的監控信息。
點擊 URL 進去可以看到具體的 URL 信息。
再進一步可以看到整個 URL 的信息，比如數據庫的查詢，緩存的操作，Http 的調用等。后端同學在優化性能的時候就直接從 URL 下手可以將整個請求的鏈路耗時的情況都分析清楚。
Mybatis 埋點
Kitty 中 Mybatis 是用的 Mybatis Plus, 主要是對數據庫相關操作的 SQL 進行了 Cat 埋點，可以很方便的查看 SQL 的耗時情況。
依賴 kitty-spring-cloud-starter-mybatis：
com.cxytiandi kitty-spring-cloud-starter-mybatis Kitty Version其他的使用方式還是跟 Mybatis Plus 一樣，具體參考 Mybatis Plus 文檔：https://mp.baomidou.com
只要涉及到數據庫的操作，都會在 Cat 中進行數據的展示。
點擊 SQL 進去還可以看到是哪個 Mapper 的操作。
再進一步就可以看到具體的 SQL 語句和消耗的時間。
有了這些數據，后端研發同學就可以對相關的 SQL 進行優化了。
Redis 埋點
如果需要使用 Spring Data Redis 的話，直接集成 kitty-spring-cloud-starter-redis 就可以，kitty-spring-cloud-starter-redis 中對 Redis 的命令進行了埋點，可以在 Cat 上直觀的查看對應的命令和消耗的時間。
添加對應的 Maven 依賴：
com.cxytiandi kitty-spring-cloud-starter-redis Kitty Version直接使用 StringRedisTemplate：
@Autowiredprivate StringRedisTemplate stringRedisTemplate; stringRedisTemplate.opsForValue().set("name", "yinjihuan");Cat 中可以看到 Redis 信息。
點擊 Redis 進去可以看到有哪些命令。
再進去可以看到命令的詳細信息，比如操作的 key 和消耗的時間。
MongoDB 埋點
Kitty 中對 Spring Data Mongodb 做了封裝，只對 MongoTemplate 做了埋點。使用時需要依賴 kitty-spring-cloud-starter-mongodb。
com.cxytiandi kitty-spring-cloud-starter-mongodb Kitty Version在發生 Mongo 的操作后，Cat 上就可以看到相關的數據了。
點進去就可以看到是 MongoTemplate 的哪個方法發生了調用。
再進一步就可以看到具體的 Mongo 參數和消耗的時間。
還有 Dubbo, Feign，Jetcache，ElasticSearch 等框架的埋點就不細講了，感興趣的可以移步 Github 查看代碼。
Cat 使用小技巧
埋點工具類
如果要對業務方法進行監控，我們一般會用 Transaction 功能，將業務邏輯包含在 Transaction 里面，就能監控這個業務的耗時信息。
埋點的方式也是通過 Cat.newTransaction 來進行，具體可以參考上面 Transaction 介紹時給出的埋點示列。
像這種埋點的方式最好是有一個統一的工具類去做，將埋點的細節封裝起來。
public class CatTransactionManager { public static T newTransaction(Supplier function, String type, String name, Map data) { Transaction transaction = Cat.newTransaction(type, name); if (data != null && !data.isEmpty()) { data.forEach(transaction::addData); } try { T result = function.get(); transaction.setStatus(Message.SUCCESS); return result; } catch (Exception e) { Cat.logError(e); if (e.getMessage() != null) { Cat.logEvent(type + "_" + name + "_Error", e.getMessage()); } transaction.setStatus(e); throw e; } finally { transaction.complete(); } }}工具類使用：
public SearchResponse search(SearchRequest searchRequest, RequestOptions options) { Map catData = new HashMap<>(1); catData.put(ElasticSearchConstant.SEARCH_REQUEST, searchRequest.toString()); return CatTransactionManager.newTransaction(() -> { try { return restHighLevelClient.search(searchRequest, options); } catch (IOException e) { throw new RuntimeException(e); } }, ElasticSearchConstant.ES_CAT_TYPE, ElasticSearchConstant.SEARCH, catData);}通過使用工具類，不再需要每個監控的地方都是設置 Transaction 是否 complete，是否成功這些信息了。
注解埋點
為了讓 Transaction 使用更方便，我們可以自定義注解來做這個事情。比如需要監控下單，支付等核心業務方法，那么就可以使用自定義的 Transaction 注解加在方法上，然后通過 AOP 去統一做監控。
定義注解：
@Retention(RetentionPolicy.RUNTIME)@Target({ElementType.METHOD, ElementType.TYPE})public @interface CatTransaction { /** * 類型, 默認為Method * @return */ String type() default ""; /** * 名稱, 默認為類名.方法名 * @return */ String name() default ""; /** * 是否保存參數信息到Cat * @return */ boolean isSaveParamToCat() default true;}定義切面：
@Aspectpublic class CatTransactionAspect { @Around("@annotation(catTransaction)") public Object aroundAdvice(ProceedingJoinPoint joinpoint, CatTransaction catTransaction) throws Throwable { String type = catTransaction.type(); if (StringUtils.isEmpty(type)){ type = CatConstantsExt.METHOD; } String name = catTransaction.name(); if (StringUtils.isEmpty(name)){ name = joinpoint.getSignature().getDeclaringType().getSimpleName() + "." + joinpoint.getSignature().getName(); } Map data = new HashMap<>(1); if (catTransaction.isSaveParamToCat()) { Object[] args = joinpoint.getArgs(); if (args != null) { data.put("params", JsonUtils.toJson(args)); } } return CatTransactionManager.newTransaction(() -> { try { return joinpoint.proceed(); } catch (Throwable throwable) { throw new RuntimeException(throwable); } }, type, name, data); }}注解使用：
@CatTransaction@Overridepublic Page searchArticleIndex(ArticleIndexSearchParam param) {}你可能關心的幾個問題
Cat 能做鏈路跟蹤嗎？
Cat 主要是一個實時監控系統，并不是一個標準的全鏈路系統，主要是 Cat 的 logview 在異步線程等等一些場景下，不太合適，Cat 本身模型并不適合這個。Cat 的 Github 上有說明：在美團點評內部，有 mtrace 專門做全鏈路分析。
但是如果在 Mvc，遠程調用等這些框架中做好了數據的無縫傳輸，Cat 也可以充當一個鏈路跟蹤的系統，基本的場景足夠了。
Cat 也可以構建遠程消息樹，可以看到請求經過了哪些服務，每個服務的耗時等信息。只不過服務之間的依賴關系圖在 Cat 中沒有。
下圖請求從網關進行請求轉發到 articles 上面，然后 articles 里面調用了 users 的接口。
Cat 跟 Skywalking 哪個好用?
Skywalking 也是一款非常優秀的 APM 框架，我還沒用過，不過看過一些文檔，功能點挺全的 ，界面也挺好看。最大的優勢是不用像 Cat 一樣需要埋點，使用字節碼增強的方式來對應用進行監控。
之所以列出這個小標題是因為如果大家還沒有用的話肯定會糾結要選擇落地哪個去做監控。我個人認為這兩個都可以，可以自己先弄個簡單的版本體驗體驗，結合你想要的功能點來評估落地哪個。
用 Cat 的話最好有一套基礎框架，在基礎框架中埋好點，這樣才能在 Cat 中詳細的顯示各種信息來幫助我們快速定位問題和優化性能。
感興趣的 Star 下唄：https://github.com/yinjihuan/kitty-cloud
關于作者：尹吉歡，簡單的技術愛好者，《Spring Cloud 微服務-全棧技術與案例解析》, 《Spring Cloud 微服務 入門 實戰與進階》作者, 公眾號 猿天地 發起人。個人微信 jihuan900,歡迎勾搭。
總結
以上是生活随笔為你收集整理的监控url_熬夜之作：一文带你了解Cat分布式监控的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 2019-3-1
- 下一篇： 中小企业网络安全提升