本文根據美團高級測試開發工程師勛偉在美團第43期技術沙龍“美團金融千萬級交易系統質量保障之路”的演講整理而成。主要介紹了美團智能支付業務在穩定性方向遇到的挑戰，并重點介紹QA在穩定性測試中的一些方法與實踐。

背景

美團支付承載了美團全部的交易流量，按照使用場景可以將其分為線上支付和智能支付兩類業務。線上支付，支撐用戶線上消費場景，處理美團所有線上交易，為團購、外賣、酒店旅游等業務線提供支付能力；智能支付，支撐用戶到店消費場景，處理美團所有線下交易，通過智能POS、二維碼支付、盒子支付等方式，為商家提供高效、智能化的收銀解決方案。其中，智能支付作為新擴展的業務場景，去年也成為了美團增速最快的業務之一。

面臨的挑戰

而隨著業務的快速增長，看似簡單的支付動作，背后系統的復雜度卻在持續提升。體現在：上層業務入口、底層支付渠道的不斷豐富，微服務化背景下系統的縱向分層、服務的橫向拆分，還有對外部系統（營銷中心、會員中心、風控中心等）、內部基礎設施（隊列、緩存等）的依賴也越來越多，整條鏈路上的核心服務節點超過20個，業務復雜度可想而知。

此外，技術團隊在短時間內就完成了從幾個人到近百人規模的擴張，這也是一個潛在的不穩定因素。曾經在一段時間內，整個系統處在“牽一發而動全身”的狀態，即使自身系統不做任何發版升級，也會因為一些基礎設施、上下游服務的問題，業務會毫無征兆地受到影響。

痛定思痛，我們對發生過的線上問題進行復盤，分析影響服務穩定性的原因。通過數據發現，72%的嚴重故障集中在第三方服務和基礎設施故障，對應的一些典型事故場景，比如：第三方支付通道不穩定、基礎設施（如消息隊列）不穩定，進而導致整個系統雪崩，當依賴方故障恢復后，我們的業務卻很難立即恢復。

解決方案

基于這些問題，我們開展了穩定性建設專項，目的很明確：提升服務的可用性。目標是逐步將系統可用性從2個9提升到3個9，再向4個9去努力。這個過程中最核心的兩個策略：柔性可用，意思是盡可能保證核心功能可用，或在有損情況下盡可能保證核心用戶體驗，降低影響；另一個是快速恢復，即用工具或機制保證故障的快速定位和解決，降低故障修復時間。

圍繞這兩個策略，在穩定性建設中的常見操作：限流、熔斷降級、擴容，用于打造系統的柔性可用；故障響應SOP、故障自動處理，用于故障處理時的快速恢復。而QA的工作更側重于對這些“常見操作”進行有效性驗證。基于經驗，重點介紹“三把利劍”：故障演練、線上壓測、持續運營體系。

故障演練的由來

舉個真實的案例，在一次處理某支付通道不穩定的線上問題時，開發同學執行之前已經測試通過的預案（服務端關閉該通道，預期客戶端將該支付通道的開關置灰，并會提示用戶使用其他支付方式），但執行中卻發現預案無法生效（服務端操作后，客戶端該支付通道仍處于開啟狀態）。非故障場景下預案功能正常，故障場景下卻失效了。

這就是故障演練的由來，我們需要盡可能還原故障場景，才能真正驗證預案的有效性。

故障演練的整體方案

故障演練的整體方案，主要分為三部分：

• 負載生成模塊，負責盡可能還原系統的真實運行場景（要求覆蓋核心業務流程）。
• 故障注入模塊，包含故障注入工具、故障樣本庫（涵蓋外部服務、基礎組件、機房、網絡等各種依賴，并重點關注超時、異常兩種情況）。
• 業務驗證模塊，結合自動化測試用例和各個監控大盤來進行。

為了更高效地開展故障演練，我們的策略是分為兩個階段進行。首先，針對單系統進行故障演練，從故障樣本庫出發，全面覆蓋該系統所有的保護預案；在此基礎上，進行全鏈路故障演練，聚焦核心服務故障，驗證上下游服務的容錯性。

故障演練的效果

事實證明，故障演練確實給我們帶來了很多“驚喜”，暴露了很多隱患。這里列舉三類問題：數據庫主從延遲影響交易；基礎設施故障時，業務未做降級；依賴服務超時設置不合理、限流策略考慮不足等。

線上壓測的由來

面對業務的指數級增長，我們必須對系統可承載的流量做到心中有數。對于QA來說，需要找到精準、高效的系統容量評估方法。我們碰到的難點包括：鏈路長、環節多、服務錯綜復雜，線下環境與線上差異大等等，基于測試有效性和測試成本考慮，我們決定要做線上壓測，而且要實現全鏈路的線上壓測。

線上壓測的整體方案

全鏈路壓測的實現方案，與業界主流方案沒有太大區別。根據壓測流程，首先，場景建模，以便更真實的還原線上系統運行場景；其次，基礎數據構造，應滿足數據類型以及量級的要求，避免數據熱點；之后，流量構建，讀寫流量構造或回放，同時對壓測流量進行標記和脫敏；再之后，壓測執行，過程中收集鏈路各節點的業務運行狀態、資源使用情況等；最后，生成壓測報告。

基于全鏈路線上壓測方案，可以根據業務需求，靈活地進行單鏈路壓測、分層壓測等。更為重要的是，基于壓測我們可以進行線上的故障演練，用于更加真實的驗證系統限流、熔斷等保護預案。

線上壓測的效果

通過全鏈路線上壓測，一方面讓我們對系統容量做到心中有數，另一方面也讓我們發現了線上系統運行過程中的潛在問題，而且這些問題一般都是高風險的。同樣列舉三類問題：基礎設施優化，如機房負載不均衡、數據庫主從延遲嚴重等；系統服務優化，如線程池配置不合理、數據庫需要拆分等；故障預案優化，如限流閾值設置過低，有的甚至已經接近限流邊緣而渾然不知等等。

持續運營體系的由來

智能支付的穩定性建設是作為一個專項在做，持續了近3個月的時間；在效果還不錯的情況下，我們從智能支付延伸到整個金融服務平臺，以虛擬項目組的方式再次運轉了3個月的時間。通過項目方式，確實能集中解決現存的大部分穩定性問題，但業務在發展、系統在迭代，穩定性建設必然是一項長期的工作。于是，QA牽頭SRE、DBA、RD，建立了初步的穩定性持續運營體系，并在持續完善。

持續運營體系的整體方案

下面介紹持續運營體系的三大策略：

流程規范工具化，盡可能減少人為意識因素，降低人力溝通和維護成本。

如：配置變更流程，將配置變更視同代碼上線，以PR方式提交評審；代碼規范檢查落地到工具，盡可能將編碼最佳實踐抽取為規則，將人工檢查演變為工具檢查。

質量度量可視化，提取指標、通過數據驅動相關問題的PDCA閉環。

如：我們與SRE、DBA進行合作，將線上系統運維中與穩定性相關的指標提取出來，類似數據庫慢查詢次數、核心服務接口響應時長等等，并對指標數據進行實時監控，進而推進相關問題的解決。

演練壓測常態化，降低演練和壓測成本，具備常態化執行的能力。

如：通過自動化的觸發演練報警，驗證應急SOP在各團隊實際執行中的效果。

基于以上三個策略，構建穩定性持續運營體系。強調閉環，從質量度量與評價、到問題分析與解決，最終完成方法與工具的沉淀；過程中，通過平臺建設來落地運營數據、完善運營工具，提升運營效率。

持續運營體系的效果

簡單展示當前持續運營體系的運行效果，包含風險評估、質量大盤、問題跟進以及最佳實踐的沉淀等。

未來規劃

綜上便是智能支付QA在穩定性建設中的重點工作。對于未來工作的想法，主要有3個方向。第一，測試有效性提升，持續去擴展故障樣本庫、優化演練工具和壓測方案；第二，持續的平臺化建設，實現操作平臺化、數據平臺化；第三，智能化，逐步從人工運營、自動化運營到嘗試智能化運營。

作者簡介

• 勛偉，美團高級測試開發工程師，金融服務平臺智能支付業務測試負責人，2015年加入美團點評。

招聘信息

如果你想學習互聯網金融的技術體系，親歷互聯網金融業務的爆發式增長，如果你想和我們一起，保證業務產品的高質量，歡迎加入美團金融工程質量組。有興趣的同學可以發送簡歷到：fanxunwei#meituan.com。

總結

以上是生活随笔為你收集整理的智能支付稳定性测试实战的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。