圖 2? 工行混沌工程故障演練平臺架構(gòu)

2. 故障演練過程詳解

工程師對目標(biāo)服務(wù)器進(jìn)行故障注入時(shí)，涉及環(huán)境準(zhǔn)備、故障注入任務(wù)編排、實(shí)施故障注入、終止故障注入任務(wù)等一系列操作。

1）環(huán)境準(zhǔn)備

在實(shí)施故障演練之前，需要在混沌工程故障演練平臺添加將要實(shí)施故障注入的目標(biāo)服務(wù)器。如果實(shí)施目標(biāo)是容器，則無需用戶維護(hù)，系統(tǒng)可以自動(dòng)關(guān)聯(lián) PaaS 平臺查詢各應(yīng)用的容器。

2）故障演練任務(wù)編排

用戶登陸故障演練平臺后，選擇故障演練環(huán)境。創(chuàng)建一個(gè)故障演練流程，每個(gè)故障演練流程至少添加一個(gè)故障演練任務(wù)，每個(gè)故障演練任務(wù)可以有一個(gè)或多個(gè)故障演練事件，每個(gè)故障演練任務(wù)可以關(guān)聯(lián)一臺或多臺服務(wù)器。常用的故障演練事件包括對 CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)、數(shù)據(jù)庫、服務(wù)調(diào)用、JVM 等注入各類故障。

3）實(shí)施故障注入

用戶完成故障注入任務(wù)編排后，即可開始實(shí)施故障演練。用戶點(diǎn)擊安裝按鈕之后，混沌工程故障演練平臺就會(huì)將故障注入介質(zhì)下發(fā)至目標(biāo)服務(wù)器，并執(zhí)行用戶預(yù)先編排好的故障演練任務(wù)。

此外，故障注入介質(zhì)還可實(shí)時(shí)收集服務(wù)器在混沌實(shí)驗(yàn)運(yùn)行期間的性能狀態(tài)，如系統(tǒng)層面的 CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤使用情況，并將這些系統(tǒng)指標(biāo)回傳至混沌工程故障演練管理平臺，以圖形化的方式進(jìn)行展示，以驗(yàn)證在執(zhí)行混沌實(shí)驗(yàn)期間系統(tǒng)狀態(tài)是否達(dá)到預(yù)期效果。

4）終止故障注入任務(wù)

故障演練任務(wù)被用戶手動(dòng)停止或者正常執(zhí)行結(jié)束后，平臺會(huì)自動(dòng)調(diào)用虛機(jī)管理平臺或 PaaS 管理平臺的接口，將故障演練銷毀命令下發(fā)至各目標(biāo)服務(wù)器，恢復(fù)之前注入的故障并銷毀故障注入介質(zhì)。

實(shí)際效果

1. 節(jié)點(diǎn)管理模塊

支持用戶根據(jù)故障演練具體需求，在工行混沌工程故障演練平臺定義不同的故障演練環(huán)境，并為各環(huán)境添加對應(yīng)的目標(biāo)服務(wù)器列表。

圖 3? 工行混沌工程故障演練平臺節(jié)點(diǎn)管理模塊

2. 演練管理模塊

演練管理模塊負(fù)責(zé)維護(hù)故障演練任務(wù)，支持用戶選擇需要實(shí)施故障演練的目標(biāo)服務(wù)器以及需要執(zhí)行的故障注入事件。

圖 4? 工行混沌工程故障演練平臺演練管理模塊

3. 演練監(jiān)控模塊

演練監(jiān)控模塊主要通過故障注入介質(zhì)收集故障演練過程中各目標(biāo)服務(wù)器當(dāng)前系統(tǒng)層面的關(guān)鍵指標(biāo)信息，并在工行混沌工程故障演練平臺進(jìn)行實(shí)時(shí)展示。

圖 5? 工行混沌工程故障演練平臺監(jiān)控管理模塊

4. 高可用專家?guī)?/h2>

我們通過對歷史生產(chǎn)問題的排查經(jīng)驗(yàn)進(jìn)行總結(jié)，并結(jié)合在大量混沌測試實(shí)踐中歸納得到的高可用測試模型，建立了工行混沌工程故障演練平臺高可用專家?guī)?#xff0c;共包含六大類一百多種測試案例，涵蓋了應(yīng)用層、數(shù)據(jù)庫層、平臺層、中間件層、路由層、緩存層等主流的應(yīng)用高可用測試場景。為降低混沌測試門檻，高可用專家?guī)熘С謶?yīng)用基于自身架構(gòu)自動(dòng)匹配測試案例，達(dá)到一鍵生成故障演練任務(wù)的目的。

圖 6? 工行混沌工程故障演練平臺高可用專家?guī)?/p>

5. 其他能力

此外，為方便混沌測試人員使用混動(dòng)工程故障演練平臺對測試案例和測試結(jié)果的管理，平臺也提供了測試案例管理，問題管理等附加模塊。同時(shí)對于一些 ChaosBlade 暫時(shí)還不具備的故障注入能力如 IO 夯住，我們也自行研發(fā)了相關(guān)功能并集成至故障注入介質(zhì)當(dāng)中。

6. 實(shí)踐情況

我們根據(jù)分布式技術(shù)體系生產(chǎn)運(yùn)維中的“痛點(diǎn)”：

• 一是全行應(yīng)用眾多，高可用測試的場景和規(guī)模龐大，基于故障注入工具通過手動(dòng)輸入命令的方式實(shí)施故障演練效率十分低下。

• 二是工行分布式系統(tǒng)底層架構(gòu)非常復(fù)雜，涉及容器、虛機(jī)、物理機(jī)等多類設(shè)施，單一故障注入工具無法滿足不同場景的故障演練需求。

因此我們建設(shè)了工行混沌工程故障演練平臺，將服務(wù)器系統(tǒng)故障和 JVM 故障這兩大類作為主要切入點(diǎn)，基于工行混沌工程故障演練平臺高可用專家?guī)?#xff0c;率先在行內(nèi)快捷支付、聚合支付等一些重點(diǎn)業(yè)務(wù)線進(jìn)行落地試點(diǎn)，通過注入上下游調(diào)用異常、線程池異常、磁盤 IO 夯等多種類型的故障，在各業(yè)務(wù)線的平臺層、消息中間件層、應(yīng)用層、數(shù)據(jù)庫層、路由層均發(fā)現(xiàn)了一些傳統(tǒng)測試難以發(fā)現(xiàn)的高可用設(shè)計(jì)等方面的問題。例如：通過對支付類交易實(shí)施混沌實(shí)驗(yàn)，模擬雙活應(yīng)用的單園區(qū)網(wǎng)絡(luò)斷連然后再恢復(fù)，發(fā)現(xiàn)該過程中支付鏈路存在一些底層故障場景下交易失敗的架構(gòu)設(shè)計(jì)缺陷，并在投入生產(chǎn)之前對支付系統(tǒng)架構(gòu)進(jìn)行了重新設(shè)計(jì)和升級。截止目前全行已對七十多各應(yīng)用開展常態(tài)化故障演練測試，共實(shí)施故障演練七千余次，發(fā)現(xiàn)并解決了一百多個(gè)應(yīng)用系統(tǒng)層面的高可用問題，有效避免了在生產(chǎn)環(huán)境觸發(fā)這些問題。

未來展望

后續(xù)，工行將持續(xù)全面推廣混沌工程文化，在大型活動(dòng)前期進(jìn)行專項(xiàng)大規(guī)模混沌測試，并根據(jù)各應(yīng)用的測試結(jié)果，制定應(yīng)用高可用水平量化評估體系。此外，隨著混沌工程故障演練在測試環(huán)境的不斷推進(jìn)，平臺應(yīng)用可靠性不斷增強(qiáng)，除了不斷擴(kuò)大演練半徑外，下一步計(jì)劃將混沌工程故障演練逐步從測試環(huán)境向生產(chǎn)環(huán)境推移，對全行重要產(chǎn)品線編排實(shí)施各種類型的演練，以確保整個(gè)平臺能應(yīng)對業(yè)務(wù)高峰極端條件下的壓力，全面提升全行開放平臺應(yīng)用服務(wù)水平，為工商銀行系統(tǒng)架構(gòu)的持續(xù)優(yōu)化、產(chǎn)品的快速創(chuàng)新提供堅(jiān)實(shí)支撐。

總結(jié)

以上是生活随笔為你收集整理的ChaosBlade 在工商银行混沌工程体系中的应用实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。