劉華 Kenneth

DBAplus社群（dbaplus)

讀完需要

10

分鐘

速讀僅需 4 分鐘

作者介紹

劉華（Kenneth），就職于世界500強(qiáng)銀行，負(fù)責(zé)基金服務(wù)業(yè)務(wù)軟件開發(fā)與交付，DevOps團(tuán)隊(duì)負(fù)責(zé)人。敏捷、精益、DevOps領(lǐng)域?qū)＜?#xff0c;精通極限編程、Scrum、看板方法、測試驅(qū)動開發(fā)、持續(xù)集成、行為驅(qū)動開發(fā)、DevOps工具棧。著有《獵豹行動：硝煙中的敏捷轉(zhuǎn)型之旅》一書。

我們的核心系統(tǒng)是一個(gè)單體系統(tǒng)，支撐全球多個(gè)國家和地區(qū)的業(yè)務(wù)。同時(shí)，業(yè)務(wù)部門近年生意紅火，接了幾個(gè)大客戶，針對這些大客戶的大型項(xiàng)目也在如火如荼地進(jìn)行中。

由于生產(chǎn)環(huán)境只有一套，而且已經(jīng)有業(yè)務(wù)在生產(chǎn)環(huán)境上跑，這些大項(xiàng)目最終也要在這套生產(chǎn)環(huán)境上上線。這套系統(tǒng)是糅合了各地、各不同業(yè)務(wù)的復(fù)雜系統(tǒng)。

之前，為了滿足各個(gè)客戶交付時(shí)間，每個(gè)項(xiàng)目都拉了一個(gè)獨(dú)立的分支進(jìn)行開發(fā)，減少各項(xiàng)目之間的依賴，但這也導(dǎo)致了每個(gè)項(xiàng)目各自為政，互不交流。一旦這些項(xiàng)目開發(fā)完成，要和生產(chǎn)環(huán)境的版本進(jìn)行合并。這種巨型合并勢必帶來巨大風(fēng)險(xiǎn)，相互隔絕的開發(fā)模式也將帶來大量的合并沖突。

我們一直在思考如何降低這種合并風(fēng)險(xiǎn)，以及如何打破各大型項(xiàng)目各自為政的困局，實(shí)現(xiàn)產(chǎn)品化的敏捷交付。回歸測試成為實(shí)現(xiàn)這些使命的基礎(chǔ)。

使命——實(shí)現(xiàn)敏捷交付

前面提到，目前的開發(fā)模式是針對不同的大客戶，分別設(shè)立了不同的大型項(xiàng)目進(jìn)行開發(fā)。這些項(xiàng)目的交付周期往往數(shù)以年計(jì)，交付周期長，風(fēng)險(xiǎn)大。

生產(chǎn)環(huán)境又只有一套，而且已經(jīng)有業(yè)務(wù)在生產(chǎn)環(huán)境上跑，代碼合并困難，上線風(fēng)險(xiǎn)巨大。

我們希望能打破這種大型項(xiàng)目的交付形式，以產(chǎn)品化的思維進(jìn)行管理。

具體實(shí)施的思路是：

合并——對各大型項(xiàng)目的現(xiàn)有代碼與生產(chǎn)環(huán)境的版本進(jìn)行一次性的合并；

統(tǒng)一Backlog——各類需求（包括現(xiàn)在以大型項(xiàng)目形式服務(wù)的大客戶的需求）以用戶故事的形式進(jìn)入到同一個(gè)Backlog；

Scrum——建立以Scrum為形式的持續(xù)交付機(jī)制，以一個(gè)月作為Sprint的周期，通過Sprint計(jì)劃會議敲定Sprint的交付計(jì)劃；

持續(xù)交付——每個(gè)Sprint完成計(jì)劃內(nèi)各用戶故事的交付全流程，包括回歸測試和上線到生產(chǎn)環(huán)境。

要實(shí)現(xiàn)以上模式，上線前的回歸測試至關(guān)重要。而且由于一個(gè)Sprint內(nèi)，也就是一個(gè)月內(nèi)，要完成Sprint交付計(jì)劃內(nèi)所有用戶故事的需求澄清、設(shè)計(jì)、開發(fā)、測試、用戶驗(yàn)收和上線，時(shí)間非常緊，回歸測試也必須在一、兩天內(nèi)完成。

如何實(shí)現(xiàn)既能充分保護(hù)生產(chǎn)環(huán)境，又能實(shí)現(xiàn)快速反饋的回歸測試，成為一個(gè)重要議題。

自動化大量功能測試不可行

對于如何設(shè)計(jì)和實(shí)施覆蓋率高、執(zhí)行穩(wěn)定而且快速的自動化回歸測試，一直是一個(gè)難題。

我們曾經(jīng)的一個(gè)思路是把現(xiàn)有的功能測試用例進(jìn)行自動化，但很快發(fā)現(xiàn)這個(gè)思路不可行，主要原因如下：

只能依賴UI測試——由于核心系統(tǒng)是供應(yīng)商產(chǎn)品，開發(fā)是由供應(yīng)商負(fù)責(zé)的，對我們來說就是個(gè)黑盒子，我們只能通過UI進(jìn)行測試。眾所周知，UI的自動化測試，開發(fā)、維護(hù)成本高，脆弱而且執(zhí)行時(shí)間長；

無法快速反饋——通過功能進(jìn)行覆蓋，要求不斷增加測試用例來提高覆蓋率，由于UI測試的執(zhí)行時(shí)間長，用例越多，整體執(zhí)行時(shí)間越長，如果執(zhí)行周期要數(shù)以天計(jì)，則無法達(dá)到快速反饋的目的；

性價(jià)比低——功能測試用例的覆蓋率其實(shí)是不可見的，即使把所有功能測試都自動化了，其實(shí)際覆蓋率依然不高，也就是說這個(gè)投入的性價(jià)比很低。

我們必須要尋找一種方法，以最小的投入獲取最大的保障。

我們對回歸測試自動化的預(yù)期進(jìn)行了重新定位。我們進(jìn)行回歸測試，就是要保護(hù)生產(chǎn)環(huán)境的關(guān)鍵業(yè)務(wù)可以照常進(jìn)行。我們要防止的，是新的特性發(fā)布造成生產(chǎn)環(huán)境災(zāi)難，也就是導(dǎo)致關(guān)鍵業(yè)務(wù)無法進(jìn)行的大面積故障。對于非災(zāi)難性的小故障，完全可以通過運(yùn)維手段來處理。

因此，我們不應(yīng)該把回歸測試定位為防止一切問題。

以不變應(yīng)萬變

基于以上對回歸測試預(yù)期的重新定位，我們和業(yè)務(wù)部門協(xié)商，請他們列舉出當(dāng)前在生產(chǎn)環(huán)境上最關(guān)鍵的業(yè)務(wù)過程有哪些。我們要保證的是，當(dāng)新的特性上線后的首個(gè)交易日，原有的最關(guān)鍵的業(yè)務(wù)過程不會受到嚴(yán)重影響。

基于這個(gè)預(yù)期，我們以業(yè)務(wù)部門提供的關(guān)鍵業(yè)務(wù)過程作為測試用例，并形成以下的回歸測試思路：

準(zhǔn)備階段：

在某個(gè)測試環(huán)境里，系統(tǒng)版本與生產(chǎn)環(huán)境版本相同；

備份環(huán)境數(shù)據(jù)；

以某個(gè)交易日為基準(zhǔn)，執(zhí)行相應(yīng)的測試用例；

備份輸入、輸出數(shù)據(jù)（包括生成的接口文件和報(bào)表）。

執(zhí)行階段：

在該測試環(huán)境里，導(dǎo)入在準(zhǔn)備階段備份的環(huán)境數(shù)據(jù)；

升級系統(tǒng)到目標(biāo)版本；

以準(zhǔn)備階段相同的交易日和相同的輸入數(shù)據(jù)（在準(zhǔn)備階段已備份）執(zhí)行相同的測試用例，生成相應(yīng)的接口文件和報(bào)表；

與準(zhǔn)備階段的輸出（接口文件和報(bào)表）進(jìn)行比對；

如果目標(biāo)版本的輸出與原版本的對比沒有非預(yù)期的差異，視為通過。

簡單總結(jié)，就是對比兩個(gè)系統(tǒng)版本在相同測試環(huán)境、相同環(huán)境數(shù)據(jù)、相同交易日、相同輸入的情況下，輸出是否有非預(yù)期的差異。

這個(gè)思路的最大特點(diǎn)是，以不變應(yīng)萬變。生產(chǎn)環(huán)境的關(guān)鍵業(yè)務(wù)過程不會經(jīng)常變化，也就是說測試用例基本上比較固定。通過反復(fù)運(yùn)行固定的測試用例實(shí)現(xiàn)回歸測試的目標(biāo)，保護(hù)生產(chǎn)環(huán)境上的關(guān)鍵業(yè)務(wù)過程，避免災(zāi)難。以最少的用例實(shí)現(xiàn)最大的保護(hù)。

而且測試的結(jié)果驗(yàn)證是通過比對不同版本的輸出，我們不必在乎具體的輸出內(nèi)容，只需要關(guān)注輸出是否有非預(yù)期差異。

當(dāng)然，一旦有新的大客戶上線，也就是有新的關(guān)鍵業(yè)務(wù)過程，這些過程也應(yīng)該放入到回歸測試用例中，當(dāng)然，用例的選擇還是以避免災(zāi)難為準(zhǔn)則。

在前面提到的功能測試思路里，我們需要不斷增加測試用例以增加測試覆蓋率，但是由于測試只能在UI進(jìn)行，這樣無限增加功能測試用例是不可持續(xù)的。

通過實(shí)踐，我們發(fā)現(xiàn)要充分發(fā)揮這個(gè)新思路的價(jià)值，要注意以下幾點(diǎn)：

專屬環(huán)境——由于這套環(huán)境需要反復(fù)整理環(huán)境數(shù)據(jù)和升級，一定要為這個(gè)回歸測試準(zhǔn)備一套專屬的測試環(huán)境，不要在共享的環(huán)境里進(jìn)行；

明確檢查點(diǎn)——由于執(zhí)行測試輸出的接口文件、報(bào)表里一定有時(shí)間戳、自增ID等每次執(zhí)行都會變化的信息，不能簡單通過文件來比對。在擬定測試用例時(shí)，就應(yīng)該明確這些接口文件、報(bào)表里的有哪些數(shù)據(jù)需要檢查。在每個(gè)版本交付時(shí)，開發(fā)人員也應(yīng)該明確告知哪些數(shù)據(jù)檢查點(diǎn)會有預(yù)期差異。否則對比工作將耗費(fèi)大量的時(shí)間和精力；

變更范圍要小——如果對比的兩個(gè)系統(tǒng)版本的變更范圍太大，會導(dǎo)致輸出有大量差異，比對意義不大。因此這個(gè)方法不太適合大的合并，比較適合落實(shí)了敏捷交付后，由于每個(gè)Sprint的變更范圍較小，兩個(gè)系統(tǒng)版本間的輸出差異不多，比對較容易。

以這個(gè)思路建立了回歸測試框架，我們便可以著手執(zhí)行過程的自動化，從而提升其執(zhí)行的效率。

總結(jié)

我們的核心系統(tǒng)是一套單體復(fù)雜系統(tǒng)，支撐全球多個(gè)國家和地區(qū)不同的業(yè)務(wù)。

為了實(shí)現(xiàn)敏捷交付，我們希望打破目前以大型項(xiàng)目為形式的各自為政，把各項(xiàng)目的所有需求放在統(tǒng)一的Backlog通過Scrum的方法進(jìn)行持續(xù)交付。

要實(shí)現(xiàn)這一點(diǎn)，我們需要在每個(gè)Sprint都進(jìn)行有效的回歸測試，以保護(hù)生產(chǎn)環(huán)境的關(guān)鍵業(yè)務(wù)在新特性上線后不會有災(zāi)難性的故障。

通過對比兩個(gè)系統(tǒng)版本在相同測試環(huán)境、相同環(huán)境數(shù)據(jù)、相同交易日、相同輸入的情況下，執(zhí)行關(guān)鍵業(yè)務(wù)過程的有限的測試用例，輸出是否有非預(yù)期的差異的回歸測試方法，以少勝多，以不變應(yīng)萬變，持續(xù)保護(hù)生產(chǎn)環(huán)境的核心業(yè)務(wù)，為持續(xù)交付保駕護(hù)航。

---

從DevOps到AIOps，想突破運(yùn)維轉(zhuǎn)型困局，讓Gdevops全球敏捷運(yùn)維峰會北京站給你更多新思路：

• 《建設(shè)敏捷型消費(fèi)金融中臺及云原生下的DevOps實(shí)踐》中郵消費(fèi)金融總經(jīng)理助理 李遠(yuǎn)鑫

• 《浙江移動AIOps實(shí)踐》浙江移動云計(jì)算中心NOC及AIOps負(fù)責(zé)人 潘宇虹

• 《數(shù)據(jù)智能時(shí)代：構(gòu)建能力開放的運(yùn)營商大數(shù)據(jù)DataOps體系》中國聯(lián)通大數(shù)據(jù)基礎(chǔ)平臺負(fù)責(zé)人/資深架構(gòu)師 尹正軍

• 《銀行日志監(jiān)控系統(tǒng)優(yōu)化手記》中國銀行DevOps負(fù)責(zé)人 付大亮和中國銀行&高級軟件工程師 李曉寧

• 《民生銀行智能運(yùn)維平臺實(shí)踐之路》民生銀行智能運(yùn)維平臺負(fù)責(zé)人/應(yīng)用運(yùn)維專家 張舒?zhèn)?/p>

讓我們在技術(shù)浪潮的沖擊下站穩(wěn)腳跟，攀登運(yùn)維高峰！2020年9月11日，我們在北京不見不散。

如果喜歡本文

歡迎?在看丨留言丨分享至朋友圈?三連

?

Java線程池實(shí)現(xiàn)原理及其在美團(tuán)業(yè)務(wù)中的實(shí)踐

?

CTO丟給我中臺總結(jié)：阿里的“數(shù)據(jù)+業(yè)務(wù)”雙中臺架構(gòu)

?

數(shù)據(jù)中臺建設(shè)五步法（文末贈書）

?

中臺設(shè)計(jì)和實(shí)踐：海量并發(fā)業(yè)務(wù)中臺，新業(yè)務(wù)秒級接入交易中臺

中生代技術(shù)社區(qū)提供內(nèi)推服務(wù)，對應(yīng)BAT，網(wǎng)易，頭條等大廠對接到用人部門，

有需求請?zhí)砑尤汉匣锶?strong>大白的微信

申請備注（姓名+公司+技術(shù)方向）才能通過哦！

? ?END ? ?? #接力技術(shù)，鏈接價(jià)值#

快長按二維碼▲關(guān)注我啊魂淡

總結(jié)

以上是生活随笔為你收集整理的FinTech:一个单体系统足以撑起银行持续交付全球大项目的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。