[原創(chuàng)] 淺談ETL系統(tǒng)架構(gòu)如何測(cè)試？

　　來新公司已入職3個(gè)月時(shí)間，由于公司所處于互聯(lián)網(wǎng)基金行業(yè)，基金天然固有特點(diǎn)，基金業(yè)務(wù)復(fù)雜，基金數(shù)據(jù)信息眾多，基金經(jīng)理眾多等，所以大家可想一下，基民要想賺錢真不容易，首先你要在這么多基金中選一個(gè)靠譜的基金經(jīng)理，想獲得一份不錯(cuò)的基金收益，尤如大海撈針，其碼我對(duì)這個(gè)沒什么自信。

　　閑話少說，哪么我們來看看ETL系統(tǒng)架構(gòu)是咋回事，簡(jiǎn)單理解ETL就是將數(shù)據(jù)抽取，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)加載的一個(gè)過程，其中每個(gè)公司都有不同業(yè)務(wù)，如下圖所示：

上圖展示了一個(gè)典型的ETL系統(tǒng)架構(gòu)，其中ETL中間還多了一個(gè)數(shù)據(jù)清洗，碰到這樣的系統(tǒng)，測(cè)試工作如何開展呢?我理下思路，列舉一些目前我所在公司對(duì)這塊的測(cè)試實(shí)踐：

1、首先，必須要對(duì)ETL核心處理過程進(jìn)行測(cè)試，要確保數(shù)據(jù)提取，轉(zhuǎn)換，加載核心處理過程的正確性及完整性；

2、各業(yè)務(wù)需求點(diǎn)及規(guī)則驗(yàn)證是否被正常轉(zhuǎn)化，如：我們要將系統(tǒng)抓取的一些非標(biāo)的數(shù)據(jù)進(jìn)行提取，轉(zhuǎn)換后符合公司自己定義的算法，這塊就比較重要，也是公司核心；

3、各業(yè)務(wù)需求點(diǎn)及規(guī)則對(duì)時(shí)間要求，性能是否可以滿足，如：我司系統(tǒng)有這樣的需求，對(duì)某基金經(jīng)理，在任職期內(nèi)，與其他基金經(jīng)理的業(yè)務(wù)在10年，3年，1年等不同時(shí)間段的回報(bào)率等；

4、ETL的測(cè)試核心點(diǎn)是數(shù)據(jù)，諸如數(shù)據(jù)的準(zhǔn)確性，完整性，正確性都應(yīng)考慮，測(cè)試時(shí)尤其要多運(yùn)用等價(jià)，邊界及異常值等去檢查驗(yàn)證，不過建議開發(fā)一些測(cè)試工具去支持，在實(shí)際測(cè)試工作中，經(jīng)常發(fā)現(xiàn)數(shù)據(jù)源抓取的數(shù)據(jù)不是很完整，有些還是錯(cuò)的，這些都要在內(nèi)部測(cè)試時(shí)，進(jìn)行嚴(yán)謹(jǐn)?shù)臋z查；

5、數(shù)據(jù)遷移測(cè)試，由于每次系統(tǒng)升級(jí)，不得不進(jìn)行更新，這樣會(huì)造成新舊數(shù)據(jù)有可能不一致，我們通常采用遷移一部分生產(chǎn)數(shù)據(jù)在測(cè)試環(huán)境，來進(jìn)行檢查驗(yàn)證；

6、數(shù)據(jù)擴(kuò)展性容量測(cè)試，初期我們對(duì)這塊重視不夠，原以為數(shù)據(jù)量沒哪么多，但經(jīng)過一段時(shí)間積累，發(fā)現(xiàn)源數(shù)據(jù)是非常龐大，所以針對(duì)這塊我們都會(huì)去預(yù)估，盡可能按照X10,X20倍等這樣的方式進(jìn)行測(cè)試評(píng)估。

　　最后總結(jié)下ETL測(cè)試其實(shí)并不復(fù)雜，系統(tǒng)的架構(gòu)也非常簡(jiǎn)單，容易理解，難在于測(cè)試數(shù)據(jù)的復(fù)雜性構(gòu)建，數(shù)據(jù)兼容性，及數(shù)據(jù)的完整性，我們?cè)跍y(cè)試時(shí)碰到的最頭疼的問題，主要是這幾種，當(dāng)然最后提一句，ETL系統(tǒng)上線后，必須要有一個(gè)好的監(jiān)控系統(tǒng)配合，否則真是災(zāi)難。

　　

總結(jié)

以上是生活随笔為你收集整理的[原创] 浅谈ETL系统架构如何测试？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。