這篇文章，淺談數(shù)據(jù)治理與ETL流程關(guān)系。
我認(rèn)為可以從這幾個方面去討論數(shù)據(jù)治理（Data Governance):一致性、準(zhǔn)確性、關(guān)聯(lián)性、完整性、及時性。他們都和ETL實(shí)施起來流程密切相關(guān)。

1、一致性：隨數(shù)據(jù)傳輸文件一起傳輸過來的還有check_log表文件。ETL加工之前檢測check_log表中得record_count value和select count(*) from table做比較，只有通過檢測，才進(jìn)行下一步ETL裝載。否則程序abolish。

2、準(zhǔn)確性：檢測check_log表中money_column_name和sum(money_amount)，對比select sum(money_amount) from table。
3、關(guān)聯(lián)性：主表進(jìn)行左關(guān)聯(lián)非空驗(yàn)證。select count(a.index_id) from main_table a left join slave_table b on a.index_id=b.index_id where b.index_id is null, 這個驗(yàn)證發(fā)生在ETL加工載入到ODS層后，因此關(guān)聯(lián)性校驗(yàn)并不會影響ETL進(jìn)度，只是需要人工查驗(yàn)原因并給出補(bǔ)救措施。
4、完整性：對所需字段進(jìn)行非空和碼值校驗(yàn)。
select count()from table where column_A is null;
select count() from table where column_A not in ( 1,2,3);
記錄數(shù)為0則代表通過非空和碼值校驗(yàn)，否則進(jìn)行預(yù)警，并人工查看未通過原因并提供原因給到源端，不影響跑批。

5、及時性：規(guī)定時間內(nèi)檢查目標(biāo)文件夾內(nèi)是否到了check_log文件，如果存在則通過及時性校驗(yàn)。如果不存在，則預(yù)警通知運(yùn)維和源端，整體跑批流程進(jìn)入下一個循環(huán)。

總結(jié)

以上是生活随笔為你收集整理的数据治理与ETL流程关系的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。