Kettle使用_7 数据校验组件应用
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?Kettle使用_7 數(shù)據(jù)校驗(yàn)組件應(yīng)用
需求:
解決方法:
通過數(shù)據(jù)校驗(yàn)組件結(jié)合分組統(tǒng)計(jì)、過濾記錄和終止流程組件來完成。
- 場(chǎng)景一:字段最大長(zhǎng)度檢驗(yàn)
Step1: 拖動(dòng)一個(gè)自定義常量組件(字段是name,類型是string,數(shù)據(jù)見下圖)到轉(zhuǎn)換并
Step2:將轉(zhuǎn)換里檢驗(yàn)分類下的數(shù)據(jù)檢驗(yàn)拖到轉(zhuǎn)換里。
Step3: 按住SHIFT,從自定義常量里連接到數(shù)據(jù)校驗(yàn)組件。
Step4:設(shè)置最大字符串長(zhǎng)度為8
- 場(chǎng)景二:檢查數(shù)字類型最大長(zhǎng)度(這里檢查score最大值為70)
步驟類似場(chǎng)景一,這里的自定義常量數(shù)據(jù)見下:
數(shù)據(jù)校驗(yàn)配置數(shù)據(jù)最大值配置:
- 場(chǎng)景三:檢查數(shù)據(jù)是否為空(這里code字段第二行為空)
這里的自定義常量數(shù)據(jù)見下:
數(shù)據(jù)校驗(yàn),是否為空配置。
- 場(chǎng)景四:字段類型檢驗(yàn)(這里給的CityCode是integer,但檢驗(yàn)時(shí)需要是String類型)
數(shù)據(jù)檢驗(yàn)里數(shù)據(jù)類型檢查配置
- 場(chǎng)景五:數(shù)據(jù)是否屬于某個(gè)范圍(List)
自定義數(shù)據(jù)如下(工資水平有A、B、C、D、E、F6條記錄,而實(shí)際合法的是如下list :A、B、C、D)
數(shù)據(jù)校驗(yàn)(在一個(gè)范圍內(nèi))的配置。
- 場(chǎng)景六:綜合案例(即需求部分)
配置如上的數(shù)據(jù)校驗(yàn)組件與統(tǒng)計(jì)組件互連到一個(gè)Dummy組件
這里統(tǒng)計(jì)組件可按照如下設(shè)置:
可設(shè)置過濾組件如下:
如果滿足過濾條件,則進(jìn)入流程終止。
完整流程示意:
總結(jié)
以上是生活随笔為你收集整理的Kettle使用_7 数据校验组件应用的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: PCA 主成分分析 用Excel一步步演
- 下一篇: Kettle使用_8 存储过程结合获取系