文章目錄

• • • • • 一、全量同步
        • • 1. 增量同步SQL
          • 2. 構建reader
          • 3. 構建writer
          • 4. 字段對應關系映射
          • 5. 構建json
          • 6. 選擇同步模板
          • 7. 查詢最早時間
          • 8. 修改任務信息
          • 9. 添加增量參數
          • 10. 數據清理
          • 11. 執(zhí)行任務
          • 12. 查看執(zhí)行日期
          • 13. 數據驗證
          • 15. 查看同步腳本
        • 二、基于日期增量同步
        • • 2.1. 新增新數據
          • 2.2. 執(zhí)行數據同步
          • 2.3. 查看日志
          • 2.4. 查看數據庫
          • 2.5. 日期選取

一、全量同步

聲明：
以增量方式數據同步，第一次是全量同步，從第二次同步開始以第一次同步完成后的時間為開始時間，進行增量同步！
注：咱們添加項目、添加任務模板先用以前的，直接任務構建

1. 增量同步SQL

select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where dt > to_date(${lastTime},'yyyy-mm-dd hh24:mi:ss') and dt <= to_date(${currentTime},'yyyy-mm-dd hh24:mi:ss')

2. 構建reader

構建reader，填寫增量同步SQL

3. 構建writer

4. 字段對應關系映射

5. 構建json

6. 選擇同步模板

基礎模板，可以在執(zhí)行同步前進行任務信息的修改


刷新頁面

7. 查詢最早時間

查詢同步數據的最早時間和最晚時間，等會會以最早時間為開始時間進行同步

8. 修改任務信息

9. 添加增量參數

-DlastTime='%s' -DcurrentTime='%s'

10. 數據清理

清空mysql數據庫otbs1表的數據

11. 執(zhí)行任務

12. 查看執(zhí)行日期

如果不顯示就刷新頁面

13. 數據驗證

15. 查看同步腳本

存量同步完成之后，查看同步腳本

從圖中可以看出，以增量形式同步全量第一次完成后，開始時間自動變更成了當前時間，以后增量同步，就會一當前時間作為開始時間繼續(xù)增量同步！

二、基于日期增量同步

查詢數據庫目前idno最大值

1048577

2.1. 新增新數據

新增3條數據

insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10) values ('1048578', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6'); insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10) values ('1048579', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6'); insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10) values ('1048580', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');

插入后再次查詢idno最大值

1048580，在以前基礎上堵了3條數據。

2.2. 執(zhí)行數據同步

如果，這次增量同步的數量為3條，就說明是增量數據同步對吧

2.3. 查看日志

從同步日志可以看出，只同步了3條數據

2.4. 查看數據庫

多了3條數據

2.5. 日期選取

找一個關鍵的業(yè)務日期

總結

以上是生活随笔為你收集整理的ETL异构数据源Datax_日期增量同步_13的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。