日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

数仓架构--之数据拉链表实操

發(fā)布時(shí)間:2023/12/20 编程问答 39 豆豆
生活随笔 收集整理的這篇文章主要介紹了 数仓架构--之数据拉链表实操 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

數(shù)倉(cāng)架構(gòu)--之?dāng)?shù)據(jù)拉鏈表

  • 不登高山不知天之高也,不臨深溪不知地之厚也
    • 拉鏈表定義
    • 拉鏈表特征
    • 拉鏈表加工
      • 重跑機(jī)制
      • 邏輯加工
    • 全量拉鏈和增量拉鏈
    • 全增量問(wèn)題
      • 全量拉鏈的全增量問(wèn)題
      • 增量拉鏈的全增量問(wèn)題
    • 結(jié)尾

不登高山不知天之高也,不臨深溪不知地之厚也

一句話道出求知的路勁,要想知道這個(gè)東西難不難只有去行動(dòng),去攀登。接下來(lái)在這里比較簡(jiǎn)單的講講數(shù)倉(cāng)中的拉鏈表

拉鏈表作為處理歷史數(shù)據(jù)的非常常用的表,掌握拉鏈表可以說(shuō)掌握了數(shù)倉(cāng)開(kāi)發(fā)的核心,廢話不多說(shuō),直接進(jìn)入正題。

拉鏈表定義

可參考百度不詳細(xì)說(shuō)明,主要是記錄某些數(shù)據(jù)特征在某一段時(shí)間內(nèi)持續(xù)的狀態(tài)

拉鏈表特征

  • 開(kāi)始時(shí)間和結(jié)束時(shí)間兩個(gè)字段;
  • 需要生成1-2個(gè)標(biāo)志全表字段的字段,根據(jù)該字段進(jìn)行數(shù)據(jù)變化的判斷,如:MD5_FILED(存主鍵)和NON_MD5_FIELD(存主鍵以外的必要業(yè)務(wù)字段);
    MD5生成可以如下:select listagg(to_char(column_name)) from user_table_columns left join user_cons_columns on t2.position is not null where columnname not in (技術(shù)字段)
  • 主鍵 業(yè)務(wù)主鍵和開(kāi)始時(shí)間;
  • 輔助字段,跑批時(shí)間、跑批字段、跑批批次等
  • 拉鏈表加工

    重跑機(jī)制

  • 刪除當(dāng)前批次之后開(kāi)鏈的數(shù)據(jù)
  • delete from 表 where start_date >=batch_date and jobname = '123'
  • 回退閉鏈的數(shù)據(jù)
  • update 表 set end_date = date'29991231',load_date = sysdate,del_flag = '未刪除狀態(tài)'where end_date>= batch_date and end_date <> date'29991231'and jobname = '123'

    邏輯加工

  • 增量數(shù)據(jù)插入臨時(shí)表(邏輯加工階段)
  • 更新臨時(shí)表加密字段(fn_md5()函數(shù)加密成32位,char類型)
  • update 表 set md5_field = fn_md5()
  • 刪除臨時(shí)表沒(méi)有變化的數(shù)據(jù)
  • delete from 臨時(shí)表 t where t.del_flag = '未刪除標(biāo)示符' and exists(select 1from 表 tt where tt.md5 = t.md5 and tt.startdate <= batchdate and tt.enddate > batchdate)
  • 閉鏈刪除的數(shù)據(jù)
  • update 表 tt set enddate =batchdate,loaddate = sysdate,delflag=‘刪除’where exists(select 1 from 臨時(shí)表 t where delflag=‘刪除’ tt.主鍵= t.主鍵)and tt.startdate <= batchdate and tt.enddate > batchdate)
  • 閉鏈修改的數(shù)據(jù)
  • merge into 表 ttusing(select * from 臨時(shí)表 t delflag =‘未刪除’)ton(t.主鍵 = tt.主鍵)when matched then update set enddate =batchdate,loaddate = sysdate
  • 開(kāi)鏈新增和修改的數(shù)據(jù)
  • insert into 表 select * from 臨時(shí)表 where delflag = ‘未刪除’

    全量拉鏈和增量拉鏈

  • 增量拉鏈的方式只在加工的時(shí)候限制當(dāng)天數(shù)據(jù)即可
  • 全量拉鏈則不需要限制
  • 在這里需要注意全增量的問(wèn)題
  • 全增量問(wèn)題

    全量拉鏈的全增量問(wèn)題

    當(dāng)主表是全量,而關(guān)聯(lián)表用增量的時(shí)候,當(dāng)有該表字段用來(lái)加工目標(biāo)數(shù)據(jù)的時(shí)候是有問(wèn)題的,需要注意
    解決方式*關(guān)聯(lián)表也用全量

    增量拉鏈的全增量問(wèn)題

    當(dāng)有多個(gè)關(guān)聯(lián)表,且使用關(guān)聯(lián)表加工目標(biāo)表字段的時(shí)候,有些主表沒(méi)有變動(dòng),但是關(guān)聯(lián)表有變動(dòng),這種時(shí)候就需要注意保證變化的數(shù)據(jù)要是全量的。
    解決方式: 可以創(chuàng)建一個(gè)臨時(shí)表,多個(gè)表的主鍵union生成目標(biāo)表的主鍵

    結(jié)尾

    本篇文章主要講以上內(nèi)容,未盡事項(xiàng)評(píng)論區(qū)見(jiàn)

    總結(jié)

    以上是生活随笔為你收集整理的数仓架构--之数据拉链表实操的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

    如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。