日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 >

oracle 加载数据戽_走进大数据丨 ETL - Load(数据加载)

發布時間:2024/9/20 36 豆豆
生活随笔 收集整理的這篇文章主要介紹了 oracle 加载数据戽_走进大数据丨 ETL - Load(数据加载) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

LOAD 加載經轉換和匯總的數據到目標數據倉庫中,可實現SQL或批量加載數據加載(Load) 經過數據轉換生成的文件的結構與數據倉庫數據表的結構完全一致,可以直接通過數據加載工具,以Bulk Load的方式加載到數據倉庫中。數據加載工作以oracle數據庫為例大致可以分為3步進行。

加載準備

在真正進行數據加載之前還可能需要完成以下準備工作。

刪除數據倉庫中數據表的索引,提高加載效率。主要是針對detail及fact大表,可以直接調用DBA所創建的索引維護腳本。DBA調試過數據倉庫后,必須更新相應的索引維護腳本,以保證ETL能夠正確刪除和建立索引。

加載

Load主要完成將轉換后文件的數據加載到數據倉庫的表中。需要用到的加載方式有三種

Insert:只需要將轉換后文件所有數據完全Insert到目標表中。UpdAdd(Update Add):需要對目標表同時做Update及Insert操作,根據primary key,對于已有的記錄進行Update操作;對于不存在的記錄做Insert的操作;對于數據量大的表,由于此操作的效率非常低可以采用先將轉換后文件分割為Delet文件及Insert文件,然后先將Delete文件中的記錄根據 primay key對應從數據倉庫中刪除,然后再從Insert文件中將所有記錄全部Insert到目標表中。Refresh:即將目標表的數據完全更新,一般的做法是先Truncate目標表的數據,然后再完全 Insert要加載的記錄。加載過程中數據倉庫關閉數據RI(Referential Integrity)管理功能,數據庫的RI檢查由ETL應用程序完成。

加載后

  • 重新生成索引,在加載后階段刪除的索引需在此重建。該過程也是調用DBA維護的索引維護腳本。
  • 文件清理:刪除不需要的臨時文件及臨時表。

使用裝載工具或數據查詢語言(SQL)時注意點:效率問題、避免違反約束條件,注意裝載順序。

總結

以上是生活随笔為你收集整理的oracle 加载数据戽_走进大数据丨 ETL - Load(数据加载)的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。