背景：不同平臺都可以獲得用戶，這些用戶之間可能是交叉重復，比如你之前在A平臺注冊了，后來你又在B平臺注冊了。而不同的平臺存儲數據的表結構，表字段可能不同。最有代表性的，美團合并了大眾點評，兩家外賣平臺的數據必須整合在一起，才能發揮更大的商業價值----數據集成。

數據集成的兩種架構：ELT 和 ETL

一般來說，數據工程師的工作包括了數據的 ETL 和數據挖掘算法的實現。算法實現可以理解，就是通過數據挖掘算法，從數據倉庫中找到“金子“。

ETL實現數據抽取、轉換、加載這三個過程

抽取是將數據從已有的數據源中提取出來。

轉換是對原始數據進行處理，例如將表輸入 1 和 表輸入 2 進行連接形成一張新的表。

根據轉換發生的順序和位置，數據集成可以分為 ETL 和 ELT 兩種架構。

ETL 的過程為提取 (Extract)——轉換 (Transform)——加載 (Load)，在數據源抽取后首先進行轉換，然后將轉換的結果寫入目的地。

ELT 的過程則是提取 (Extract)——加載 (Load)——變換 (Transform)，在抽取后將結果先寫入目的地，然后利用數據庫的聚合分析能力或者外部計算框架，如 Spark 來完成轉換的步驟。

目前數據集成的主流架構是 ETL，但未來使用 ELT 作為數據集成架構的將越來越多。

ELT 和 ETL 相比，最大的區別是“重抽取和加載，輕轉換”，從而可以用更輕量的方案搭建起一個數據集成平臺。一方面更省時，另一方面 ELT 允許 BI 分析人員無限制地訪問整個原始數據，從而使BI對于數據處理更加靈活，更好的支持業務。

ETL 工具有哪些？

開源軟件：Kettle、Talend、Apatar、Scriptella、DataX、Sqoop 等

Kettle 工具的使用

Kettle 是一款國外開源的 ETL 工具，純 Java 編寫，可以在 Window 和 Linux 上運行，不需要安裝就可以使用。

下載地址：https://community.hitachivantara.com/docs/DOC-1009855

在使用 Kettle 之前還需要安裝數據庫軟件和 Java 運行環境（JRE）

Kettle 采用可視化的方式進行操作，來對數據庫間的數據進行遷移。它包括了兩種腳本：Transformation 轉換和 Job 作業。

Transformation（轉換）：相當于一個容器，對數據操作進行了定義。數據操作就是數據從輸入到輸出的一個過程。在通常的工作中，我們會把任務分解成為不同的作業，然后再把作業分解成多個轉換。

Job（作業）：相比于轉換是個更大的容器，它負責將轉換組織起來完成某項作業。

Transformation 可以分成三個步驟，它包括了輸入、中間轉換以及輸出。

在 Transformation 中包括兩個主要概念：Step 和 Hop。

Step（步驟）：Step 是轉換的最小單元。在上面這個轉換中，就包括了表輸入、值映射、去除重復記錄、表輸出這 4 個步驟；

Hop（跳躍線）：用來在轉換中連接 Step。它代表了數據的流向。

如何創建 Job（作業）：完整的任務，實際上是將創建好的轉換和作業串聯起來。在這里 Job 包括兩個概念：Job Entry、Hop。

Job Entry（工作實體）：Job Entry 是 Job 內部的執行單元，每一個 Job Entry 都是用來執行具體的任務，比如調用轉換，發送郵件等。

Hop：指連接 Job Entry 的線。并且它可以指定是否有條件地執行。

案例 1：如何將文本文件的內容轉化到 MySQL 數據庫中

總結

以上是生活随笔為你收集整理的数据集成--ETL工具的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。