1. ETL工具Kettle的輸入步驟

1.1 Kettle輸入步驟主要分為以下幾類：

• 生成記錄和自定義常量。
• 獲取系統信息
• 輸入方式

2 生成記錄和自定義常量

2.1 Kettle組件生成記錄

• 生成記錄的每行數據都是相同的，所以便誕生了自定義常量數據來手工模擬數據。
  

2.2 Kettle組件自定義常量

• 用于生成自定義的數據
• 一般用于測試數據的構建
  

3 獲取系統信息

獲得各類系統信息，常見的包括：

• 轉換開始時間
• 關鍵時間點信息
• 最多十個命令行參數
• 主機名/ip/進程號/虛擬機內存等
• 上一個作業的完成情況參數
  

4 Kettle的輸入方式

4.1 表輸入

• 執行select語句，從數據庫中獲取數據
• 可以通過？和${var}方式使用變量
• ？變量要求前面步驟傳來的參數的熟悉一致
• 表輸入的數據類型如何和Kettle數據類型對應 ResultSetMetaData
  

4.1 文本文件輸入

• 文本文件輸入
• 處理有列分隔符（限定符、逃逸字符）的文本文件
• 功能選項豐富、有錯誤處理機制
• CSV文件輸入
• 簡化了文本文件輸入
• 通過NIO、并行、延遲轉換提高性能
• 固定寬度文件輸入
• 列固定寬度的文件，不用解析字符串，性能好。

XML文件輸入（DOM方式）

• 自動選擇XMLPath循環路徑
• 優點：使用簡單
• 缺點：不能使用大XML文件，占用內存

XML文件輸入（流方式方式）

• 自動選擇XMLPath循環路徑
• 優點：可用于處理大的XML文件
• 缺點：使用較復雜，要寫腳本或Java程序，有一定使用難度。

JSON輸入方式

• 直接選地本地輸入
• 從上個步驟傳遞文件名
• JSON Path需要手動設置

使用較復雜，要寫腳本或Java程序，有一定使用難度。

JSON輸入方式

• 直接選地本地輸入
• 從上個步驟傳遞文件名
• JSON Path需要手動設置

總結

以上是生活随笔為你收集整理的四十、ETL工具的输入步骤的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。