1. ETL工具Kettle的輸出步驟

Kettle輸入步驟主要分為以下幾類：

• 數(shù)據(jù)庫輸出
• 表輸出
• 更新、刪除、插入和更新
• 文件輸出
• 文本文件輸出
• XML輸出
• Excel文件輸出
• 其他
• 報(bào)表和應(yīng)用

2 數(shù)據(jù)庫輸出

2.1 表輸出的功能

• 使用SQL的方式向數(shù)據(jù)庫提交數(shù)據(jù)
• 特點(diǎn)：表輸出支持批量提交數(shù)據(jù)，可以對(duì)數(shù)據(jù)進(jìn)行分區(qū)，具有字段映射和返回自增列的弄能。
  

2.2 表輸出各自功能的特點(diǎn)

• 更新：根據(jù)關(guān)鍵字匹配規(guī)則，更新數(shù)據(jù)庫中已有的數(shù)據(jù)
• 刪除：根據(jù)關(guān)鍵字匹配規(guī)則，刪除數(shù)據(jù)庫已有的數(shù)據(jù)
• 插入：有則更新，無則插入，使用方便，可以作為誤刪除數(shù)據(jù)同步的一種方式，但是效率低。
  

2.3 數(shù)據(jù)同步

• 功能:基于比較的同步方式。根據(jù)一個(gè)flag字段執(zhí)行相應(yīng)的插入/刪除/刪除操作。
• 常用的數(shù)據(jù)同步方法有：
• 時(shí)間戳
• 比較
• 觸發(fā)器
• 日志
  

2.4 數(shù)據(jù)庫的批量加載和SQL文件輸出

• kettle中可以通過指定腳本使用流的的方式批量加載數(shù)據(jù)，常見的數(shù)據(jù)庫系統(tǒng)包括MySQL和Orcle數(shù)據(jù)庫的加載。
• SQL文件輸出可以根據(jù)選中的數(shù)據(jù)庫類型，生成相應(yīng)的SQL腳本（DDL（數(shù)據(jù)定義語音），DML(數(shù)據(jù)操作語音)）
  

3 Kettle的文件輸出

3.1 Excel文件輸出

Kettle可以直接將數(shù)據(jù)保存到Excel文件中。

• 注意事項(xiàng):
• Excel輸出65535的限制
• Excel2007輸出則沒有該限制

3.2 文本文件和JSON文件輸出

• Kettle可以將文件直接保存至文本文件，同時(shí)也可以按照J(rèn)SON的格式輸出數(shù)據(jù)，將數(shù)據(jù)保存至JSON文件中。
• 可選內(nèi)容包括
• 文件名，內(nèi)容，字段選擇等基本功能
• 文件分割，分批保存文件
• 可以通過Servelt的方式輸出JSON文件，Http的調(diào)用參數(shù)包括“rep”，“User”，“pass”，“trans”，“l(fā)evel”等。

3.3 報(bào)表輸出

1. 功能：生成報(bào)表（pdf、excel、html等格式），需要事先定義好報(bào)表的模板 2. 使用報(bào)表功能時(shí)也可以直接將數(shù)據(jù)保存至數(shù)據(jù)庫中，然后由數(shù)據(jù)庫和前端進(jìn)行交互，提供報(bào)表的數(shù)據(jù)內(nèi)容

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的四十一、ETL工具kettle输出步骤的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。