文章目錄

• • Spoon工具使用（kettle進(jìn)行實(shí)時(shí)同步數(shù)據(jù)）
  • • 安裝
    • 相關(guān)概念
    • 轉(zhuǎn)換
    • • DB連接
      • 步驟和節(jié)點(diǎn)連接
    • 作業(yè)
    • • DB連接
      • 作業(yè)項(xiàng)目

Spoon工具使用（kettle進(jìn)行實(shí)時(shí)同步數(shù)據(jù)）

安裝

解壓完Spoon安裝包后，雙擊.bat文件打開

相關(guān)概念

• 轉(zhuǎn)換：一個(gè)或多個(gè)數(shù)據(jù)抽取的工作流程，比如全量抽取某個(gè)表的數(shù)據(jù)等等
• 作業(yè)：進(jìn)行轉(zhuǎn)換或其他操作的集合

轉(zhuǎn)換

新建轉(zhuǎn)換之后，找到主對象樹，這里DB連接、步驟、節(jié)點(diǎn)連接是必要的，其他的功能項(xiàng)按需求來

DB連接

DB連接是配置數(shù)據(jù)庫的連接信息，以供步驟進(jìn)行使用（下面會講到步驟）

這里我們新建數(shù)據(jù)連接，填上數(shù)據(jù)庫的連接信息

• 插入表為127-mysql-test 庫中的user2表
• 更新表為127-mysql-test2庫中的user3表

步驟和節(jié)點(diǎn)連接

步驟是用圖形化的界面展示你進(jìn)行kettle轉(zhuǎn)換的一些詳細(xì)操作
節(jié)點(diǎn)連接是連接各個(gè)步驟之間的操作

步驟里面包含表輸入、表輸出、寫腳本…選取拖動即可

我這里要做的步驟是：每次增量替換數(shù)據(jù)（插入/更新/刪除數(shù)據(jù)）
1、執(zhí)行sql腳本，清空目標(biāo)表（下面兩個(gè)方面設(shè)置后可以單次執(zhí)行插入和更新，但是刪除源表后，插入表不能同步刪除，所以需要設(shè)置“執(zhí)行sql腳本”進(jìn)行同步刪除操作。）

2、表輸入

3、表輸出
到此就寫完了一個(gè)轉(zhuǎn)換，如果有多張表，可以在圖形化界面中加入多個(gè)轉(zhuǎn)換

作業(yè)

新建作業(yè)之后，找到主對象樹，這里DB連接、作業(yè)項(xiàng)目等做詳細(xì)建設(shè)

DB連接

跟之前一樣，就不詳細(xì)介紹了，有需要可以用到

作業(yè)項(xiàng)目

這里是使用你剛才寫的轉(zhuǎn)換，然后啟動作業(yè)進(jìn)行kettle抽取

然后啟動就可以定時(shí)調(diào)度了，定時(shí)同步數(shù)據(jù)就完成了。

1、job文件加入對應(yīng)參數(shù)的初始值

2、轉(zhuǎn)換文件用${…}填入

總結(jié)

以上是生活随笔為你收集整理的Spoon工具使用（kettle进行实时同步数据）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。