通過SSIS的“查找”組件進行不同數據源之間數據的合并操作 原文:通過SSIS的“查找”組件進行不同數據源之間數據的合并操作

?

為了協助開發還原生產環境中的某些bug，需要將將生產環境的某些特定表數據導入到測試環境做測試，
之前一直都是暴力地truncate測試環境的表，然后用SSIS將生產環境對應的整張表數據導入測試環境，簡便快捷
后來開發提出來，保留測試環境已有的數據，只同步差異的數據（根據主鍵），于是就嘗試使用SSIS中的“查找”組件進行不同服務器之間的“存在則更新，不存在則插入”數據合并操作，
實際操作的時候只執行插入操作，達到同步數據的目的。

?

嘗試之后覺得還是挺好使的，看起來跟簡單，操作起來步驟還是挺多的，記錄一下。

?

　　首先最主要的一個組件就是如下截圖的查找組件。

?完整的測試結果如圖所示，最主要的目的就是讓源數據“兵分兩路”，以不同的方式（更新或者插入）去同步到目標服務器中，當然數據源與數據目標可以是不同的服務器，不同類型的數據庫或者文件，關鍵是一種實現方式。

?

?

開始操作步驟

?新建SSIS任務什么的就不說了，操作一遍就回了，微軟的IDE還是比較好用的。

?

首先是最基本的數據流任務，拖一個數據任務流到SSIS設計器中

雙擊進入源編輯界面，設置數據源的服務器和表

　　

　　

　　添加查找組件，設置查找組件的服務器和表（導入數據的目標服務器和表）

　　

　　根據這里的需求，常規選項中一定要將設置為“將行重定向到無匹配輸出”，因為這里是要執行“不存在就插入”的操作，因此“源”與“目標”中的數據進行匹配，匹配到的與沒有匹配到的都要輸出，只不過是處理方式不同

　　注意有對于目標中的數據有三種緩存模式，這里選擇默認的方式，不多說，有興趣的可以上網搜

　　

　　繼續編輯列映射屬性

　　

?

?

　　分別拉一個OLE DB 命令 和 OLE DB目標，位置盡量擺放的好看一點

?　　

?

?　　分別設置個OLE DB 命令?和?OLE DB目標的屬性信息

　　

?

　　

　　列映射選項卡中編譯映射信息，可用目標列中的Parama_0和Param_1分別代表兩個上述SQL語句中的兩個參數，

　　因為SQL語句是update test_table1 set name = ? where id = ?，這里的參數的順序要與占位符的?順序表示的意義相同

　　

?　　“左邊”更新的操作分支屬性編輯完成之后，編輯“右邊”的插入分支的屬性，這一步就簡單了，設置好數據源與目標表即可。

?　　

?

接下來就可以執行了，將源數據“兵分兩路”，分別執行“存在則更新，不存在則插入”的操作，因為這里已經示例的是源與目標匹配到了5999行，進行更新，沒有匹配的是4999行，執行插入

執行完成后，源服務器與目標服務器數據一致。

?

一邊測試一遍截圖，比較亂，中間還是有一些細節的。

對于類似小眾化或者說是平時用的不是太頻繁的工具，時間久了可能會生疏，只要多實踐，多摸索，多看報錯信息，還是可以使用起來提高工作效率的。

?

posted on 2017-09-11 08:56 NET未來之路 閱讀(...) 評論(...) 編輯 收藏

轉載于:https://www.cnblogs.com/lonelyxmas/p/7503320.html

總結

以上是生活随笔為你收集整理的通过SSIS的“查找”组件进行不同数据源之间数据的合并操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。