場景：

需要一個從SQL Server源表拉數(shù)據(jù)到MySQL目標(biāo)表的SSIS ETL Package，本來一個簡單的Data Flow組件就可以解決的問題，然而SSIS 2014不支持在Data flow中使用ADO.NET connection作為MySQL desitination，運(yùn)行時會報錯(做source connection使用沒有問題)，換成ODBC connection可以成功，但load速度太慢。

在以下測試表中插入260908條測試數(shù)據(jù)，然后用ODBC做Data Flow的destination，load所有數(shù)據(jù)耗時43分27秒！！

1 CREATE TABLEtblTest(2 ID BIGINT NOT NULL IDENTITY(1,1),3 Col1 NVARCHAR(30),4 Col2 NVARCHAR(30),5 Col3 NVARCHAR(30),6 Col4 NVARCHAR(30),7 Col5 NVARCHAR(30),8 Col6 DECIMAL(10,4),9 Col7 DECIMAL(10,4),10 Col8 DECIMAL(10,4),11 Col9 INT,12 Col10 DATETIME2 DEFAULTGETUTCDATE()13 )

解決方案：

將源表通過SQL Server的bcp命令導(dǎo)出為文件，然后在利用MySQL的LOAD DATA LOCAL INFILE命令導(dǎo)入目標(biāo)表中。

1 --在SQL Server中創(chuàng)建SP如下，用以被SSIS Package調(diào)用，將源表導(dǎo)出至文件

2 CREATE PROCEDUREusp_ExtracttblTest3 AS

4 BEGIN

5

6 EXECsp_configure7 ‘show advanced options‘,8 1;9

10 RECONFIGURE;11

12 EXECsp_configure13 ‘xp_cmdshell‘,14 1;15

16 RECONFIGURE;17

18 DECLARE @cmd NVARCHAR(4000);19

20 SET @cmd = ‘bcp "SELECT ID,Col1,Col2,Col3,Col4,Col5,Col6,Col7,Col8,Col9,Col10 FROM Test..tblTest" queryout C:/TEST/tblTest.csv -S"SQL Server IP" -U"DBUser" -P"DBUserPassword" -c -C"65001" -t","‘;21

22 EXEC master..xp_cmdshell @cmd;23

24 END

25

26 GO

SSIS Package需要兩個Execute SQL Task來實現(xiàn)整個ETL：

Execute SQL Task 1: 調(diào)用以上存儲過程，將源表導(dǎo)出為文件，導(dǎo)出260908條測試數(shù)據(jù)耗時1秒

Execute SQL Task 2: 用ADO.NET connection的方式連接到MySQL目標(biāo)數(shù)據(jù)庫，SQL Statement內(nèi)容如下。導(dǎo)入所有測試數(shù)據(jù)耗時8秒

1 LOAD DATA LOCAL INFILE ‘C:/Test/tblTest.csv‘

2 INTO TABLEtblTest3 CHARACTER SETutf84 FIELDS TERMINATED BY ‘,‘

5 ESCAPED BY ‘\\‘

6 LINES TERMINATED BY ‘\r\n‘

7 (ID,Col1,Col2,Col3,Col4,Col5,Col6,Col7,Col8,Col9,Col10);

改進(jìn)后的ETL Package跑下來耗時總和僅需10秒！

原文：http://www.cnblogs.com/quietseason/p/6382416.html

總結(jié)

以上是生活随笔為你收集整理的etl mysql 到sqkserver_从SQL Server到MySQL的ETL实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。