原文:不同版本的SQL Server之間數(shù)據(jù)導(dǎo)出導(dǎo)入的方法及性能比較

工作中有段時(shí)間常常涉及到不同版本的數(shù)據(jù)庫(kù)間導(dǎo)出導(dǎo)入數(shù)據(jù)的問(wèn)題，索性整理一下，并簡(jiǎn)單比較下性能，有所遺漏的方法也歡迎討論、補(bǔ)充。

00.建立測(cè)試環(huán)境

01.使用SQL Server Import and Export Tool

02.使用Generate Scripts

03.使用BCP

04.使用SqlBulkCopy

05.使用Linked Server進(jìn)行數(shù)據(jù)遷移

06.使用RedGate的SQL Data Compare

07.結(jié)果對(duì)比

可以先看下測(cè)試的結(jié)果

?

00.建立測(cè)試環(huán)境

建立一個(gè)測(cè)試的環(huán)境，一個(gè)數(shù)據(jù)源數(shù)據(jù)庫(kù)，版本為SQL Server 2008，一個(gè)目標(biāo)數(shù)據(jù)庫(kù)，版本為SQL Server 2000。

實(shí)驗(yàn)環(huán)境如下圖所示，源數(shù)據(jù)庫(kù)使用語(yǔ)句生成了100萬(wàn)的測(cè)試數(shù)據(jù)。

?

建立測(cè)試表并生成100萬(wàn)的測(cè)試數(shù)據(jù) ?1?IF?OBJECT_ID('DEMOTABLE')?IS?NOT?NULL?
?2?????DROP?TABLE?DEMOTABLE
?3?GO
?4?CREATE?TABLE?DEMOTABLE
?5?????(
?6???????COL1?VARCHAR(50)?,
?7???????COL2?VARCHAR(50)?,
?8???????COL3?VARCHAR(50)
?9?????)
10?INSERT??INTO?DEMOTABLE
11?????????SELECT?TOP?1000000
12?????????????????NEWID()?,
13?????????????????NEWID()?,
14?????????????????NEWID()
15?????????FROM????MASTER..SPT_VALUES?T1
16?????????????????INNER?JOIN?MASTER..SPT_VALUES?T2?ON?1?=?1
17?????????????????INNER?JOIN?MASTER..SPT_VALUES?T3?ON?1?=?1

?01.使用SQL Server Import and Export Tool

使用SQL Server Import and Export Tool進(jìn)行數(shù)據(jù)的導(dǎo)出，也可以在目標(biāo)數(shù)據(jù)庫(kù)端使用Import進(jìn)行導(dǎo)入，這部分套件也是SSIS的一部分。

在源數(shù)據(jù)庫(kù)上右鍵，選擇Task -> Export Data

分別填寫(xiě)源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)的連接信息。

?

?

選擇“copy data from one or more tables or views”

選擇需要導(dǎo)數(shù)據(jù)的表，并且可以編輯列的Mapping關(guān)系。

可以選擇立即執(zhí)行或者存儲(chǔ)為SSIS的包，用于執(zhí)行計(jì)劃等其他用途。

這里我們選擇立即執(zhí)行。

注意導(dǎo)入的時(shí)候如果遇到如下的錯(cuò)誤

Error 0xc02020f4: Data Flow Task: The column "Tel" cannot be processed because more than one code page (936 and 1252) are specified for it.
(SQL Server Import and Export Wizard)

是因?yàn)閮蛇叺臄?shù)據(jù)庫(kù)的Collation設(shè)置不一樣造成的，需要設(shè)置同樣的Collation。

• 用時(shí)約1分30秒

02.使用Generate Scripts生成腳本

在源數(shù)據(jù)庫(kù)上右鍵，選擇Task -> Geneate Scripts...

配置相關(guān)信息，注意選擇數(shù)據(jù)庫(kù)的版本并將Script Data設(shè)置成True。

這里需要注意，因?yàn)橛?00萬(wàn)的數(shù)據(jù)，所以導(dǎo)出的SQL文件就有400多M，所以用SQL Server Management Studio是打不開(kāi)的。

所以只能使用sqlcmd執(zhí)行。

sqlcmd語(yǔ)句 1?C:\>sqlcmd?-i?export.sql?-d?ExportDataDemo_Destination?-s?192.168.21.165?-U?sa?-P?1234567890

• 用時(shí)約28分鐘

?03.使用BCP進(jìn)行導(dǎo)出導(dǎo)入

在嘗試了前面兩個(gè)效率低下的工具之后，我們終于開(kāi)始嘗試下SQL Server中專(zhuān)門(mén)用于導(dǎo)數(shù)據(jù)的工具：BCP。

關(guān)于BCP的詳細(xì)用法可以參見(jiàn)MSDN的幫助文檔。

我們先使用BCP導(dǎo)出數(shù)據(jù)。

-U和-P后面分別為數(shù)據(jù)庫(kù)的用戶(hù)名和密碼。

我們可以看到100萬(wàn)的數(shù)據(jù)導(dǎo)出僅用了1.8秒。

現(xiàn)在我們?cè)偈褂肂CP進(jìn)行導(dǎo)入。

執(zhí)行后發(fā)現(xiàn)，導(dǎo)入數(shù)據(jù)使用了20.8秒，還是很快的。

• 用時(shí)1.872秒+20.810秒=22.682秒

?04.使用SqlBulkCopy

.NET Framework 2.0中增加的SqlBulkCopy類(lèi)可以進(jìn)行高效的數(shù)據(jù)遷移動(dòng)作，這也為代碼實(shí)現(xiàn)數(shù)據(jù)遷移提供了接口。

并且SqlBulkCopy類(lèi)提供了修改字段Mapping關(guān)系的方法ColumnMappings。

使用SqlBulkCopy類(lèi)進(jìn)行數(shù)據(jù)遷移 ?1?using?System;
?2?using?System.Data;
?3?using?System.Data.SqlClient;
?4?
?5?namespace?BulkInsert
?6?{
?7?????static?class?Program
?8?????{
?9?????????static?void?Main()
10?????????{
11?????????????DateTime?dateTimeStart?=?DateTime.Now;
12?????????????Console.WriteLine("Start?Insert:"?+?dateTimeStart.ToString("HH:mm:ss?fff"));
13?????????????//導(dǎo)入導(dǎo)出的數(shù)據(jù)庫(kù)連接
14?????????????SqlConnection?connectionDestination?=?new?SqlConnection("Server?=.;?User?ID=datascan;?Password=DTSbsd7188228;?Initial?CataLog=ExportDataDemo_Destination;");
15?????????????SqlConnection?connectionSource?=?new?SqlConnection("Server?=.;?User?ID=datascan;?Password=DTSbsd7188228;?Initial?CataLog=ExportDataDemo_Source;");
16?
17?????????????//實(shí)例化一個(gè)SqlBulkCopy
18?????????????var?bulker?=?new?SqlBulkCopy(connectionDestination)?{?DestinationTableName?=?"DEMOTABLE",?BulkCopyTimeout?=?600?};
19?
20?????????????//獲取源數(shù)據(jù)庫(kù)的數(shù)據(jù)
21?????????????SqlCommand?sqlcmd?=?new?SqlCommand("SELECT?*?FROM?DEMOTABLE",?connectionSource);
22?????????????SqlDataAdapter?sqlDataAdapter?=?new?SqlDataAdapter(sqlcmd);
23?????????????DataTable?dataTableSource?=?new?DataTable();
24?????????????sqlDataAdapter.Fill(dataTableSource);
25?
26?????????????//可以重新定義字段的Mapping關(guān)系
27?????????????//SqlBulkCopyColumnMapping?sqlBulkCopyColumnMapping?=?new?SqlBulkCopyColumnMapping("COL1",?"NEW_COL1");
28?????????????//bulker.ColumnMappings.Add(sqlBulkCopyColumnMapping);
29?????????????connectionDestination.Open();
30?????????????bulker.WriteToServer(dataTableSource);
31?????????????bulker.Close();
32?????????????DateTime?dateTimeEnd?=?DateTime.Now;
33?????????????Console.WriteLine("Insert?Ending:"?+?dateTimeEnd.ToString("HH:mm:ss?fff"));
34?????????}
35?????}
36?}

執(zhí)行后

• 用時(shí)14.8秒

05.使用Linked Server進(jìn)行數(shù)據(jù)遷移

先在源數(shù)據(jù)庫(kù)上對(duì)目標(biāo)數(shù)據(jù)庫(kù)建立Linked Server，或者反過(guò)來(lái)也行。

建立Linked Server 1?EXEC?sp_addlinkedserver?@server?=?'LinkedServerToDemo',
2?????@srvproduct?=?'Export?Data?Testing',?@provider?=?'MSDASQL',
3?????@provstr?=?'DRIVER={SQL?Server};SERVER=192.168.21.165;UID=sa;PWD=password;'

?

是用INSERT INTO...SELECT...進(jìn)行導(dǎo)入 ?1?DECLARE?@begin_date?DATETIME
?2?DECLARE?@end_date?DATETIME
?3?SELECT??@begin_date?=?GETDATE()
?4?
?5?INSERT??INTO?LinkedServerToDemo.ExportDataDemo_Destination.dbo.DEMOTABLE
?6?????????SELECT??*
?7?????????FROM????ExportDataDemo_Source.dbo.DEMOTABLE
?8?????????
?9?SELECT??@end_date?=?GETDATE()
10?SELECT??DATEDIFF(ms,?@begin_date,?@end_date)?AS?'用時(shí)/毫秒'?

執(zhí)行用時(shí)

• 用時(shí)7.97分鐘

06.使用RedGate的SQL Data Compare進(jìn)行數(shù)據(jù)遷移

第三方的工具，有數(shù)據(jù)庫(kù)結(jié)構(gòu)比較的工具SQL Compare和數(shù)據(jù)比較工具SQL Data Compare。

執(zhí)行

因?yàn)橐彩巧蒊NSERT的SQL執(zhí)行的，所以就不做過(guò)多比較了，上面已經(jīng)測(cè)試過(guò)了。

07.結(jié)果對(duì)比

因?yàn)檫@里測(cè)試的環(huán)境有網(wǎng)絡(luò)和表結(jié)構(gòu)的特殊情況，不能說(shuō)明所有情況下效能的差異，但是也可作為參考之用。

下面給出比較結(jié)果。

?

總結(jié)

以上是生活随笔為你收集整理的不同版本的SQL Server之间数据导出导入的方法及性能比较的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。