一看居然兩三個月沒寫博文了。湊。最近去考了個試，老天保佑吧。

今天有個同事跑來問我，我之前寫的數據同步工具支不支持 PostgreSQL。

然后跟我講了他的需求。感覺我隨手寫的小東西開始變成整個部門的標準方案了。。。這讓我有點惶恐。君要臣死，臣不得不死啊。

那么換驅動，兼容不同的sqlsever，mysql 這些都是老生常談了。無非就是再加上 PostgreSQL 的驅動而已。

但是所有事情要是那么簡單就好了。

首先，我們來百度 PostgreSQL 的批量插入。因為是數據同步，所以對性能還是又一定要求的。

當我們在百度上搜索批量插入 自然應該都會找到這篇。

你會發現同樣的文章有很多的人轉載(抄襲)甚至連個轉載聲明都沒有。唉。很多人創作的心態就是被這些抄襲的人搞炸的。

按照文中的代碼段思路，是將泛型List 轉換為 DataTable 然后直接使用二進制導入的API導入。

此時我按文中代碼實現卻拋出了異常。我想該不會是因為文章是2016年的太老了吧。

22021: invalid byte sequence for encoding "UTF8": 0x00

這個百度一下看起來是因為字符的編碼問題。我花了一上午來嘗試從這個角度解決這個問題，全部無果而終。

這里的心酸和彎路就不提了。

然后我仔細的看了看我 mysql 源庫的數據類型和 pgsql 的類型，發現 pgsql 大部分用的是 varcher。也就是我把大部分 mysql bigint 的值寫入了 pgsql 的varchar。

結合我在 stackoverflow上看到的零星解釋，我覺得和這個也許有些關系。然后我對照 mysql 調整了 pgsql 的字段類型。

本來我都以為要成功了。然后錯誤變成了：

22P03: incorrect binary data format

我心態要崩了。你說這個誰懂啊！！！我在考慮要不要開一下 pgsql 的日志。

然后我看了看?NpgsqlBinaryImporter 其他的 api。發現注釋里寫的?WriteRow 方法相當于循環調用?Write 方法。(？？？這也太

然后看 Write 方法有些重載：

public void Write([AllowNullAttribute] T value, NpgsqlDbType npgsqlDbType);public void Write([AllowNullAttribute] T value, string dataTypeName);

NpgsqlDbType 這個參數引起了我的注意。合著 WriteRow 寫一組object。那對應的類型它肯定是取不對的 = =。

此時我的心底燃起了希望之火，那么。我們就換這個api來插入數據，代碼如下：

var commandFormat = string.Format(CultureInfo.InvariantCulture, "COPY {0} FROM STDIN (FORMAT BINARY)", TableName);using (var writer = (db.Connection asNpgsqlConnection).BeginBinaryImport(commandFormat))

{foreach (DataRow row indt.Rows)

{

writer.StartRow();foreach (DataColumn coll inrow.Table.Columns)

{var colldbtype =coll.DataType.Name.ToString();

NpgsqlTypes.NpgsqlDbType pgtype=NpgsqlTypes.NpgsqlDbType.Bigint;if (colldbtype.ToLower().Contains("int64")) { pgtype =NpgsqlTypes.NpgsqlDbType.Bigint; }if (colldbtype.ToLower().Contains("string")) { pgtype =NpgsqlTypes.NpgsqlDbType.Varchar; }if (colldbtype.ToLower().Contains("datetime")) { pgtype =NpgsqlTypes.NpgsqlDbType.Date; }

writer.Write(item[coll.ColumnName], pgtype);

}

}

writer.Complete();

ok，成功。

這種方法的重點是 這里計算的 pgtype 與庫中的字段格式必須對應。

總結

以上是生活随笔為你收集整理的postgresql批量插入数据脚本_每日踩坑 2020-11-04 PostgreSQL 批量插入数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。