提高SQLITE 大数据量操作效率的方法
SQLite 作為一個輕量級嵌入式數據庫,還是非常好用的。
批量插入1000條記錄,居然耗時 2 分鐘!以下是測試代碼
using System.Data;
using System.Data.Common;
using System.Data.SQLite;
// 創建數據庫文件
File.Delete("test1.db3");
SQLiteConnection.CreateFile("test1.db3");
DbProviderFactory factory = SQLiteFactory.Instance;
using (DbConnection conn = factory.CreateConnection())
{
? // 連接數據庫
? conn.ConnectionString = "Data Source=test1.db3";
? conn.Open();
? // 創建數據表
? string sql = "create table [test1] ([id] INTEGER PRIMARY KEY, [s] TEXT COLLATE NOCASE)";
? DbCommand cmd = conn.CreateCommand();
? cmd.Connection = conn;
? cmd.CommandText = sql;
? cmd.ExecuteNonQuery();
? // 添加參數
? cmd.Parameters.Add(cmd.CreateParameter());
?
? // 開始計時
? Stopwatch watch = new Stopwatch();
? watch.Start();
?
? // 連續插入1000條記錄
? for (int i = 0; i < 1000; i++)
? {
??? cmd.CommandText = "insert into [test1] ([s]) values (?)";
??? cmd.Parameters[0].Value = i.ToString();
??? cmd.ExecuteNonQuery();
? }
? // 停止計時
? watch.Stop();
? Console.WriteLine(watch.Elapsed);
}
一個常識性的錯誤,我加幾行代碼 (新增代碼標記 "// <-------------------")。
下面是改進代碼
using System.Data;
using System.Data.Common;
using System.Data.SQLite;
// 創建數據庫文件
File.Delete("test1.db3");
SQLiteConnection.CreateFile("test1.db3");
DbProviderFactory factory = SQLiteFactory.Instance;
using (DbConnection conn = factory.CreateConnection())
{
? // 連接數據庫
? conn.ConnectionString = "Data Source=test1.db3";
? conn.Open();
? // 創建數據表
? string sql = "create table [test1] ([id] INTEGER PRIMARY KEY, [s] TEXT COLLATE NOCASE)";
? DbCommand cmd = conn.CreateCommand();
? cmd.Connection = conn;
? cmd.CommandText = sql;
? cmd.ExecuteNonQuery();
? // 添加參數
? cmd.Parameters.Add(cmd.CreateParameter());
?
? // 開始計時
? Stopwatch watch = new Stopwatch();
? watch.Start();
?
? DbTransaction trans = conn.BeginTransaction(); // <-------------------
? try
? {
??? // 連續插入1000條記錄
??? for (int i = 0; i < 1000; i++)
??? {
????? cmd.CommandText = "insert into [test1] ([s]) values (?)";
????? cmd.Parameters[0].Value = i.ToString();
????? cmd.ExecuteNonQuery();
??? }
??? trans.Commit(); // <-------------------
? }
? catch
? {
??? trans.Rollback(); // <-------------------
??? throw; // <-------------------
? }
? // 停止計時
? watch.Stop();
? Console.WriteLine(watch.Elapsed);
}
執行一下,耗時 0.2 秒。這差距是不是太大了點??
為什么只是簡單啟用了一個事務會有這么大的差距呢?很簡單,SQLite 缺省為每個操作啟動一個事務,那么原代碼 1000 次插入起碼開啟了 1000 個事務,"事務開啟 + SQL 執行 + 事務關閉" 自然耗費了大量的時間,這也是后面顯示啟動事務后為什么如此快的原因。其實這是數據庫操作的基本常識,大家要緊記,不好的代碼效率差的不是一點半點。
總結
以上是生活随笔為你收集整理的提高SQLITE 大数据量操作效率的方法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 深入理解 Git 的实现原理
- 下一篇: sqlite3数据库最大可以是多大?可以