一、 MVCC常用實現(xiàn)方法

一般MVCC有2種實現(xiàn)方法：

• 寫新數(shù)據(jù)時，把舊數(shù)據(jù)快照存入其他位置（如oracle的回滾段、sqlserver的tempdb）。當(dāng)讀數(shù)據(jù)時，讀的是快照的舊數(shù)據(jù)。
• 寫新數(shù)據(jù)時，舊數(shù)據(jù)不刪除，直接插入新數(shù)據(jù)。PostgreSQL就是使用的這種實現(xiàn)方法。

1. PostgreSQL的MVCC實現(xiàn)方式優(yōu)缺點

優(yōu)點

• 無論事務(wù)進行了多少操作，事務(wù)回滾可以立即完成
• 數(shù)據(jù)可以進行很多更新，不必像Oracle和MySQL的Innodb引擎需要保證回滾段不會被用完，也不會經(jīng)常遇到“ORA-1555”錯誤的困擾

缺點

• 舊版本的數(shù)據(jù)需要清理。當(dāng)然，PostgreSQL 9.x版本中已經(jīng)增加了自動清理的輔助進程來定期清理
• 舊版本的數(shù)據(jù)可能會導(dǎo)致查詢需要掃描的數(shù)據(jù)塊增多，從而導(dǎo)致查詢變慢

2. PostgreSQL中MVCC的實現(xiàn)思路

為了實現(xiàn)MVCC機制，必須要：

• 定義多版本的數(shù)據(jù)——使用元組頭部信息的字段來標(biāo)示元組的版本號
• 定義數(shù)據(jù)的有效性、可見性、可更新性——通過當(dāng)前的事務(wù)快照和對應(yīng)元組的版本號判斷
• 實現(xiàn)不同的數(shù)據(jù)庫隔離級別——通過在不同時機獲取快照實現(xiàn)

下面我們分別來看，首先了解一些基本概念。

二、 基本概念

1. 事務(wù)標(biāo)識

當(dāng)事務(wù)開始（執(zhí)行begin第一條命令時），事務(wù)管理器會為該事務(wù)分配一個txid（transaction id）作為唯一標(biāo)識符。txid是一個32位無符號整數(shù)，取值空間大小約42億（2^32-1）。

txid可通過txid_current()函數(shù)獲取

testdb=# BEGIN; BEGIN testdb=# SELECT txid_current();txid_current --------------100 (1 row)

三個特殊的txid

• 0：InvalidTransactionId，表示無效的事務(wù)ID
• 1：BootstrapTransactionId，表示系統(tǒng)表初始化時的事務(wù)ID，比任何普通的事務(wù)ID都舊。
• 2：FrozenTransactionId，凍結(jié)的事務(wù)ID，比任何普通的事務(wù)ID都舊。
• 大于2的事務(wù)ID都是普通的事務(wù)ID。

事務(wù)間的可見性

txid間可以相互比較大小，任何事務(wù)只可見txid＜其自身txid的事務(wù)修改結(jié)果。但txid并不是無限的，當(dāng)42億數(shù)據(jù)用盡之后又應(yīng)該如何判斷可見性？這個問題我們下篇再討論。

2. 元組結(jié)構(gòu)

pg中元組由三部分組成——元組頭結(jié)點、空值位圖、用戶數(shù)據(jù)。

官方文檔中解釋如下?PostgreSQL: Documentation: 9.6: Database Page Layout

FieldTypeLengthDescription

t_xmin	TransactionId	4 bytes	insert XID stamp
t_xmax	TransactionId	4 bytes	delete XID stamp
t_cid	CommandId	4 bytes	insert and/or delete CID stamp (overlays with t_xvac)
t_xvac	TransactionId	4 bytes	XID for VACUUM operation moving a row version
t_ctid	ItemPointerData	6 bytes	current TID of this or newer row version
t_infomask2	uint16	2 bytes	number of attributes, plus various flag bits
t_infomask	uint16	2 bytes	various flag bits
t_hoff	uint8	1 byte	offset to user data

其中與MVCC相關(guān)的重要信息為：

• t_xmin：保存插入該元組的事務(wù)txid（該元組由哪個事務(wù)插入）
• t_xmax：保存更新或刪除該元組的事務(wù)txid。若該元組尚未被刪除或更新，則t_xmax=0，即invalid
• t_cid：保存命令標(biāo)識（command id,cid），指在該事務(wù)中，執(zhí)行當(dāng)前命令之前還執(zhí)行過幾條sql命令（從0開始計算）
• t_ctid：一個指針，保存指向自身或新元組的元組的標(biāo)識符（tid）。

當(dāng)更新該元組時，t_ctid會指向新版本元組。若元組被更新多次，則該元組會存在多個版本，各版本通過t_cid串聯(lián)，形成一個版本鏈。通過這個版本鏈，可以找到最新的版本。t_ctid是一個二元組（頁號,頁內(nèi)偏移量），其中頁號從0開始，頁內(nèi)偏移量從1開始。

pg提供了pageinspect插件，可查看指定表對應(yīng)的page header內(nèi)容

testdb=# CREATE EXTENSION pageinspect; CREATE EXTENSION testdb=# CREATE TABLE tbl (data text); CREATE TABLE testdb=# INSERT INTO tbl VALUES('A'); INSERT 0 1 testdb=# SELECT lp as tuple, t_xmin, t_xmax, t_field3 as t_cid, t_ctid FROM heap_page_items(get_raw_page('tbl', 0));tuple | t_xmin | t_xmax | t_cid | t_ctid -------+--------+--------+-------+--------1 | 99 | 0 | 0 | (0,1) (1 row)

三、 元組的增、刪、改

1. 插入

插入操作最簡單，直接將新元組插入目標(biāo)表中頁面即可

插入操作的過程和結(jié)果分析：

• t_xmin 被設(shè)置為99，表示插入該元組的txid
• t_xmax 被設(shè)置為0，因為該元組還未被更新或刪除過
• t_cid 被設(shè)置為0，因為這是該事務(wù)的第一條命令
• t_ctid 指向自身，被設(shè)置為（0,1），表示該元組位于0號page的第1個位置上

2. 刪除

pg的刪除只是將目標(biāo)元組在邏輯上標(biāo)為刪除（將t_xmax設(shè)為執(zhí)行delete命令的事務(wù)txid），實際該元組依然存在于數(shù)據(jù)庫的存儲頁面，直至該元組被清理進程清理掉。

刪除操作的過程和結(jié)果分析：

• t_xmin 不變，表示插入該元組的txid
• t_xmax 被設(shè)置為111，即刪除該元組的txid
• t_cid 被設(shè)置為0，因為這是該事務(wù)的第一條命令
• t_ctid 指向自身，被設(shè)置為（0,1），表示該元組位于0號page的第1個位置上

當(dāng)txid=111的事務(wù)提交時，tuple_1就不再需要了，稱為dead tuple。但是這個tuple依然殘留在頁面上， 隨著數(shù)據(jù)庫的運行，這種死元組越來越多，它們會在VACUUM時最終被清理掉。

3. 更新

pg不會直接修改數(shù)據(jù)，而是將目標(biāo)元組標(biāo)記為刪除，并插入一條新元組，同時修改t_ctid執(zhí)行新版本元組。

更新操作的過程和結(jié)果分析

首先看第一條update：

Tuple_1

• t_xmin 不變，表示插入該元組的txid
• t_xmax 被設(shè)置為100，即刪除該元組的txid
• t_cid 被設(shè)置為0，因為這是該事務(wù)的第一條命令
• t_ctid 指向新版本元組，被設(shè)置為（0,2），表示新元組位于0號page的第2個位置上

Tuple_2

• t_xmin 被設(shè)置為100，表示插入該元組的txid
• t_xmax 被設(shè)置為0，因為該元組還未被更新或刪除過
• t_cid 被設(shè)置為0，因為這是該事務(wù)的第一條命令（雖然又刪又增，實際都是一條update操作的）
• t_ctid 指向自身，被設(shè)置為（0,2），表示該元組位于0號page的第2個位置上

再看第二條update：

Tuple_2

• t_xmin 不變，表示插入該元組的txid
• t_xmax 被設(shè)置為100，即刪除該元組的txid
• t_cid 被設(shè)置為1，因為這是該事務(wù)的第二條命令
• t_ctid 指向新版本元組，被設(shè)置為（0,3），表示新元組位于0號page的第3個位置上

Tuple_3

• t_xmin 被設(shè)置為100，表示插入該元組的txid
• t_xmax 被設(shè)置為0，因為該元組還未被更新或刪除過
• t_cid 被設(shè)置為1，因為這是該事務(wù)的第二條命令
• t_ctid 指向自身，被設(shè)置為（0,3），表示該元組位于0號page的第3個位置上

四、 提交日志

pg在提交日志（commit log,CLOG）中保存事務(wù)的狀態(tài)。

1. 事務(wù)狀態(tài)

pg定義了四種事務(wù)狀態(tài)——IN_PROGRESS, COMMITTED, ABORTED和SUB_COMMITTED，其中SUB_COMMITTED狀態(tài)用于子事務(wù)，此處不討論。

#define TRANSACTION_STATUS_IN_PROGRESS 0x00 #define TRANSACTION_STATUS_COMMITTED 0x01 #define TRANSACTION_STATUS_ABORTED 0x02 #define TRANSACTION_STATUS_SUB_COMMITTED 0x03

四種事務(wù)狀態(tài)僅需兩個bit即可記錄。以一個塊8KB為例，可以存儲8KB*8/2 = 32K個事務(wù)的狀態(tài)。內(nèi)存中緩存CLOG的buffer 大小為Min(128,Max(4,NBuffers/512))。

2. 工作原理

CLOG在邏輯上是一個數(shù)組，由共享內(nèi)存中一系列8K頁面組成。數(shù)組下標(biāo)對應(yīng)事務(wù)txid，數(shù)組內(nèi)容則為事務(wù)狀態(tài)：

• T1時刻：txid=200事務(wù)提交，對應(yīng)狀態(tài)從IN_PROGRESS改為COMMITED
• T2時刻：txid=201事務(wù)回滾，對應(yīng)狀態(tài)從IN_PROGRESS改為ABORTED

當(dāng)需要獲取事務(wù)狀態(tài)時，pg調(diào)用內(nèi)部函數(shù)讀取CLOG返回所請求事務(wù)狀態(tài)，詳情參考下篇——提示位。

3. CLOG的維護

當(dāng)shutdown pg或Checkpoint運行時，CLOG數(shù)據(jù)會由內(nèi)存寫入pg_clog（pg 10后叫pg_xact）目錄中的文件。這些文件被命名為0000,0001，最大256KB。當(dāng)pg啟動時，會加載這些文件用于初始化CLOG。

CLOG數(shù)據(jù)會不斷增長，但并非所有數(shù)據(jù)都是必要的，清理過程也會定期清理掉不再需要的CLOG頁面和文件。

參考

《postgresql實戰(zhàn)》

The Internals of PostgreSQL : Chapter 5 Concurrency Control

PgSQL· 引擎特性 · 多版本并發(fā)控制介紹及實例分析

PgSQL · 特性分析 · MVCC機制淺析

PgSQL · 引擎特性 · PostgreSQL Hint Bits 簡介

PostgreSQL: Documentation: 10: 67.6.?Database Page Layout

總結(jié)

以上是生活随笔為你收集整理的pg事务篇（一）—— 事务与多版本并发控制MVCC的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。