DBMS設計之初便假定數據主要位于非易失性的磁盤上，畢竟內存容量有限。而磁盤的訪問速度遠遠大于內存訪問速度，因此數據庫存儲引擎一項重要工作便是：管理數據在內存與非易失性存儲之間移動，提高數據訪問速度和效率。

1.數據的組織方式

數據在磁盤上以文件形式存儲，數據庫的存儲引擎通常以固定大小的page(有的數據庫稱為block)為單位組織文件，讀寫磁盤均以page為單位。page里可以存放tuples貨metadata貨indexes等。每個page都有一個唯一標識，DBMS會維護page id到物理地址的映射關系。不同數據庫DBMS產品page大小不同，比如：SQLite 1KB, Oracle/DB2 4KB, SQL Server/PG 8KB, MySQL 16KB。

不同的DBMS組織page的方式也不同，目前較常見的方式是Heap File Organization，page以鏈表(下圖左)或page目錄(下圖右)的形式組織。

鏈表的方式可以通過記錄header page，維護data page list和free page list。目錄的方式(樹)則維護特殊索引頁，記錄數據頁位置。當然這兩種方式是可以混合用，綜合他們各自的優勢，例如MySQL的默認存儲引擎InnoDB B+樹索引的實現。

目前還有另一種流行的組織方式Log Structued File Organization。這種方式存儲log記錄，而非傳統意義上的tuple。當有insert/update/delete操作發生時，相應的記錄會追加到數據庫中。其中insert存儲tuple，delete標記要刪除的tuple，update只包含被更改的那部分信息。當需要去查詢某個記錄時，會根據對同一條記錄的操作“組裝”出最終結果，當然這里有很多優化策略和手段(建索引、compact等)，LevelDB，Hbase，RocksDB都是以這種形式存儲組織數據的。

2.DBMS如何在內存和磁盤之間移動數據

數據以page為單位讀入內存、寫入磁盤，那么數據的移動何時發生，如何操作呢？OS的mmap功能可以將文件映射到內存，那么能不能直接利用OS的換頁機制來處理page移動呢？這么做的問題在于(1)0DBMS喪失了對page的控制權，無法合理調度讀取/刷盤。(2)OS在處理一個不在內存的OS page時會stall線程。當然一些數據庫有辦法在一定程度上規避部分問題，如早期的MongoDB。但完善的數據庫系統一般會選擇自己處理數據的移動、管理內存中的page。

數據庫在內存的buffer pool便是用來緩存磁盤中讀取上來的page。buffer pool 同樣以page大小管理組織內存塊，這樣一塊內存被稱為frame。當DBMS需要時，會將磁盤中的page拷貝到一個frame中。當然有一個page table會記錄內存中的所有page及相關的元信息(Dirty Flag、PIN counter等)。不少數據庫不只有一個buffer pool。

那么哪些page會被載入內存呢？當查詢的目標數據所在page不在內存時，會去磁盤讀取，并放入buffer pool緩存，以備后用。這其中有很多優化策略。例如：(1)pre-fetch，即根據數據排列順序或索引順序預取后續page到內存，這對scan查詢有很好的優化效果。(2)scan sharing，查詢結果被多個相似的查詢重用或某個表的cursor被多個查詢復用。

而buffer pool滿了后需要換頁，一般選擇LRU及其各類優化版本。

總結

以上是生活随笔為你收集整理的mysql 文件组织_数据库如何组织数据？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。