背景

2010年 google 發表了一篇論文《Dremel: Interactive Analysis of Web-Scale Datasets》，介紹了其 Dermel 系統是如何利用列式存儲管理嵌套數據的，嵌套數據就是層次數據，如定義一個班級，班級由同學組成，同學的信息有學號、年齡、身高等。

Parquet 是 Dremel 的開源實現，作為一種列式存儲文件格式，2015年稱為 Apache 頂級項目，后來被 Spark 項目吸收，作為 Spark 的默認數據源，在不指定讀取和存儲格式時，默認讀寫 Parquet 格式的文件。

今天不介紹嵌套數據是如何映射到每一列了，簡單來說就是把不同層級的屬性拍到一級，類似降維打擊。這樣，一個嵌套數據可以看成獨立的多個屬性，每一個屬性就是一列，和表結構差不多。

寫流程

雖然是按列存儲，但數據是一行一行來的，那什么時候將內存中的數據寫文件呢？我們知道文件只能順序寫，假如每收到一行數據就寫入磁盤，那就是行式存儲了。

一個解決方案是為每個列開一個文件，假如數據有 n 個屬性，就需要 n 個文件，每次寫數據就需要追加到 n 個文件中。但是對于文件格式來說，用戶肯定希望把復雜的數據存到一個文件中，而不希望管理一堆小文件（可以想象你做了一個ppt，每一頁存成了一個文件），所以一個 Parquet 文件中必須存儲數據的所有屬性。

另一個解決方案是在內存中緩存一些數據，等緩存到一定量后，將各個列的數據放在一起打包，這樣各個包就可以按一定順序寫到一個文件中。這就是列式存儲的精髓：按列緩存打包。

文件格式

按照上邊這種方式，Parquet 在每一列內也需要分成一個個的數據包，這個數據包就叫 Page，Page 的分割標準可以按數據點數（如每1000行數據打成一個 Page），也可以按空間占用（如每列的數據攢到8KB合成一個 Page）。

一個 Page 的數據就是一列，類型相同，在存儲到磁盤之前一般都會進行編碼壓縮，為了快速查詢、也為了解壓縮這一個 Page，在寫的時候先統計一下最大最小值，叫做 PageHeader，存儲在 Page 的開頭，其實就是 Page 的 元數據（metadata）。PageHeader 后邊就是數據了，讀取一個 Page 時，可以先通過 PageHeader 進行過濾。

Parquet 又把多個 Page 放在一起存儲，叫 Column Chunk。于是，每一列都由多個 Column Chunk 組成，并且也有其對應的 ColumnChunk Metadata。注意，這只是一個完整數據的一個屬性，一個數據的多個屬性要放在多個 Column Chunk 的，這多個 Column Chunk 放在一起就叫做一個 Row Group。

下邊這就是 Parquet 官方介紹：

magic number 就類似水印，最后有整個文件的 Metadata。還是看圖吧，Parquet 的官方文件格式圖是下面這樣的：

左邊是數據，右邊是 File Metadata。如果覺得太復雜了，可以看我畫的簡潔版：

是不是清爽很多！File Metadata 中有對應的 Row Group Metadata，里面還有 Column Chunk Metadta，和數據的組織形式類似，就不展開畫了。

Parquet 的接口就不介紹了，有興趣的去吧：

https://github.com/apache/parquet-format

列式存儲文件格式到底有多列，取決于每列在內存中緩存的數據量，由于同一列的各個 Page 相互獨立，如果每個 Page 只緩存一個數據點，就退化成行式存儲了（比行式存儲還差）。因此，列式存儲有一個需要注意的就是列不能太多，這是個大坑。

總結

以上是生活随笔為你收集整理的Parquet格式描述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。