Data skew 很好理解，即數據傾斜?，F實中的數據很多都不是正態分布的，譬如城市人口，東部沿海一個市的人口與西部地區一個市地區的人口相比，東部城市人口會多好幾倍。
postgresql的skew的優化核心思想是"避免磁盤IO"。
優化器往往會選擇小表和正態分布的表做inner table，這會導致 outer table要不更大，要不是非正態分布。如果outer table的表是非正態分布的話，會在batch0來處理那些most common value（MCV）
大致過程如下：
1、prepare skew hash table

• 確定skew hash table大小，默認分配2%內存
• 獲取outer table的MCV統計信息，對于每個mcv計算其hash值，并放到對應的skew hash bucket中。由于此時沒有處理inner table，所以bucket應該指向NULL。如果產生hash 沖突，采用線性掃描發，當前slot被占用，則尋找下一個可以占用的slot。
• 填充skew hash table：掃描inner table構建 main hashtable。如果tuple屬于skew hash table，且對應的slot不為空，那就將tuple加入skew hash table，而非main hashtable。
  之后就是掃描outer table的probe階段了。
  若該tuple是MCV tuple，則到skew hash table中去尋找匹配。
  否則就進到hybrid hash join算法的處理邏輯中。

這樣做的好處是，50%的mcv在batch0階段就處理好了，就可以節約50%的磁盤IO。
(也就是說把常見數據放到了batch0中匹配，而且在batch0的處理是不需要從disk load 數據的，從而減少了IO)
參考：
全面解讀PostgreSQL和Greenplum的Hash Join

總結

以上是生活随笔為你收集整理的postgresql对于HashJoin算法的Data skew优化与MCV处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。