原文鏈接：https://zhuanlan.zhihu.com/p/174469951

本篇將 Hive 的優(yōu)化分成三個部分:

• 第一部分是 SQL 通用語法優(yōu)化，
• 第二部分是針對 Hive 所具有的數(shù)據(jù)傾斜的優(yōu)化，
• 第三部分則介紹一些通用性的 Hive 參數(shù)設(shè)置優(yōu)化。

一、語法優(yōu)化

SQL 的語法優(yōu)化本質(zhì)上是如何用更少的計算資源干相同的活，基于此延伸出幾條原則，這幾條原則又拓展出對應(yīng)的一些具體方法：

原則1：取更少的數(shù)

這條原則特別樸素，只要數(shù)據(jù)量少了運(yùn)算的效率自然會提升，但如何能夠取更少數(shù)的同時不影響結(jié)果呢？

1、不要用 select *

這條不多說了，一些寬表少則二三十，多則上百列，而實際絕大多數(shù)都是我們不需要的，在 select 時只挑選后續(xù)需要用到字段而不是 select *，那么運(yùn)算時間會成倍減少。

2、謂詞下推

謂詞下推指：

將過濾表達(dá)式盡可能移動至靠近數(shù)據(jù)源的位置，以使真正執(zhí)行時能直接跳過無關(guān)的數(shù)據(jù)。

簡單來說就是把 where 語句盡可能挪到最底層的位置，在最底層就把不需要的數(shù)據(jù)都過濾掉，然后讓真正需要的數(shù)據(jù)參與運(yùn)算，而不是留到最后才進(jìn)行過濾。

根據(jù)謂詞下推的思想，可對下面的代碼進(jìn)行優(yōu)化：

select t1.name, t2.age, t2.class, t2.income from t1 join t2 on t1.id = t2.id where t2.age > 18

優(yōu)化后：

select t1.name, t2.age, t2.class, t2.income from t1
join
(select id, age, class, income from t2 where id > 18) t2
on t1.id = t2.id

3、多用子查詢

基于謂詞下推的思想，我們還可以做進(jìn)一步的優(yōu)化，即多用子查詢，上面的代碼可進(jìn)一步優(yōu)化成如下樣子：

select t1.name, t2.age, t2.class, t2.income from
(select id, name from t1) t1
join
(select id, age, class, income from t2 where age > 18) t2
on t1.id = t2.id

采用子查詢后，盡管會增加 job 數(shù)但提前把數(shù)據(jù)完成了過濾，還提高了代碼的可讀性，尤其是當(dāng)需要關(guān)聯(lián)的表和條件成倍增加后，可讀性將會非常重要。

4、子查詢的去重

當(dāng)子查詢的表中所需的字段存在重復(fù)值，那么對這些字段提前進(jìn)行去重再進(jìn)行關(guān)聯(lián)同樣會提高運(yùn)算效率。還是以上面的代碼為例：

select t1.name, t2.age, t2.class, t2.income from
(select id, name from t1) t1
join
(select id, age, class, income from t2 where age > 18 group by id, age, class, income) t2
on t1.id = t2.id

至于為什么用 group by 而不是 distinct 去重會在數(shù)據(jù)傾斜部分進(jìn)行解釋。

5、過濾null值

當(dāng)關(guān)聯(lián)所用到的字段包含了太多 null 時，需要從業(yè)務(wù)的角度考慮這些為 null 的數(shù)據(jù)是否有存在的必要，如果不必要的話盡早過濾掉，避免影響關(guān)聯(lián)的效率。

如果確實需要用到，則可用 rand() 把數(shù)據(jù)均勻分布在不同的 reduce 上，避免數(shù)據(jù)傾斜，詳細(xì)可見第二部分，此處僅列出代碼：

select
n.*,
o.name
from
nullidtable n
full join
bigtable o
on nvl(n.id,rand())=o.id

原則2：不排序

SQL 中進(jìn)行排序是要消耗計算資源的，在 Hive 中這種資源消耗會更加明顯。子查詢里不要排序這一點就不多說了，子查詢中排序是毫無意義的，同時在最后的結(jié)果步也盡可能少排序，排序這需求完全可以通過交互查詢的UI或把結(jié)果數(shù)據(jù)導(dǎo)出進(jìn)行替代解決。當(dāng)然，如果進(jìn)行查詢時沒有UI系統(tǒng)，或者不方便把數(shù)據(jù)導(dǎo)出，或者你就是想即時看到數(shù)據(jù)的排序情況，就當(dāng)這條建議不存在就好，但在子查詢里排序仍然還是毫無意義的。

原則3：分步

該原則主要目的是把大數(shù)據(jù)集拆成小數(shù)據(jù)集來運(yùn)行。

1、減少在 selec 時用 case when

有時出結(jié)果時需要用 case when 進(jìn)行分類輸出，如下面例子

select
dt,
count(distinct case when id=1 then user_id else null end) as id_1_cnt,
count(distinct case when id=2 then user_id else null end) as id_2_cnt
from table_1
where dt between '20200511' and '20200915'
group by dt

但是實測發(fā)現(xiàn) case when 的執(zhí)行效率很低，當(dāng)數(shù)據(jù)量太大的時候甚至?xí)懿怀鰯?shù)，因此上面的代碼可優(yōu)化成如下形式：

select
t1.dt,
t1.id_1_cnt,
t2.id_2_cnt
from
(select
dt,
count(distinct user_id) as id_1_cnt
from table_1
where dt between '20200511' and '20200915' and id=1
group by dt) t1
left join
(select
dt,
count(distinct user_id) as id_2_cnt
from table_1
where dt between '20200511' and '20200915' and id=2
group by dt) t2
on t1.dt=t2.dt

當(dāng)數(shù)據(jù)量很大或者 select 時有太多的 case when，采用上面的方式其執(zhí)行效率會提高 10 倍以上。

2、多用臨時表

當(dāng)需要建的表其邏輯非常復(fù)雜時，需要考慮用臨時表的方式把中間邏輯分布執(zhí)行，一來方便閱讀、修改和維護(hù)，二來減少硬盤的開銷(相較于建中間表的方式)。

3、where+union all

當(dāng)需要根據(jù)某字段分類匯總時發(fā)現(xiàn)運(yùn)行速度很慢甚至跑不出結(jié)果，那么有可能是因為某一類型的數(shù)據(jù)樣本量過大造成數(shù)據(jù)傾斜，此時可考慮通過 where 過濾 + union all 合并的方法分步統(tǒng)計和匯總來處理該問題。

優(yōu)化前：

select
age,
count(distinct id) as id_cnt
from age_table
group by age

優(yōu)化后：

select
age,
count(distinct id) as id_cnt
from age_table
where age<35
group by age
union all
select
age,
count(distinct id) as id_cnt
from age_table
where age>=35
group by age

SQL 語句的優(yōu)化方法貴精不貴多，牢記上述原則和方法在日常取數(shù)建表寫 SQL 時大部分情況下就已經(jīng)接近最優(yōu)效率了。

二、數(shù)據(jù)傾斜

在展開數(shù)據(jù)傾斜的優(yōu)化之前，需要先了解 Hive 所采用 MapReduce 的原理

以上圖為例，快速過一遍 MapReduce 的工作流程：

1、首先把需要處理的數(shù)據(jù)文件上傳到 HDFS 上，然后這些數(shù)據(jù)會被分為好多個小的分片，然后每個分片對應(yīng)一個 map 任務(wù)，推薦情況下分片的大小等于 block 塊的大小。然后 map 的計算結(jié)果會暫存到一個內(nèi)存緩沖區(qū)內(nèi)，該緩沖區(qū)默認(rèn)為 100M，等緩存的數(shù)據(jù)達(dá)到一個閾值的時候，默認(rèn)情況下是 80%，然后會在磁盤創(chuàng)建一個文件，開始向文件里邊寫入數(shù)據(jù)。
2、map 任務(wù)的輸入數(shù)據(jù)的格式是 key-value 對的形式，然后 map 在往內(nèi)存緩沖區(qū)里寫入數(shù)據(jù)的時候會根據(jù) key 進(jìn)行排序，同樣溢寫到磁盤的文件里的數(shù)據(jù)也是排好序的，最后 map 任務(wù)結(jié)束的時候可能會產(chǎn)生多個數(shù)據(jù)文件，然后把這些數(shù)據(jù)文件再根據(jù)歸并排序合并成一個大的文件。
3、然后每個分片都會經(jīng)過 map 任務(wù)后產(chǎn)生一個排好序的文件，同樣文件的格式也是 key-value 對的形式，然后通過對 key 進(jìn)行 hash 的方式把數(shù)據(jù)分配到不同的 reduce 里邊去，這樣對每個分片的數(shù)據(jù)進(jìn)行 hash，再把每個分片分配過來的數(shù)據(jù)進(jìn)行合并，合并過程中也是不斷進(jìn)行排序的。最后數(shù)據(jù)經(jīng)過 reduce 任務(wù)的處理就產(chǎn)生了最后的輸出。

簡單來說，map 階段負(fù)責(zé)不同節(jié)點上一部分?jǐn)?shù)據(jù)的統(tǒng)計工作，reduce 階段負(fù)責(zé)匯總聚合的工作。

有時一個 reduce 可以處理多個任務(wù)，但一些全局的工作只能讓一個 reduce 負(fù)責(zé)，例如統(tǒng)計總行數(shù)、distinct去重等，此時就 reduce 就不能有多個實例并發(fā)執(zhí)行，這就會造成其他 reduce 的任務(wù)已經(jīng)執(zhí)行完了，而負(fù)責(zé)全局的 reduce 還沒執(zhí)行完，這就是數(shù)據(jù)傾斜的本質(zhì)，因此避免數(shù)據(jù)傾斜的核心在于均勻分配任務(wù)。

1、數(shù)據(jù)量大的時候用group by

當(dāng)需要對數(shù)據(jù)進(jìn)行去重時，在數(shù)據(jù)量較大的情況下可以選擇用 group by 而不是 distinct，原理如下：

默認(rèn)情況下，map 階段同一 key 數(shù)據(jù)分發(fā)給一個 reduce，當(dāng)一個 key 數(shù)據(jù)過大時就會發(fā)生數(shù)據(jù)傾斜了。但是并不是所有的聚合操作都只能在 reduce 完成，很多聚合操作也可以先在 map 進(jìn)行部分聚合，最后在 reduce 端得出最終結(jié)果。

開啟 Map 端聚合參數(shù)設(shè)置

(1)是否在 Map 端進(jìn)行聚合，默認(rèn)為 true

set hive.map.aggr = true;

(2)在 Map 端進(jìn)行聚合操作的條目數(shù)目

set hive.groupby.mapaggr.checkinterval = 100000;

(3)有數(shù)據(jù)傾斜的時候進(jìn)行負(fù)載均衡(默認(rèn)是false)

set hive.groupby.skewindata = true;

當(dāng)選項設(shè)定為 true，生成的查詢計劃會有兩個MR Job。第一個MR Job中，Map 的輸出結(jié)果會隨機(jī)分布到 Reduce 中，每個 Reduce 做部分聚合操作，并輸出結(jié)果，這樣處理的結(jié)果是相同的 Group By Key 有可能被分發(fā)到不同的 Reduce 中，從而達(dá)到負(fù)載均衡的目的；第二個MR Job再根據(jù)預(yù)處理的數(shù)據(jù)結(jié)果按照 Group By Key 分布到 Reduce 中(這個過程可以保證相同的Group By Key被分布到同一個Reduce中)，最后完成最終的聚合操作。

而與之相對應(yīng)的，distinct 則只會用一個 reduce 來執(zhí)行，造成數(shù)據(jù)量過大而讓整體任務(wù)執(zhí)行時間過長或無法完成。

但是需要注意的是，用 group by 來去重會額外增加一個子查詢，只有當(dāng)數(shù)據(jù)量很大的情況或任務(wù)執(zhí)行中出現(xiàn)嚴(yán)重的數(shù)據(jù)傾斜，group by 去重后 count 才會比 count(distinct) 效率更高。

2、Mapjoin

如果不指定 MapJoin 或者不符合 MapJoin 的條件，那么 Hive 解析器會將 Join 操作轉(zhuǎn)換成 Common Join，即：在 Reduce 階段完成 join。容易發(fā)生數(shù)據(jù)傾斜。可以用 MapJoin 把小表全部加載到內(nèi)存在 map 端進(jìn)行 join，避免 reducer 處理。

(1)設(shè)置自動選擇 Mapjoin

set hive.auto.convert.join = true; 默認(rèn)為true

(2)大表小表的閾值設(shè)置(默認(rèn)25M以下認(rèn)為是小表)：

set hive.mapjoin.smalltable.filesize=25000000;

數(shù)據(jù)傾斜的處理在 Hive 優(yōu)化中是一個大課題，實際場景中所遇到的 Hive 任務(wù)執(zhí)行過長或報錯有80%都與數(shù)據(jù)傾斜有關(guān)，后續(xù)有機(jī)會的話可能專門寫一篇針對解決數(shù)據(jù)傾斜的文章。

三、參數(shù)優(yōu)化

該部分羅列了一些常用的 Hive 參數(shù)設(shè)置，并逐條做簡單介紹

1、set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveFormat;(默認(rèn)開啟)

將多個小文件打包作為一個整體的 inputsplit，減少 map 任務(wù)數(shù)

2、set hive.merge.mapfiles=true;(默認(rèn)值為真)

合并 map 端小文件的輸出

3、set hive.auto.convert.join=true;

開啟 mapjoin

4、set hive.mapjoin.smalltable.filesize=25000000; (默認(rèn)25M)

設(shè)置 mapjoin 的開啟閾值

5、set hive.optimize.skewjoin=true;

有數(shù)據(jù)傾斜的時候進(jìn)行負(fù)載均衡

6、set hive.skewjoin.key=100000;

表示當(dāng)記錄條數(shù)超過100000時采用 skewjoin 操作

7、set hive.exec.parallel=true;

多個 join 多個 union all 優(yōu)化，開啟不同 stage 任務(wù)并行計算

8、set hive.exec.parallel.thread.number=16;(默認(rèn)為8)

同一個 SQL 允許最大并行度

9、set hive.map.aggr=true;

group by 數(shù)據(jù)傾斜優(yōu)化 設(shè)置在 map 端進(jìn)行聚合

10、set hive.groupby.skewindata=true;

group by 數(shù)據(jù)傾斜優(yōu)化

11、set hive.exec.mode.local.auto=true;

開啟本地模式

12、set mapred.compress.map.output=true;

開啟中間壓縮

以上是 Hive 通用屬性的設(shè)置，下面的參數(shù)主要目的是控制 map 和 reduce 的數(shù)量，需要依情況而設(shè)定：

13、set hive.merge.smallfiles.avgsize=16000000;

平均文件大小，是決定是否執(zhí)行合并操作的閾值

14、set mapred.min.split.size.per.node=128000000;

低于 128M 就算小文件，數(shù)據(jù)在一個節(jié)點會合并，在多個不同的節(jié)點會把數(shù)據(jù)抓取過來進(jìn)行合并

15、set mapred.min.split.size.per.rack=64000000;

每個機(jī)架處理的最小 split

16、set mapred.max.split.size=256000000;

決定每個 map 處理的最大的文件大小

17、set mapred.min.split.size=10000000;

決定每個 map 處理的最小的文件大小

18、set hive.merge.size.per.task=256000000；(默認(rèn)值為256000000)

對 map 個數(shù)進(jìn)行設(shè)置

19、set mapred.reduce.tasks=10;

設(shè)置 reduce 的數(shù)量

20、set hive.exec.reducers.bytes.per.reducer=536870912;(512M)

調(diào)整每個 reduce 處理數(shù)據(jù)量的大小

以上關(guān)于 map 和 reduce 的參數(shù)需要根據(jù)實際情況設(shè)置，具體的設(shè)置邏輯礙于篇幅所限就不展開了，如果有機(jī)會的話需要單獨(dú)列一篇作詳細(xì)介紹。

除了以上的優(yōu)化方向外，還可以通過設(shè)置 Hive 的文件格式來提高效率，目前優(yōu)化做得最好的文件格式就是 ORCfile，可以在建表時通過 stored as ORC 來調(diào)用。另外，可以根據(jù)實際工作需要把一些常用的統(tǒng)計匯總邏輯用中間表的形式存儲起來，便于后續(xù)查詢。

Hive 的優(yōu)化是一個系統(tǒng)性的工作，本篇僅列一二，但是由于以后是 Spark 以及其他更優(yōu)秀引擎的天下了，所以如果以后還要對 Hive 進(jìn)行優(yōu)化，那大概就是換一個語言吧(不是)。

如果覺得還有幫助的話，你的關(guān)注和轉(zhuǎn)發(fā)是對我最大的支持，O(∩_∩)O:

總結(jié)

以上是生活随笔為你收集整理的hive 两个没有null指定的表左关联的结果有null_Hive的优化原则的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。