Hive本身是不支持動(dòng)態(tài)分區(qū)的..

但動(dòng)態(tài)分區(qū)是真的方便啊..不然手動(dòng)維護(hù)要累死..按日期甚至小時(shí)來分區(qū)時(shí)動(dòng)輒就好幾千上萬的分區(qū)..手動(dòng)到哪一年去..?

想要用動(dòng)態(tài)分區(qū)要先做一些設(shè)置來修改默認(rèn)的配置..

set hive.exec.dynamic.partition=true;(可通過這個(gè)語句查看：set hive.exec.dynamic.partition;) set hive.exec.dynamic.partition.mode=nonstrict; SET hive.exec.max.dynamic.partitions=100000;(如果自動(dòng)分區(qū)數(shù)大于這個(gè)參數(shù)，將會(huì)報(bào)錯(cuò)) SET hive.exec.max.dynamic.partitions.pernode=100000;

可以直接把上述設(shè)置項(xiàng)在控制臺(tái)中運(yùn)行一下..以后就可以自由動(dòng)態(tài)分區(qū)了..

建立分區(qū)表的語法.

Drop table table_name; --先刪除表 沒有則直接建表了 CREATE TABLE table_name --創(chuàng)建表 (col1 string, col2 date, col3 double) partitioned by (datekey date) --可以多個(gè)字段的組合分區(qū) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' Stored AS TEXTFILE;

插入數(shù)據(jù)..

INSERT INTO TABLE table_NamePARTITION (DateKey)SELECT col1,col2,col3,DateKey FROM otherTableWHERE DATEKEY IN ('2017-02-26','2013-06-12','2013-09-24')GROUP BY col1,col2,col3,DateKey DISTRIBUTE BY DateKey

刪除分區(qū):

ALTER TABLE table_Name DROP PARTITION (Datekey='2016-05-05');

以上為整理的部分關(guān)于Hive分區(qū)的資料..歡迎取閱..

?

轉(zhuǎn)載于:https://www.cnblogs.com/iiwen/p/6479607.html

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的Hive动态分区 参数配置及语法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。