不開啟

一個個分區(qū)導入，分區(qū)需要做到一對一。

hive (zmgdb)> insert overwrite table p_t3 partition (city='ningbo')
? ? ? ? ? ? > select name,post,address from p_t1 where city='ningbo';

會啟動mapreduce進行導入，mr卡在kill job_xxxx，等了很久沒反應(yīng)，原因是分配給yarn的內(nèi)存太小。需要修改yarn-site.xml里的配置。

見博客：?http://blog.csdn.net/zengmingen/article/details/52609873

（如果按照上面的博客配置了，時而行，時而不行。如果是vm虛擬機搭建的，那就重啟吧）

如果一張表，比如按全國的城市分區(qū)的表，那一個個分區(qū)導入，費時費力。

于是需要有自動能一對一導入的功能，即動態(tài)分區(qū)裝載數(shù)據(jù)。

開啟

hive>set hive.exec.dynamic.partition=true;
hive>set hive.exec.dynamic.partition.mode=nostrict;
hive>set hive.exec.max.dynamic.partitions.pernode=1000;

hive (zmgdb)?> create table p_t4 like p_t1;

hive (zmgdb)> ?insert overwrite table p_t4 partition (city)
? ? ? ? ? ? > select * from p_t1;

hive會啟動mapreduce導入。

hive (zmgdb)> select * from p_t4;
OK
p_t4.name ? ? ? p_t4.post ? ? ? p_t4.address ? ?p_t4.city
1 ? ? ? dddd ? ?dddd ? ?beijing
2 ? ? ? www ? ? www ? ? beijing
3 ? ? ? eeee ? ?wwww ? ?beijing
4 ? ? ? tttt ? ?cccc ? ?beijing
5 ? ? ? yyycc ? dddd ? ?beijing
1 ? ? ? dddd ? ?dddd ? ?ningbo
2 ? ? ? www ? ? www ? ? ningbo
3 ? ? ? eeee ? ?wwww ? ?ningbo
4 ? ? ? tttt ? ?cccc ? ?ningbo
5 ? ? ? yyycc ? dddd ? ?ningbo
1 ? ? ? dddd ? ?dddd ? ?taizhou
2 ? ? ? www ? ? www ? ? taizhou
3 ? ? ? eeee ? ?wwww ? ?taizhou
4 ? ? ? tttt ? ?cccc ? ?taizhou
5 ? ? ? yyycc ? dddd ? ?taizhou
Time taken: 0.155 seconds, Fetched: 15 row(s)
hive (zmgdb)>?

table p_t1

table p_t4

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的动态分区装载数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。