動態分區

設置如下參數開啟動態分區：
hive.exec.dynamic.partition=true
默認值：false
描述：是否允許動態分區
hive.exec.dynamic.partition.mode=nonstrict
默認值：strict
描述：strict是避免全分區字段是動態的，必須有至少一個分區字段是指定有值的

設置如下參數配置動態分區的使用環境：
hive.exec.max.dynamic.partitions.pernode=100
默認值：100
描述：each mapper or reducer可以創建的最大動態分區數
hive.exec.max.dynamic.partitions=1000
默認值：1000
描述：一個DML操作可以創建的最大動態分區數
hive.exec.max.created.files=100000
默認值：100000
描述：一個DML操作可以創建的文件數

設置如下參數取消一些限制(HIVE 0.7后沒有此限制)：
hive.merge.mapfiles=false
默認值：true
描述：是否合并Map的輸出文件
hive.merge.mapredfiles=false
默認值：false
描述：是否合并Reduce的輸出文件

?

文件類型

lzo文件類型
set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;

parquet文件類型
set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat

?

轉載于:https://www.cnblogs.com/wujin/p/6076784.html

總結

以上是生活随笔為你收集整理的hive中的一些参数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。