Hive--优化参数
生活随笔
收集整理的這篇文章主要介紹了
Hive--优化参数
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1、動態分區太多導致失敗
如果map太多,每個map生成的分區太多的話,會導致打開的文件過多,導致查詢失敗。
可以通過cluster by 等來避免失敗,但是產生的數據文件會增大幾倍。
set hive.optimize.sort.dynamic.partition =true;
可以避免以上問題
?
?
總結
以上是生活随笔為你收集整理的Hive--优化参数的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java8函数式编程(5)--中间操作(
- 下一篇: NIO--字符集