情況

很多時間遇到?"Caused by: java.lang.OutOfMemoryError: Java heap space"?

Caused by: java.lang.OutOfMemoryError: Java heap space

可能會有下面錯誤?"Reducer tasks of hive job fails with Out Of Memory error during shuffle fetcher stage"

解決辦法:

• 增加hive.tez.container.size .
• tez.runtime.shuffle.memory.limit.percent 改小一點

可選

• 減少tez.runtime.shuffle.fetch.buffer.percent 默認是0.25 ， 盡管為0.15 if needed. (這個值要在區別?0.25 ， 0.10)

轉載于:https://www.cnblogs.com/frankzye/p/5522587.html

總結

以上是生活随笔為你收集整理的HIVE 在执行大量数据JOIN的时候，容易产生内存不足的情况的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。