Hive 任务卡在 map = 0%, reduce = 0%
生活随笔
收集整理的這篇文章主要介紹了
Hive 任务卡在 map = 0%, reduce = 0%
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
Hive 卡在map = 0%, reduce = 0%階段
解決:增加map個數(shù),設(shè)置mapreduce.input.fileinputformat.split.maxsize 小于系統(tǒng)默認(rèn)值,需要綜合考慮調(diào)用更多map時候的消耗
定位時發(fā)現(xiàn)任務(wù)卡在map = 0%, reduce = 0%階段,而且發(fā)現(xiàn)map分配數(shù)量很少,所以猜測分配map較慢,增加map數(shù)量可解決問題。
總結(jié)
以上是生活随笔為你收集整理的Hive 任务卡在 map = 0%, reduce = 0%的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 查看Hive SQL执行日志
- 下一篇: MapReduce不同进度的Reduce