1.情況

• 兩表join 其他時間數據正常插入。唯獨插入7月1日數據時 , 報錯:
  • join 語句

insert overwrite table A partition (log_date= '20210701') select a.id,a.name,b.age from employees e left join b on a.id=b.id where a.log_date= '20210701' and b.log_date= '20210701'

• 報錯如下:

INFO : Total MapReduce CPU Time Spent: -1 msecINFO : Stage-Stage-1: HDFS Read: 2872700580746 HDFS Write: 13674470480571 FAILINFO : MapReduce Jobs Launched: ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTaskERROR : Ended Job = job_1626955970433_229281 with errorscom.bilibili.dispatcher.lib.exception.DispatcherException: execute failed2021-07-23 18:33:44 249 attempt to execute on HIVE_SERVER failed [USER_ERROR:EXECUTE_FAILED:1004]

2.分析

• 為什么唯獨7月1號數據異常?是不是這天數據量過大?
  • 不可能過大,過大最多導致執行慢
• 兩表join時，shuffer過程中導致導致同一同一分區可以過大 導致reduceTaks 數據分布不均勻?
  • 方案1 : mapjoin 不行 mapJoin 做多建議表的大小為2G 但是單表過大
  • 方法2 : 設置 reduceJoin將超過閾值的key 寫入文件 再啟用一個mapJob

3.解決

# join的鍵對應的記錄條數超過這個值則會進行分拆，值根據具體數據量設置 set hive.skewjoin.key=10 0000; # 如果是join過程出現傾斜應該設置為trueset hive.optimize.skewjoin=true;

總結

以上是生活随笔為你收集整理的使用hive报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。