1、問題描述

1.1?基本信息[Basic Information]

• 集群規模：37+3臺物理機，每臺128G內存；CPU：2*16C；SATA磁盤，2T*12
• hadoop社區版本：**
• 商業版本：FusionInsight_HD_V100R002C60U10
• MetaStore：高斯數據庫（Postgresql）

1.2 問題描述[Problem Description]

• 10月24號發現之前執行select * from table這種語句，很多都轉換成MR提交到yarn隊列上了，導致集群任務大量堆積;

2、問題分析[Problem Analysis]

導致問題的原因是c30的版本的hive.fetch.task.conversion參數默認為more，到c60改成了minimal。這樣做原因是考慮到安全的因素。

這個參數功能是控制對于select 單表是否要啟動mr。在minimal的情況下，可能會導致hiveserver處理大量的這樣的fetch操作，使得hiveserver的壓力增大，導致影響其它請求的及時響應。

C60改成minimal后，當需要fetch的數據大于設置的閾值的時候，就會出現原來沒有啟動mr的sql語句，啟動sql語句了。

3、根本原因[Root Cause]

??新版本由于上述原因，改變了參數的默認值，沒考慮到在交互式查詢中，客戶大量使用了這種select * from table的方式，而產生了大量的MR任務。

4、解決措施[Corrective Action]

4.1 最終解決措施[Solution]

將hive.fetch.task.conversion的默認值minimal，改成more

客戶的使用方式需要將這種select * from table 加上一個limit操作，因為我們了解到用戶使用這個語句，只是為了查看表結構信息或者只是看幾條數據，所以加上limit就既可以滿足需要，又避免hiveserver出現問題

總結

以上是生活随笔為你收集整理的问题分析报告--简单SQL启动MR的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。