1、問題描述

1.1?基本信息[Basic Information]

• 集群規(guī)模：37+3臺物理機，每臺128G內(nèi)存；CPU：2*16C；SATA磁盤，2T*12
• hadoop社區(qū)版本：**
• 商業(yè)版本：FusionInsight_HD_V100R002C60U10
• MetaStore：高斯數(shù)據(jù)庫（Postgresql）

1.2 問題描述[Problem Description]

• 10月24號發(fā)現(xiàn)之前執(zhí)行select * from table這種語句，很多都轉(zhuǎn)換成MR提交到y(tǒng)arn隊列上了，導(dǎo)致集群任務(wù)大量堆積;

2、問題分析[Problem Analysis]

導(dǎo)致問題的原因是c30的版本的hive.fetch.task.conversion參數(shù)默認(rèn)為more，到c60改成了minimal。這樣做原因是考慮到安全的因素。

這個參數(shù)功能是控制對于select 單表是否要啟動mr。在minimal的情況下，可能會導(dǎo)致hiveserver處理大量的這樣的fetch操作，使得hiveserver的壓力增大，導(dǎo)致影響其它請求的及時響應(yīng)。

C60改成minimal后，當(dāng)需要fetch的數(shù)據(jù)大于設(shè)置的閾值的時候，就會出現(xiàn)原來沒有啟動mr的sql語句，啟動sql語句了。

3、根本原因[Root Cause]

??新版本由于上述原因，改變了參數(shù)的默認(rèn)值，沒考慮到在交互式查詢中，客戶大量使用了這種select * from table的方式，而產(chǎn)生了大量的MR任務(wù)。

4、解決措施[Corrective Action]

4.1 最終解決措施[Solution]

將hive.fetch.task.conversion的默認(rèn)值minimal，改成more

客戶的使用方式需要將這種select * from table 加上一個limit操作，因為我們了解到用戶使用這個語句，只是為了查看表結(jié)構(gòu)信息或者只是看幾條數(shù)據(jù)，所以加上limit就既可以滿足需要，又避免hiveserver出現(xiàn)問題

總結(jié)

以上是生活随笔為你收集整理的问题分析报告--简单SQL启动MR的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。