原文鏈接：http://blog.csdn.net/dai451954706/article/details/50464036

-----------------------------------------------------------------------------------------------------

　今天，一大清早同事就讓我?guī)退鉀QHive的問題：他在Hive中執(zhí)行簡單的查詢(直接從hive查詢數(shù)據(jù)，沒有MR過程)能很快的得到結(jié)果，但是執(zhí)行復(fù)雜的查詢時(shí)，就一直卡著不動(dòng)．我連到服務(wù)器上試了一下，跟他遇到的問題一樣，問題處在哪里呢？既然簡單的查詢能出結(jié)果，復(fù)雜查詢需要MR計(jì)算，但是卻卡住了，那估計(jì)是Hadoop的問題．

　　于是，我在Hadoop跑一個(gè)簡單的WountCound程序試試，結(jié)果跟Hive中遇到的情況一樣:

????

??? 然后就一直卡在這個(gè)界面，很久都沒有結(jié)果．

　最先想到的是：配置可能有點(diǎn)問題．于是我把配置檢查了一遍，發(fā)現(xiàn)配置沒錯(cuò)．于是，我又去檢查Yarn和HDFS的啟動(dòng)日志，也沒有發(fā)現(xiàn)ERROR.接著，我查看每個(gè)任務(wù)運(yùn)行時(shí)的Container日志，也沒有Error．真是見鬼了！

　在我查看各種日志和配置的時(shí)候，我同事在Docker中，將集群上的配置Copy過去，試了一遍，能正常運(yùn)行！這．．．

　然后，我各種百度，google，在百度出來的各種方法我都試了一遍，仍然沒有解決問題！于是，我同事說，是不是安裝的時(shí)候有些包損壞了．于是，他又重新裝了一邊Hadoop，還是使用原來的配置，可問題依舊！

　此時(shí)，都已經(jīng)搞了一直整天了，還有一個(gè)小時(shí)就要下班了！于是，我在Google中看了幾篇文章，基本上上面所說的方法我都試了．終于，在Stackover上有一個(gè)哥們也遇到了同樣的問題，有人幫他解決了，里面鏈接到了一個(gè)網(wǎng)站:http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/? ,我打開一看，說的是要設(shè)置yarn里面關(guān)于內(nèi)存和虛擬內(nèi)存的配置項(xiàng)．我以前沒配置這幾項(xiàng)，也能正常運(yùn)行，感覺是這個(gè)問題的可能性不大啊！但是，既然這么多方法都不管用，這能試一試了．　

　　于是，我在yarn-site.xml中加了:

??????

[plain]?view plaincopy

<property>??

????<name>yarn.nodemanager.resource.memory-mb</name>??

????<value>20480</value>??

</property>??

<property>??

???<name>yarn.scheduler.minimum-allocation-mb</name>??

???<value>2048</value>??

</property>??

<property>??

????<name>yarn.nodemanager.vmem-pmem-ratio</name>??

????<value>2.1</value>??

</property>??

? ?再次運(yùn)行，居然成功了！

　然后運(yùn)行Hive，也能正確的運(yùn)行了！

? ? 出現(xiàn)此故障的原因應(yīng)該是，在每個(gè)Docker分配的內(nèi)存和CPU資源太少，不能滿足Hadoop和Hive運(yùn)行所需的默認(rèn)資源需求。

以上參數(shù)的配置詳解見博客：http://blog.csdn.net/zengmingen/article/details/52609893

總結(jié)

以上是生活随笔為你收集整理的Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。