?? ?首先，來說的是，reduce并發(fā)任務數，默認是1。

即，在jps后，出現一個yarnchild。之后又消失。

?

? ??

?

?

　　?這里，我控制reduce并發(fā)任務數6。

?

?

　　有多少個reduce的并發(fā)任務數可以在程序里控制，但有多少個map的并發(fā)任務數還沒。

　　其實啊，有多少個map的并發(fā)任務數還沒（是在分片中控制的）。

?

?

?

?

?

?

　1、現在，我們控制為map的并發(fā)任務數為4。（即是在分片中控制）

?

?

?

?

　　　2、　jps -> ? 生成個Runjar? ->?

?

?

?

?

?

　　　　　3、jps -> 生成個Runjar? ->? 生成個MRAppMaster（運行map任務）

soga

?

?

?

?

　4、　jps ?-> ?生成個Runjar? ->? 生成個MRAppMaster（運行map任務） -> 查看map并發(fā)任務數 ->

?

?

　　5、?jps ?-> 生成個Runjar? ->? 生成個MRAppMaster（運行map任務） -> 查看map并發(fā)任務數 ->? Map的Task進程被回收? ->查看reduce并發(fā)任務數 -> Reduce的Task進程被回收 –> jps

?

　　　　　　　　以上是單獨控制了Mapreduce的map并發(fā)任務數和reduce并發(fā)任務數。

?

?

?

?

總結

　　前者Mapreduce的map并發(fā)任務數默認是1，控制reduce并發(fā)任務數為6。

　　后者控制map并發(fā)任務數為4，Mapreduce的reduce并發(fā)任務數默認是1。

　　綜合即控制map，又控制reduce，不再贅述。

?

?

本文轉自大數據躺過的坑博客園博客，原文鏈接：http://www.cnblogs.com/zlslch/p/5713652.html，如需轉載請自行聯(lián)系原作者

總結

以上是生活随笔為你收集整理的Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现（十八）...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。