此刻的情形：

vi george

上傳hdfs?

[root@henu1 ~]# hdfs dfs -put george /

分區兩個的WordCount:

https://blog.csdn.net/qq_41946557/article/details/102785927

可以看出分區為2，reducer task為2 。

查看hdfs文件結果：?

[root@henu1 ~]# hdfs dfs -ls /aaa

---

此刻：將分區數設置為3：運行：

?

然后打包上傳linux，運行：

[root@henu1 ~]# yarn jar henu-1.0-SNAPSHOT.jar com.henu.WC /george /bbb

【注意】改變reducer輸出路徑，要不你就把之前的aaa刪了，否則會報錯。

根據結果可以看出，多出的reduce tasks被殺死了。。。

但是文件結果中：【雖說是三個文件，不過有一個為空】

---

那么減少呢？設置分區為1。

不多說了吧。直接看運行結果。

沒錯，你多給，人家不稀罕，你少給，人家也不管。

hdfs文件中結果：

總結：

當分區數量與reducer task數量不一致時

如果reduce task 數量大于分區數量，多出的reduce task被殺死。

如果reduce task 數量小于分區數量，那就按你給的reduce task數量。

?

總結

以上是生活随笔為你收集整理的当分区数量与reducer task数量不一致时，会怎么样。的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。