• 目錄
  • 前言:
  • 1、mapTask并行度的決定機制
  • 2、ReduceTask并行度的決定
  • 總結(jié)：

目錄

前言:

MapTask的并行度決定map階段的任務(wù)處理并發(fā)度，進而影響到整個job的處理速度。那么，MapTask并行實例是否越多越好呢？其并行度又是如何決定呢？

1、mapTask并行度的決定機制

一個job的map階段并行度由客戶端在提交job時決定，而客戶端對map階段并行度的規(guī)劃的基本邏輯為：
將待處理數(shù)據(jù)執(zhí)行邏輯切片（即按照一個特定切片大小，將待處理數(shù)據(jù)劃分成邏輯上的多個split），然后每一個split分配一個mapTask并行實例處理。(注意切片和分塊的區(qū)別)

這段邏輯及形成的切片規(guī)劃描述文件，由FileInputFormat實現(xiàn)類的getSplits()方法完成，其過程如下圖：

FileInputFormat切片機制
1、切片定義在InputFormat類中的getSplit()方法
2、FileInputFormat中默認(rèn)的切片機制：
a) 簡單地按照文件的內(nèi)容長度進行切片
b) 切片大小，默認(rèn)等于block大小
c) 切片時不考慮數(shù)據(jù)集整體，而是逐個針對每一個文件單獨切片
比如待處理數(shù)據(jù)有兩個文件：
file1.txt 320M
file2.txt 10M

經(jīng)過FileInputFormat的切片機制運算后，形成的切片信息如下：
file1.txt.split1– 0~128
file1.txt.split2– 128~256
file1.txt.split3– 256~320
file2.txt.split1– 0~10M

FileInputFormat中切片的大小的參數(shù)配置（了解）
通過分析源碼，在FileInputFormat中，計算切片大小的邏輯：Math.max(minSize, Math.min(maxSize, blockSize)); 切片主要由這幾個值來運算決定
minsize：默認(rèn)值：1 配置參數(shù)： mapreduce.input.fileinputformat.split.minsize
maxsize：默認(rèn)值：Long.MAXValue 配置參數(shù)：mapreduce.input.fileinputformat.split.maxsize
blocksize
因此，默認(rèn)情況下，切片大小=blocksize
maxsize（切片最大值）：
參數(shù)如果調(diào)得比blocksize小，則會讓切片變小，而且就等于配置的這個參數(shù)的值
minsize （切片最小值）：
參數(shù)調(diào)的比blockSize大，則可以讓切片變得比blocksize還大

選擇并發(fā)數(shù)的影響因素：
1、運算節(jié)點的硬件配置
2、運算任務(wù)的類型：CPU密集型還是IO密集型
3、運算任務(wù)的數(shù)據(jù)量

2、ReduceTask并行度的決定

reducetask的并行度同樣影響整個job的執(zhí)行并發(fā)度和執(zhí)行效率，但與maptask的并發(fā)數(shù)由切片數(shù)決定不同，Reducetask數(shù)量的決定是可以直接手動設(shè)置：

//默認(rèn)值是1，手動設(shè)置為4
job.setNumReduceTasks(4);

如果數(shù)據(jù)分布不均勻，就有可能在reduce階段產(chǎn)生數(shù)據(jù)傾斜
注意： reducetask數(shù)量并不是任意設(shè)置，還要考慮業(yè)務(wù)邏輯需求，有些情況下，需要計算全局匯總結(jié)果，就只能有1個reducetask

盡量不要運行太多的reduce task。對大多數(shù)job來說，最好reduce的個數(shù)最多和集群中的reduce持平，或者比集群的 reduce slots小。這個對于小集群而言，尤其重要。

總結(jié)：

MapTask并行度由兩種情況：
1、當(dāng)一個文件比較大時，每次切片128M為一個MapTask的任務(wù)量。被切分多少片就能由多少個MapTask。
2、當(dāng)有多個小文件時，每個小文件可以看做是一個MapTask的任務(wù)量，有多少個小文件就有多少個MapTask。
PS：當(dāng)然默認(rèn)切片的大小可以自定義設(shè)置。
ReduceTask并行度可以在代碼中手動設(shè)置。

總結(jié)

以上是生活随笔為你收集整理的MapTask、ReduceTask并行度决定机制的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。