一個inputsplit對應一個map
而inputsplit切片規劃是由InputFormat的具體實現子類來實現，就是調用
InputSplits[ ] getSplits() 方法，這個方法的邏輯可以自定義
在默認情況下，由FileInputFormat來實現，它的核心邏輯：
規劃切片的大小

long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));long maxSize = getMaxSplitSize(job);public static long getMaxSplitSize(JobContext context) { returncontext.getConfiguration().getLong(SPLIT_MAXSIZE, Long.MAX_VALUE);}// mapreduce.input.fileinputformat.split.minsize 配置這個值可以讓切片大小>塊大小 // mapreduce.input.fileinputformat.split.maxsize 配置這個值可以讓切片大小<塊大小long splitSize = computeSplitSize(blockSize, minSize, maxSize); //計算切片大小 protected long computeSplitSize(long blockSize, long minSize,long maxSize) {return Math.max(minSize, Math.min(maxSize, blockSize)); }

(2)構造切片信息對象，并放入InputSplits[ ]中

splits.add(makeSplit(path,length-bytesRemaining,splitSize,blkLocations[blkIndex].getHosts()));

注：FileInputFormat的切片機制是針對一個一個的文件進行，因此，如果文件太小，則整個文件劃分為一個切片
如果一個大文件被切成若干個切片后，剩下的長度如果在blocksize的1.1倍大小以內，則將剩下的長度全部規劃為一個切片

總結

以上是生活随笔為你收集整理的Hadoop大数据——MR程序map任务数的规划机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。