根據(jù)[1]

?

算子	作用
map	應(yīng)用于RDD中每個(gè)元素
mapPartitions	應(yīng)用于每個(gè)分區(qū)

?

根據(jù)[2]mapPartitions更容易OOM

?

代碼如下:

//生成10個(gè)元素3個(gè)分區(qū)的rdd a，元素值為1~10的整數(shù)（1 2 3 4 5 6 7 8 9 10），sc為SparkContext對(duì)象val a = sc.parallelize(1 to 10, 3)//定義兩個(gè)輸入變換函數(shù)，它們的作用均是將rdd a中的元素值翻倍//map的輸入函數(shù)，其參數(shù)e為rdd元素值 def myfuncPerElement(e:Int):Int = {println("e="+e)e*2}//mapPartitions的輸入函數(shù)。iter是分區(qū)中元素的迭代子，返回類型也要是迭代子def myfuncPerPartition ( iter : Iterator [Int] ) : Iterator [Int] = {println("run in partition")var res = for (e <- iter ) yield e*2res}val b = a.map(myfuncPerElement).collectval c = a.mapPartitions(myfuncPerPartition).collect

?

這兩個(gè)方法的另一個(gè)區(qū)別是在大數(shù)據(jù)集情況下的資源初始化開銷和批處理處理，如果在myfuncPerPartition和myfuncPerElement中都要初始化一個(gè)耗時(shí)的資源，然后使用，比如數(shù)據(jù)庫連接。在上面的例子中，myfuncPerPartition只需初始化3個(gè)資源（3個(gè)分區(qū)每個(gè)1次），而myfuncPerElement要初始化10次（10個(gè)元素每個(gè)1次），顯然在大數(shù)據(jù)集情況下（數(shù)據(jù)集中元素個(gè)數(shù)遠(yuǎn)大于分區(qū)數(shù)），mapPartitons的開銷要小很多，也便于進(jìn)行批處理操作。

?

另外一個(gè)例子是這個(gè)

?

?

Reference:

[1]spark mapPartition方法與map方法的區(qū)別

[2]MapPartition和Map的區(qū)別

?

總結(jié)

以上是生活随笔為你收集整理的mapPartition方法与map方法的区别(转载)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。