zipWithIndex

def zipWithIndex(): RDD[(T, Long)]

該函數(shù)將RDD中的元素和這個(gè)元素在RDD中的ID（索引號(hào)）組合成鍵/值對(duì)。

?

scala>?var?rdd2?=?sc.makeRDD(Seq("A","B","R","D","F"),2)

rdd2:?org.apache.spark.rdd.RDD[String]?=?ParallelCollectionRDD[34]?at makeRDD at?:21

?

scala>?rdd2.zipWithIndex().collect

res27:?Array[(String,?Long)]?=?Array((A,0),?(B,1),?(R,2),?(D,3),?(F,4))

?

zipWithUniqueId

def zipWithUniqueId(): RDD[(T, Long)]

該函數(shù)將RDD中元素和一個(gè)唯一ID組合成鍵/值對(duì)，該唯一ID生成算法如下：

每個(gè)分區(qū)中第一個(gè)元素的唯一ID值為：該分區(qū)索引號(hào)，

每個(gè)分區(qū)中第N個(gè)元素的唯一ID值為：(前一個(gè)元素的唯一ID值) + (該RDD總的分區(qū)數(shù))

看下面的例子：

?

scala>?var?rdd1?=?sc.makeRDD(Seq("A","B","C","D","E","F"),2)

rdd1:?org.apache.spark.rdd.RDD[String]?=?ParallelCollectionRDD[44]?at makeRDD at?:21

//rdd1有兩個(gè)分區(qū)，

?

scala>?rdd1.zipWithUniqueId().collect

res32:?Array[(String,?Long)]?=?Array((A,0),?(B,2),?(C,4),?(D,1),?(E,3),?(F,5))

//總分區(qū)數(shù)為2

//第一個(gè)分區(qū)第一個(gè)元素ID為0，第二個(gè)分區(qū)第一個(gè)元素ID為1

//第一個(gè)分區(qū)第二個(gè)元素ID為0+2=2，第一個(gè)分區(qū)第三個(gè)元素ID為2+2=4

//第二個(gè)分區(qū)第二個(gè)元素ID為1+2=3，第二個(gè)分區(qū)第三個(gè)元素ID為3+2=5

總結(jié)

以上是生活随笔為你收集整理的RDD基本转换操作:zipWithIndex、zipWithUniqueId的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。