• first

first返回RDD中的第一個元素，不排序。

scala> var rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2) scala> rdd1.first res1: (String, String) = (A,1)

• count

count返回RDD中的元素數(shù)量。

scala> var rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2) scala> rdd1.count res2: Long = 3

• reduce

根據(jù)映射函數(shù)f，對RDD中的元素進(jìn)行二元計算，返回計算結(jié)果

scala> var rdd1 = sc.makeRDD(1 to 10,2) scala> rdd1.reduce(_ + _) res3: Int = 55

• collect

collect用于將一個RDD轉(zhuǎn)換成數(shù)組。

scala> var rdd1 = sc.makeRDD(1 to 10,2) scala> rdd1.collect res4: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)

• take

take用于獲取RDD中從0到num-1下標(biāo)的元素，不排序。

scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3)) scala> rdd1.take(1) res5: Array[Int] = Array(10)

• top

top函數(shù)用于從RDD中，按照默認(rèn)（降序）或者指定的排序規(guī)則，返回前num個元素。

scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3)) scala> rdd1.top(1) res6: Array[Int] = Array(12)scala> rdd1.top(2) res7: Array[Int] = Array(12, 10)//指定排序規(guī)則 scala> implicit val myOrd = implicitly[Ordering[Int]].reverse scala> rdd1.top(1) res8: Array[Int] = Array(2)scala> rdd1.top(2) res9: Array[Int] = Array(2, 3)

• takeOrdered

takeOrdered和top類似，只不過以和top相反的順序返回元素。

scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3)) scala> rdd1.top(1) res10: Array[Int] = Array(2)scala> rdd1.top(2) res11: Array[Int] = Array(2, 3)scala> rdd1.takeOrdered(1) res12: Array[Int] = Array(12)scala> rdd1.takeOrdered(2) res13: Array[Int] = Array(12, 10)

?

總結(jié)

以上是生活随笔為你收集整理的[scala-spark]12. RDD行动操作的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。