進入distinct方法中?

/*** Return a new RDD containing the distinct elements in this RDD.*/def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {map(x => (x, null)).reduceByKey((x, y) => x, numPartitions).map(_._1)}

可以看到distinct進行了三次transformation算子的操作

map? ==》? reduceByKey? ==> map

來個清晰的圖示：【一目了然系列哈哈】

總結

以上是生活随笔為你收集整理的一个略显复杂的transformation算子_distinct的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。