spark-shell?--master yarn啟動后，

代碼如下:

scala> ?var rdd1=sc.makeRDD(1 to 4,2)

scala> rdd1.foreach{x=>println(x+4)}

scala> var rdd2=sc.makeRDD(1 to 12,3)

scala> ?rdd2.foreachPartition{x=>println("--------------")}

scala> ?rdd2.foreachPartition{x=>println(x.size)}

在交互式界面我們看不到任何結果，那么結果在哪里呢？

打開spark的web UI

master:8088

然后選擇右下方的兩個stdout

因為是spark on yarn

所以當你點擊stdout的時候，連接會跳轉回yarn界面。

?

可以看到，兩臺機子的結果是:

5 6 7 8

和 4 4 4 4

總結

以上是生活随笔為你收集整理的spark的foreach(println)看不到输出结果的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。