下面開始注意:

不要改變這個實驗中各個步驟的順序！！！

啟動spark集群和HDFS集群(搞不定的請自行百度)

然后

①

$ nc -lk 9999
test
test
home?
home
school
school
school
?

?

②$ spark --master yarn

粘貼代碼如下:

import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.storage.StorageLevel import org.apache.log4j.{Level, Logger} Logger.getRootLogger.setLevel(Level.WARN) val ssc = new StreamingContext(sc, Seconds(10)) val lines = ssc.socketTextStream("localhost", 9999, StorageLevel.MEMORY_AND_DISK_SER) val words = lines.flatMap(_.split(" ")) val pairs = words.map((_, 1)) val wordCounts = pairs.reduceByKey(_ + _) wordCounts.print() ssc.start()

注意：

在你輸入ssc.start()到spark-shell之前，你的①步驟必須已經實現，否則一定會報錯。

瀏覽器輸入master:8088

點擊下圖中右下角的ApplicationMaster

?

然后就會跳轉到Spark Web UI界面，點擊Streaming即可看到相關信息。

spark-shell在streaming運行后如何正確退出呢?

快速按幾次回車鍵，然后輸入:q后回車即可，如下:

scala>:q(按下回車鍵)

?

?

總結

以上是生活随笔為你收集整理的Spark Streaming在Spark Web UI上的显示办法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。