下面開始注意:

不要改變這個(gè)實(shí)驗(yàn)中各個(gè)步驟的順序！！！

啟動(dòng)spark集群和HDFS集群(搞不定的請(qǐng)自行百度)

然后

①

$ nc -lk 9999
test
test
home?
home
school
school
school
?

?

②$ spark --master yarn

粘貼代碼如下:

import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.storage.StorageLevel import org.apache.log4j.{Level, Logger} Logger.getRootLogger.setLevel(Level.WARN) val ssc = new StreamingContext(sc, Seconds(10)) val lines = ssc.socketTextStream("localhost", 9999, StorageLevel.MEMORY_AND_DISK_SER) val words = lines.flatMap(_.split(" ")) val pairs = words.map((_, 1)) val wordCounts = pairs.reduceByKey(_ + _) wordCounts.print() ssc.start()

注意：

在你輸入ssc.start()到spark-shell之前，你的①步驟必須已經(jīng)實(shí)現(xiàn)，否則一定會(huì)報(bào)錯(cuò)。

瀏覽器輸入master:8088

點(diǎn)擊下圖中右下角的ApplicationMaster

?

然后就會(huì)跳轉(zhuǎn)到Spark Web UI界面，點(diǎn)擊Streaming即可看到相關(guān)信息。

spark-shell在streaming運(yùn)行后如何正確退出呢?

快速按幾次回車鍵，然后輸入:q后回車即可，如下:

scala>:q(按下回車鍵)

?

?

總結(jié)

以上是生活随笔為你收集整理的Spark Streaming在Spark Web UI上的显示办法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。