看書大概了解了下Streaming的原理，但是木有動過手啊。。。萬事開頭難啊，一個wordcount 2小時怎么都運行不出結果。是我太蠢了，好了言歸正傳。

SparkStreaming是一個批處理的流式計算框架，適合處理實時數據與歷史數據混合處理的場景（比如，你用streaming將實時數據讀入處理，再使用sparkSQL提取歷史數據，與之關聯處理）。Spark Streaming將數據流以時間片為單位分割形成RDD，使用RDD操作處理每一塊數據，沒塊數據都會生成一個spark JOB進行處理，最終以批處理方式處理每個時間片的數據。（多的就不解釋了，百度就好了~）

首先確保你安裝了hadoop和spark，在IDEA中也已入來了相應jar包。

寫吧- -

新手要注意紅框部分，spark官網上給的例子是調用socketFileStream方法，這是通過socket連接遠程的，倘若只在本機上測試學習，就用textFileStream讀取本地文件路徑，沒錯是路徑不是文件，因為sparkStreaming是處理實時數據的，倘若直接指定一個文件，輸出后是無法得到結果的。所以新建了個路徑，在這里設置了Seconds(20)每20秒讀取一次。隨后run一下。

啟動后，將準備好的文件cp到這個路徑下，20秒過后結果就出來了，模擬了下實時數據。結束。

總結

以上是生活随笔為你收集整理的SparkStreaming入门及例子的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。