?1.?Spark Streaming的工作機(jī)制

? ? ?Spark Streaming?是Spark核心API的一個(gè)擴(kuò)展，可以實(shí)現(xiàn)高吞吐量的、具備容錯(cuò)機(jī)制的實(shí)時(shí)流數(shù)據(jù)的處理。

? ? ?支持從多種數(shù)據(jù)源獲取數(shù)據(jù)，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis?以及TCP sockets，

? ? ?從數(shù)據(jù)源獲取數(shù)據(jù)之后，可以使用諸如map、reduce、join和window等高級(jí)函數(shù)進(jìn)行復(fù)雜算法的處理。

? ? ?最后還可以將處理結(jié)果存儲(chǔ)到文件系統(tǒng)，數(shù)據(jù)庫(kù)和現(xiàn)場(chǎng)儀表盤(pán)。

?

2.編寫(xiě)Spark Streaming程序的基本步驟：

?

? ? ?

? ? ??

?

轉(zhuǎn)載于:https://www.cnblogs.com/sevenyang/p/9785438.html

總結(jié)

以上是生活随笔為你收集整理的Spark Streaming的工作机制的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。