早期和當前的"流式計算"系統分別稱為"連續查詢處理類"和"可擴展數據流平臺類"計算系統。

?

流式計算系統的特點：

1)低延遲 2)極佳的系統容錯性 3)極強的系統擴展能力 4）靈活強大的應用邏輯表達能力

?

目前典型的流式計算系統：

S4，storm，millwheel，samza，d-stream，hadoop online，mupd8等。

其中storm和millwheel是各方面比較突出的。

?

流式計算系統架構：

常見的流式計算系統架構分為兩種：主從模式和p2p模式。

主從模式storm、millwheel和samza

p2p模式s4

samza是利用消息系統kafka和hadoop2.0的資源管理系統Yarn綜合而成的，架構比較獨特，但本質上遵循主從架構。

?

送達保證

三種可能：至少送達一次(at_least once delivery),至多送達一次(at_most once delivery),恰好送達一次(Exeact-once delivery)。

storm在系統中提供"恰好送達一次"語義是通過送達保證機制和事務拓撲聯合來完成的。

samza依靠kafka的消息持久化聯合broker緩存機制，保證"恰好送達一次"語義。

?

轉載于:https://www.cnblogs.com/davidwang456/p/4942143.html

總結

以上是生活随笔為你收集整理的大数据读书笔记(2)-流式计算的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。