learn from 從0開始學大數據（極客時間）

文章目錄

• • 1. Storm
  • 2. Spark Streaming
  • 3. Flink

• 對存儲在磁盤上的數據進行大規模計算處理，大數據批處理
• 對實時產生的大規模數據進行處理，大數據流計算

1. Storm

一些系統 業務邏輯 和 數據處理邏輯 混合，系統不能復用到其他需求上

Storm 中，只需要編程開發好 數據處理邏輯 和 數據源邏輯，處理好拓撲關系

2. Spark Streaming

Spark Streaming 巧妙地利用了 Spark 的分片和快速計算的特性，將實時傳輸進來的數據按照時間進行分段，把一段時間傳輸進來的數據合并在一起，當作一批數據，再去交給 Spark 去處理。

Spark Streaming 主要負責 將流數據轉換成小的批數據，剩下的交給 Spark 去做

3. Flink

• 既可以 流處理，也可以 批處理
• 初始化相應的執行環境
• 在數據流或數據集上執行數據轉換操作

• 流計算就是將 大規模實時計算的 資源管理 和 數據流轉 都統一管理起來
• 開發者只要開發 針對小數據量的 數據處理邏輯，然后部署到 流計算平臺上，就可以對 大規模數據 進行 流式計算了

總結

以上是生活随笔為你收集整理的流式计算的代表：Storm、Flink、Spark Streaming的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。