learn from 從0開始學(xué)大數(shù)據(jù)（極客時(shí)間）

文章目錄

• • 1. Storm
  • 2. Spark Streaming
  • 3. Flink

• 對(duì)存儲(chǔ)在磁盤上的數(shù)據(jù)進(jìn)行大規(guī)模計(jì)算處理，大數(shù)據(jù)批處理
• 對(duì)實(shí)時(shí)產(chǎn)生的大規(guī)模數(shù)據(jù)進(jìn)行處理，大數(shù)據(jù)流計(jì)算

1. Storm

一些系統(tǒng) 業(yè)務(wù)邏輯 和 數(shù)據(jù)處理邏輯 混合，系統(tǒng)不能復(fù)用到其他需求上

Storm 中，只需要編程開發(fā)好 數(shù)據(jù)處理邏輯 和 數(shù)據(jù)源邏輯，處理好拓?fù)潢P(guān)系

2. Spark Streaming

Spark Streaming 巧妙地利用了 Spark 的分片和快速計(jì)算的特性，將實(shí)時(shí)傳輸進(jìn)來的數(shù)據(jù)按照時(shí)間進(jìn)行分段，把一段時(shí)間傳輸進(jìn)來的數(shù)據(jù)合并在一起，當(dāng)作一批數(shù)據(jù)，再去交給 Spark 去處理。

Spark Streaming 主要負(fù)責(zé) 將流數(shù)據(jù)轉(zhuǎn)換成小的批數(shù)據(jù)，剩下的交給 Spark 去做

3. Flink

• 既可以 流處理，也可以 批處理
• 初始化相應(yīng)的執(zhí)行環(huán)境
• 在數(shù)據(jù)流或數(shù)據(jù)集上執(zhí)行數(shù)據(jù)轉(zhuǎn)換操作

• 流計(jì)算就是將 大規(guī)模實(shí)時(shí)計(jì)算的 資源管理 和 數(shù)據(jù)流轉(zhuǎn) 都統(tǒng)一管理起來
• 開發(fā)者只要開發(fā) 針對(duì)小數(shù)據(jù)量的 數(shù)據(jù)處理邏輯，然后部署到 流計(jì)算平臺(tái)上，就可以對(duì) 大規(guī)模數(shù)據(jù) 進(jìn)行 流式計(jì)算了

總結(jié)

以上是生活随笔為你收集整理的流式计算的代表：Storm、Flink、Spark Streaming的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。