大數據系統架構有兩種組成部分， 實時流處理和批量數據處理。我們根據具體的需求選擇適當的數據處理框架。一些框架適合于批量數據處理，而另外一些適用于實時數據處理。一些框架使用內存模式，另外一些是基于磁盤I/O處理模式。基于內存的框架性能明顯優于基于磁盤I/O的框架，但是同時成本也高很多?？傊?#xff0c;要選擇一個能夠滿足需求的框架，否則就有可能就無法滿足功能需求，也無法滿足非功能需求（比如：性能需求）。

一些框架將數據化分成較小的塊。這些小數據塊由各個作業獨立處理。協調器管理所有這些獨立的子作業。數據分塊是需要小心的。數據塊越小，就會產生越多的作業，這樣就會增加系統初始化作業和清理作業的負擔。如果數據塊太大，數據傳輸可能需要很長時間才能完成。這也可能導致資源利用不均衡，長時間在一臺服務器上運行一個大作業，而其他服務器就會等待而造成處理能力的浪費不要忘了查看一個任務的作業總數，在必要時調整這個參數。盡量實時監控數據塊的傳輸。

大數據分析結果應該保存成用戶期望看到的格式。如果用戶要求按照每周的時間序列匯總輸出，那么你就要將結果以周為單位進行匯總保存。

總結

以上是生活随笔為你收集整理的产品经理学大数据——大数据软件框架：框架的选择的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。