一、當前數據處理待痛點分析

• 1、當前生產環境因source端數據更改，導致后續計算重新運行情況時有發生，這樣不僅牽扯開發精力而且十分消耗資源。
• 2、現有的數據處理方式不能更好的面向未來日益增多的需求。
• 3、業務線數據模型混亂，數據使用成本特別高。
• 4、需求驅動的煙囪式開發，完全沒有復用的可能性，計算成本居高不下。
• 5、分析計算后的數據下沉到Mysql中，查詢和保障方面不靈活。

二、流批一體化架構方案

1、流批一體化架構方案分析

目前流批一體化架構比較完美的實現方式是采用流計算+交互式分析雙引擎架構，在這個架構中，流計算負責的是基礎數據，而交互式分析引擎是中心，流計算引擎對數據進行實時ETL工作，與離線相比，降低了ETL過程的latency，交互式分析引擎自帶存儲，通過計算存儲的協同化，實現高寫入TPS、高查詢QPS和低查詢latency，從而做到全鏈路的實時化和SQL化，這樣就可以用批的方式實現實時分析和按需分析，并能快速的響應業務的變化，兩者配合，實現1+1>2的效果，

總結

以上是生活随笔為你收集整理的大数据流批一体化架构设计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。