大数据平台架构设计案例
?大數據平臺的整體架構可以由以下幾個部分組成:
一、業務應用:其實指的是數據采集,你通過什么樣的方式收集到數據。互聯網收集數據相對簡單,通過網頁、App就可以收集到數據,比如很多銀行現在都有自己的App。
更深層次的還能收集到用戶的行為數據,可以切分出來很多維度,做很細的分析。但是對于涉及到線下的行業,數據采集就需要借助各類的業務系統去完成。
二、數據集成:指的其實是ETL,指的是用戶從數據源抽取出所需的數據,經過數據清洗,最終按照預先定義好的數據倉庫模型,將數據加載到數據倉庫中去。而這里的Kettle只是ETL的其中一種。
三、數據存儲:指的就是數據倉庫的建設了,簡單來說可以分為業務數據層(DW)、指標層、維度層、匯總層(DWA)。
四、數據共享層:表示在數據倉庫與業務系統間提供數據共享服務。Web Service和Web API ,代表的是一種數據間的連接方式,還有一些其他連接方式,可以按照自己的情況來確定。
五、數據分析層:分析函數就相對比較容易理解了,就是各種數學函數,比如K均值分析、聚類、RMF模型等等。
列存儲讓磁盤中的各個Page僅存儲單列的值,并非整行的值。這樣壓縮算法會更加高效。進一步說,這樣能夠減少磁盤的I/O、提升緩存利用率,因此,磁盤存儲會被更加高效的利用。
而分布式計算能夠把一個需要非常大的算力才能解決的問題分成很多小部分,接著把這些部分給到許多計算機同時處理,然后把這些計算結果綜合起來,得到最終的結果。
綜合這兩種技術,就能夠大幅度提高分析環節的效率。Yonghong MPP可以說是目前在這兩方面做的最出色的了。
六、數據展現:結果以什么樣的形式呈現,其實就是數據可視化。這里建議用敏捷BI,和傳統BI不同的是,它能通過簡單的拖拽就生成報表,學習成本較低。國內的敏捷BI中,個人用戶推薦Tableau,像銀行這類的企業級需求推薦Yonghong BI 。
七、數據訪問:這個就比較簡單了,看你是通過什么樣的方式去查看這些數據,圖中示例的是因為B/S架構,最終的可視化結果是通過瀏覽器訪問的。
Smartbi銀行應用產品總體解決方案
Smartbi建設方案:
● Smartbi在存儲層之上構建了數據分析中臺,它包括了完整的數據中臺、技術中臺與業務中臺。其本質上是構建具備數據共享能力的應用中心;
● Smartbi以連接數據中臺與業務中臺,實現應用呈現為目標,構建了滿足技術中臺要求的銀行數據分析技術中臺產品。產品包括可視化組件、數據分析組件、數據挖掘組件等,將數據背后的價值展現在人們面前;
● 通過這個產品的部署,連接銀行現有的數據,根據銀行的個性化需求,可簡單的滿足對于自助分析、報表、數據挖掘、管理駕駛艙等系統的要求。我們也抽象了些應用模板、數據模板。
方案價值:
● 管理駕駛艙:指標全面性、移動監控性、監管目標性、響應快速性、工作匯報便捷性;
● 數據準確性、分析即時性、風險預警性和輔助決策性;
● 自助分析:數據回歸業務、數據答疑、圖表快速自助、簡化工作流程、業務價值共享;
● 明細查詢、節約維護成本、業務自助分析和數據快速排查。
總結
以上是生活随笔為你收集整理的大数据平台架构设计案例的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python周立功CAN接口卡接口库函数
- 下一篇: 宝可梦 序列号认证服务器发生了错误,宝可