架构阅读笔记3
閱讀鏈接:https://www.infoq.cn/article/fKMHqX*diJG3DB0x06e6
數據平臺著重是數據存儲與計算以及數據應用與消費。
從數據操作系統內核到數據系統桌面,再到數據業務場景:
數據操作系統有兩塊,一個是數據操作系統內核,一個是用戶接觸到的軟件。還有是外面有哪些場景。通過基礎框架搭底層的環境,提供一些上層數據應用的通用能力以及把底層的數據環境的差異給屏蔽掉。核心能力包括數據安全、隱私保護、數據質量、元數據中心及數據治理。數據引擎有任務執行與調度引擎、數據科學引擎、決策服務引擎。面向用戶的數據工資臺主要包括外部數據采集平臺、資產管理平臺、數據研發平臺、數據分析平臺、數據決策平臺。之上有一些垂直場景的服務,比如說螞蟻的數據產品對外透出的一些端的能力,使用移動端查看。
第二塊有一些垂直的解決方案,比如說人群畫像平臺、位置服務。
第三塊是開發者中心,主要是應對一個場景叫開放。
數據分析領域:
數據分析階段包括:
①?? ?描述型分析階段;② 診斷型分析階段;③ 預測型分析階段;④ 指導型分析階段。數據分析的不同階段不同層次,人工參與的會越來越少,機器參與的會越來越多,但是它的價值越來越大,復雜度越來越高,就是從馬后炮到構建再到穩健。
數據分析平臺為了功能及性能的提高,數據集支撐一些更復雜的分析模型,如星型、雪花、關聯數據集。多維分析、系統的自動加速及開放。
客戶分層:橫向分成三段,客戶能力分層,到他是什么角色,到他的能力。我們把數據分析平臺用戶分成兩類,一類是 B 端業務方做數據分析的人,一類是 C 端看數據分析結果并做決策的人。
將數據加速到正確的引擎,因為這張表有不同的分析訴求,不同的引擎支持不同的場景。選出來多個數據源以后,經過一個代價模型,選出最優的數據源把它執行下去。選擇一個最優的數據源以后,會有一層抽象,我們會去適配很多 Plugins,Plugins 可以動態加載進來。這就是數據分新平臺整個查詢的過程。
分解后要用數學的方式進行抽象,當某一個元確定以后,我又可以按照鏈路去拆,比如說預計算我經過了什么鏈路,比如說先進來處理行級權限,接下來處理預計算路由,然后是查詢數據源,就是這個邏輯,有了這個抽象以后,我們就可以去做數據分析。
數據分析,基本套路先要定義問題、解決什么問題,再衡量這個問題。進行數學抽象,從一些業務鏈路上,從一些系統模塊上去做一些抽象,抽象好了以后去看有沒有相應的數據(采集數據),有了數據以后去做分析,無論是描述型分析、診斷型分析還是預測型分析,運用分析方法去找到原因,然后去決策并行動。
轉載于:https://www.cnblogs.com/watm/p/10547435.html
總結
- 上一篇: 算法系列:5分钟了解哈希算法
- 下一篇: PDF编辑器哪个好,如何在PDF中插入图