数据仓库建设从0到1-一文带你深入建设金融数仓体系
生活随笔
收集整理的這篇文章主要介紹了
数据仓库建设从0到1-一文带你深入建设金融数仓体系
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言
本文講述了金融數據倉庫從無到有的整體設計思路,以及對數據建模、質量控制、元數據管理及開發規范各方面的經驗思考,希望對大家在數倉建設工作方面有所幫助。
背景
自2018年以來,隨著業務體系的不斷豐富與發展,數據分析與應用需求越來越豐富,對金融數據倉庫建設的要求也越來越迫切。
金融數據倉庫建設需要解決的問題,主要包括如下幾點:
1、數據存儲和組織不成體系,數據集成的開發、維護及分析應用成本高;
2、數據質量缺乏定義,缺乏有效統一的數據質量監控體系;
3、缺失元數據規范管理,數據開發、表結構定義不統一,數據任務、數據表維護成本高;
綜上,數據倉庫的建設,將根據數倉建模方法論,構建一整套架構合理,并具有元數據管理和數據質量監控的現代數倉體系。
大數據領域建模綜述
1、為什么需要數倉建模
業界認為數據倉庫是一個面向主題的、集成的、相對穩定的、反映歷史變化的數據集合。數據在數倉中進行有序、有結構地分類組織和存儲。通過建立適合業務和基礎數據存儲環境的模型,可以帶來以下優點:
1) 成本降低:減少數據冗余,計算結果復用;
2) 性能提升:快速查詢數據,減少數據的I/O吞吐;
3) 效率提高:提高用戶的使用數據體驗,使用數據效率;
4) 質量改善:解決數據統計口徑的不一致性,統一對外的數據發布
總結
以上是生活随笔為你收集整理的数据仓库建设从0到1-一文带你深入建设金融数仓体系的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MATLAB实战系列(三十五)-MATL
- 下一篇: Tableau实战系列数据连接及数据准备