商业智能,数据仓库,ETL,数仓调度工具informatica介绍手账(一)
商業智能
什么是商業智能?什么樣的企業需要商業智能?大家知道商業銀行所涉及的系統非常之多,銀行網點也非常之多,每家網點現金流入、流出每天都是不一樣的,那么銀行面臨的問題出現了,如何平衡各網點現金流?
商業智能的作用在于幫助你將一些數據轉化成具有商業價值,而且能夠從中獲取有用信息傳遞給需要的對應系統。例如,你購買餐巾紙,大瓶可樂以及零食,系統會提示你是否想要購買一次性紙杯。數據可以轉化為信息,最后轉化成利潤。這便是商業智能的作用。銀行經過多年的經營或ERP系統的運行,坐擁大量的經營數據,如何將這些大量的數據轉化為信息傳達給銀行領導,并轉化成利潤,這便是商業智能的工作。就好像是采礦將開采出的礦石提純做成煤炭或者鉆石。
商業智能的實現:首先需要銀行系統體系結構的設計,數據庫,數據抽取、轉換、清洗(ETL),前端web開發,元數據的應用。
商業智能的實施方案:
(1)需求定義:需求分析是商業智能的重要階段,描述項目的背景目的,以及業務需求與功能需求等。各業務系統多種多樣,數據冗余,復雜,以及各業務系統數據存在不統一,報表展示單一,數據分散等情況,行方高層領導無法站在更高層次上去對業務進行分析 從而做出重大決策。例如,A系統庫中性別字段男為Y,女為N;B系統庫中男為1,女為0。因此商務智能項目在于解決各業務系統數據集中整合問題,因此需要數據抽取,數據清洗,數據轉換等步驟。
業務需求:業務需求是用來描述與客戶關系管理,以不同的方式分析,以報表的形式呈現。
功能需求:包含各業務系統的分析,監控,報表查詢,數據挖掘等。
(2)數倉模型的創建:數倉的模型建立在需求分析的基礎上,開發前業務與需求人員參與設計,并與核心系統人員溝通,最后設計出物理模型。
(3)數據抽取,數據清洗,數據轉換,數據加載(ETL):
???????? 抽取:將數倉需要的數據從各個業務系統中抽取出來。(如果每個系統的數據的狀況不同,則需對數據源進行單獨抽取,抽取 時間可以設置絕對時間或是相對時間)
???????? 清洗:對源數據進行清洗和確認,檢查所抽取的源數據是否符合數倉的規范,清洗分兩種有不同業務系統間有獨自的專用清洗流程,和另一種不同業務系統滿足數倉清洗的通用清洗。以便于確保源數據沒有多余雜質。
???????? 轉換:對源數據進行修改,進行聚合或者計算,轉換。(該步驟在ETL中復雜度最高)
???????? 加載:將數據加載到最后目標表中,通過批量裝載,跑批的形式實現。
(4)建立分析報表:商業智能分析報表通過對數倉中數據的分析,使行方高層可以從多種角度查看銀行運營狀況,探查銀行內部核心數據,以便于對銀行未來發展做出預測。
整體步驟大致如下:
?上述為商務智能理論體系。后繼更新數倉與ETL詳細步驟。
總結
以上是生活随笔為你收集整理的商业智能,数据仓库,ETL,数仓调度工具informatica介绍手账(一)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 古月居 ROS 入门21讲--PA16
- 下一篇: uni-app开发小程序,笔记记录6 商