商业智能,数据仓库,ETL,数仓调度工具informatica介绍手账(一)
商業(yè)智能
什么是商業(yè)智能?什么樣的企業(yè)需要商業(yè)智能?大家知道商業(yè)銀行所涉及的系統(tǒng)非常之多,銀行網(wǎng)點也非常之多,每家網(wǎng)點現(xiàn)金流入、流出每天都是不一樣的,那么銀行面臨的問題出現(xiàn)了,如何平衡各網(wǎng)點現(xiàn)金流?
商業(yè)智能的作用在于幫助你將一些數(shù)據(jù)轉(zhuǎn)化成具有商業(yè)價值,而且能夠從中獲取有用信息傳遞給需要的對應(yīng)系統(tǒng)。例如,你購買餐巾紙,大瓶可樂以及零食,系統(tǒng)會提示你是否想要購買一次性紙杯。數(shù)據(jù)可以轉(zhuǎn)化為信息,最后轉(zhuǎn)化成利潤。這便是商業(yè)智能的作用。銀行經(jīng)過多年的經(jīng)營或ERP系統(tǒng)的運(yùn)行,坐擁大量的經(jīng)營數(shù)據(jù),如何將這些大量的數(shù)據(jù)轉(zhuǎn)化為信息傳達(dá)給銀行領(lǐng)導(dǎo),并轉(zhuǎn)化成利潤,這便是商業(yè)智能的工作。就好像是采礦將開采出的礦石提純做成煤炭或者鉆石。
商業(yè)智能的實現(xiàn):首先需要銀行系統(tǒng)體系結(jié)構(gòu)的設(shè)計,數(shù)據(jù)庫,數(shù)據(jù)抽取、轉(zhuǎn)換、清洗(ETL),前端web開發(fā),元數(shù)據(jù)的應(yīng)用。
商業(yè)智能的實施方案:
(1)需求定義:需求分析是商業(yè)智能的重要階段,描述項目的背景目的,以及業(yè)務(wù)需求與功能需求等。各業(yè)務(wù)系統(tǒng)多種多樣,數(shù)據(jù)冗余,復(fù)雜,以及各業(yè)務(wù)系統(tǒng)數(shù)據(jù)存在不統(tǒng)一,報表展示單一,數(shù)據(jù)分散等情況,行方高層領(lǐng)導(dǎo)無法站在更高層次上去對業(yè)務(wù)進(jìn)行分析 從而做出重大決策。例如,A系統(tǒng)庫中性別字段男為Y,女為N;B系統(tǒng)庫中男為1,女為0。因此商務(wù)智能項目在于解決各業(yè)務(wù)系統(tǒng)數(shù)據(jù)集中整合問題,因此需要數(shù)據(jù)抽取,數(shù)據(jù)清洗,數(shù)據(jù)轉(zhuǎn)換等步驟。
業(yè)務(wù)需求:業(yè)務(wù)需求是用來描述與客戶關(guān)系管理,以不同的方式分析,以報表的形式呈現(xiàn)。
功能需求:包含各業(yè)務(wù)系統(tǒng)的分析,監(jiān)控,報表查詢,數(shù)據(jù)挖掘等。
(2)數(shù)倉模型的創(chuàng)建:數(shù)倉的模型建立在需求分析的基礎(chǔ)上,開發(fā)前業(yè)務(wù)與需求人員參與設(shè)計,并與核心系統(tǒng)人員溝通,最后設(shè)計出物理模型。
(3)數(shù)據(jù)抽取,數(shù)據(jù)清洗,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)加載(ETL):
???????? 抽取:將數(shù)倉需要的數(shù)據(jù)從各個業(yè)務(wù)系統(tǒng)中抽取出來。(如果每個系統(tǒng)的數(shù)據(jù)的狀況不同,則需對數(shù)據(jù)源進(jìn)行單獨(dú)抽取,抽取 時間可以設(shè)置絕對時間或是相對時間)
???????? 清洗:對源數(shù)據(jù)進(jìn)行清洗和確認(rèn),檢查所抽取的源數(shù)據(jù)是否符合數(shù)倉的規(guī)范,清洗分兩種有不同業(yè)務(wù)系統(tǒng)間有獨(dú)自的專用清洗流程,和另一種不同業(yè)務(wù)系統(tǒng)滿足數(shù)倉清洗的通用清洗。以便于確保源數(shù)據(jù)沒有多余雜質(zhì)。
???????? 轉(zhuǎn)換:對源數(shù)據(jù)進(jìn)行修改,進(jìn)行聚合或者計算,轉(zhuǎn)換。(該步驟在ETL中復(fù)雜度最高)
???????? 加載:將數(shù)據(jù)加載到最后目標(biāo)表中,通過批量裝載,跑批的形式實現(xiàn)。
(4)建立分析報表:商業(yè)智能分析報表通過對數(shù)倉中數(shù)據(jù)的分析,使行方高層可以從多種角度查看銀行運(yùn)營狀況,探查銀行內(nèi)部核心數(shù)據(jù),以便于對銀行未來發(fā)展做出預(yù)測。
整體步驟大致如下:
?上述為商務(wù)智能理論體系。后繼更新數(shù)倉與ETL詳細(xì)步驟。
總結(jié)
以上是生活随笔為你收集整理的商业智能,数据仓库,ETL,数仓调度工具informatica介绍手账(一)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 古月居 ROS 入门21讲--PA16
- 下一篇: uni-app开发小程序,笔记记录6 商