从报表到数据可视化,我用这五步,成功搭建银行大数据架构
今天來講講銀行的數(shù)字化建設(shè)吧,作為大數(shù)據(jù)量的典型,它的數(shù)據(jù)架構(gòu)搭建是很有意義的。
雙模IT是由gartner首次提出來的概念,當(dāng)時(shí)他是這么解釋的:雙模IT就像武士和忍者,一個(gè)行為嚴(yán)謹(jǐn)規(guī)范,是作戰(zhàn)主力,一個(gè)擅長(zhǎng)盜取暗殺,是高效輔助。其實(shí)就跟抗日戰(zhàn)爭(zhēng)時(shí)期的正規(guī)軍和游擊隊(duì)類似。Gartner認(rèn)為:雙模式IT才是未來很長(zhǎng)一段時(shí)間的主流。
?
雙模IT在數(shù)據(jù)分析上的具體形態(tài),就是將固化分析和探索分析結(jié)合起來,用固化分析來應(yīng)對(duì)復(fù)雜邏輯場(chǎng)景,比如查詢報(bào)表、填報(bào)報(bào)表、復(fù)雜報(bào)表等;探索分析來應(yīng)對(duì)不確定的臨時(shí)場(chǎng)景,進(jìn)行一些探索式業(yè)務(wù)分析,比如大數(shù)據(jù)全量分析、自助取數(shù)、可視化探索分析甚至是數(shù)據(jù)挖掘。
?
舉一個(gè)簡(jiǎn)單的例子,比如1104的貸款質(zhì)量遷徙表,這種報(bào)表比較復(fù)雜,里面涉及到的計(jì)算也比較多,但是內(nèi)容是相對(duì)固定的。所以這種報(bào)表毫無疑問是需要交給IT來完成的,業(yè)務(wù)沒有能力和時(shí)間完成這種復(fù)雜報(bào)表。
但是再看下面兩個(gè)報(bào)表,左右兩邊的報(bào)表整體未改,但是指標(biāo)由于某些原因又需要進(jìn)行增刪改操作,這種需求如果有自助分析平臺(tái),讓報(bào)表有足夠的自由度,業(yè)務(wù)是可以自己去修改報(bào)表的。
?
這個(gè)其實(shí)就是雙模IT的一個(gè)典型場(chǎng)景,雙模IT其實(shí)就是用固化分析和自助分析結(jié)合的模式來解決現(xiàn)階段數(shù)據(jù)應(yīng)用的分工問題,是真正能實(shí)現(xiàn)IT和業(yè)務(wù)雙贏的一種IT解決方案。
?
我們都說離開建設(shè)談應(yīng)用都是耍流氓,那我們?cè)撊绾谓ㄔO(shè)良好的雙模IT架構(gòu)呢,這就是今天的另一個(gè)關(guān)鍵詞了:生態(tài)。
生態(tài)學(xué)思維是指有機(jī)體不能脫離其他環(huán)境單獨(dú)存在,強(qiáng)調(diào)各個(gè)系統(tǒng)之間、各個(gè)個(gè)體之間的相互聯(lián)系和反饋,就像我們的自然生態(tài)系統(tǒng)一樣,任何一個(gè)生命體都不能離開自然生態(tài)而獨(dú)立存活。同樣的,將這個(gè)思維映射到商業(yè)智能的建設(shè)上,就是要建立一個(gè)具有連續(xù)性、多樣性的商業(yè)智能生態(tài)。
我們知道物種多樣性和自然生態(tài)系統(tǒng)的穩(wěn)定高效息息相關(guān),同樣的,商業(yè)智能生態(tài)是否豐富多樣也決定了商業(yè)智能是否可以長(zhǎng)期保持活力。商業(yè)智能的生態(tài)類型非常豐富,但基本分為數(shù)據(jù)生態(tài)、業(yè)務(wù)生態(tài)、分析生態(tài)、產(chǎn)品生態(tài)、應(yīng)用生態(tài)五個(gè)大類。
?
每個(gè)生態(tài)其實(shí)都有其豐富的內(nèi)涵,這也正好符合生態(tài)系統(tǒng)"豐富多樣"的特征,下面我們就詳細(xì)的解釋一下各個(gè)生態(tài)的建設(shè)過程。
數(shù)據(jù)生態(tài)建設(shè)
數(shù)據(jù)生態(tài)建設(shè)的第一步是對(duì)全行數(shù)據(jù)進(jìn)行梳理,建立數(shù)據(jù)治理制度,與業(yè)務(wù)緊密結(jié)合進(jìn)行數(shù)倉建設(shè)。一般的過程是從各個(gè)業(yè)務(wù)系統(tǒng)增量抽取數(shù)據(jù)到ODS貼源層,然后在ODS層數(shù)據(jù)進(jìn)行分類和清洗但是保留最小粒度,最后根據(jù)設(shè)計(jì)好的維度模型進(jìn)行數(shù)倉的建設(shè),形成口徑一致的匯總層數(shù)據(jù)。
一般的,我們還會(huì)在數(shù)倉中建設(shè)一些面向應(yīng)用的數(shù)據(jù)集市,比如面向?qū)徲?jì)我們會(huì)做EAST數(shù)據(jù),面向風(fēng)險(xiǎn)監(jiān)管我們會(huì)有風(fēng)險(xiǎn)集市等。
?
然后就是堅(jiān)持長(zhǎng)期的進(jìn)行數(shù)據(jù)治理。其實(shí)在數(shù)倉的建設(shè)過程中就會(huì)做好一些清洗工作,比如統(tǒng)一編碼規(guī)則,規(guī)范臟數(shù)據(jù)等。但是數(shù)據(jù)治理是一個(gè)長(zhǎng)期的工作,不僅僅包括ETL過程的一次性工作,還包括長(zhǎng)期的組織、制度、流程的配合。
?
那在建設(shè)好數(shù)據(jù)基礎(chǔ)之后,我們?cè)撛趺蠢眠@些數(shù)據(jù)進(jìn)行分析呢?首先我們分析肯定不是亂分析的,而是根據(jù)一定的指標(biāo)體系來進(jìn)行分析的,而指標(biāo)體系在一些傳統(tǒng)分析領(lǐng)域是有非常成熟的指標(biāo)庫的。比如分析盈利性分析、流動(dòng)性風(fēng)險(xiǎn)分析、財(cái)務(wù)分析等。
舉個(gè)例子經(jīng)營狀況分析指標(biāo)體系就包含:資金成本率、經(jīng)營成本率等等。再結(jié)合分析模型,比如說財(cái)務(wù)經(jīng)常使用的杜邦分析模型,就能形成一張層次清晰的分析報(bào)告。
?
有很多人問到,到底什么是分析模型。其實(shí)分析模型就是分析問題的方法、思路,有些能夠固化,而有些需要臨時(shí)確定。復(fù)雜的類似一些數(shù)據(jù)挖掘模型,簡(jiǎn)單的比如針對(duì)客戶的RFM分析模型已經(jīng)有了固化套路了,但是針對(duì)審計(jì)系統(tǒng)的有些新的模型可能需要臨時(shí)分析邏輯,在經(jīng)過行內(nèi)驗(yàn)證之后,就能固化下來,逐漸形成審計(jì)模型庫。
上面這些方法是針對(duì)部門的專業(yè)人員的,但是對(duì)于領(lǐng)導(dǎo)來說,不一定要每個(gè)指標(biāo)都看,這就需要針對(duì)領(lǐng)導(dǎo)的需求進(jìn)行指標(biāo)體系定制。
我們對(duì)多家銀行領(lǐng)導(dǎo)對(duì)于駕駛艙的訴求總結(jié)了一下,給領(lǐng)導(dǎo)的看的指標(biāo)一定要有層次、有分類、有閉環(huán)。有層次就是不能把全行經(jīng)營的所有明細(xì)一股腦的全部給領(lǐng)導(dǎo)進(jìn)行展示,需要按照匯總關(guān)系設(shè)計(jì)一些鉆取聯(lián)動(dòng);有分類就是需要把經(jīng)營指標(biāo)進(jìn)行分類展示,形成類似經(jīng)營看板的報(bào)告;有閉環(huán),就是業(yè)務(wù)有頭有尾,又涵蓋全貌,比如不能只有存貸款分析而沒有收入和利潤(rùn)分析。
比如,可以將全行經(jīng)營指標(biāo)進(jìn)行分類之后進(jìn)行展示的,比如經(jīng)營對(duì)比、規(guī)模對(duì)比、凈利潤(rùn)、凈收入、成本收入比、總資產(chǎn)、各項(xiàng)存款余額、各項(xiàng)貸款余額和不良貸款率等,未達(dá)標(biāo)的大指標(biāo)進(jìn)行泛紅顯示,領(lǐng)導(dǎo)點(diǎn)進(jìn)詳細(xì)信息就可以查看詳細(xì)統(tǒng)計(jì)信息了,比如哪個(gè)支行、哪個(gè)客戶經(jīng)理未達(dá)標(biāo),前五名后五名等。
數(shù)據(jù)整理好了只是完成了將數(shù)據(jù)轉(zhuǎn)化為信息的過程,但是數(shù)據(jù)只有緊密的結(jié)合業(yè)務(wù)場(chǎng)景,才能發(fā)揮更大的價(jià)值。相比于數(shù)據(jù)倉庫采用成熟的建模方式不同,業(yè)務(wù)生態(tài)相對(duì)來說比較個(gè)性化。
業(yè)務(wù)生態(tài)建設(shè)
銀行的業(yè)務(wù)生態(tài)其實(shí)是很復(fù)雜的,但是商業(yè)智能應(yīng)該盡量根據(jù)行內(nèi)的需求進(jìn)行業(yè)務(wù)生態(tài)建設(shè),不能盲目開發(fā)導(dǎo)致資源浪費(fèi)。各個(gè)銀行根據(jù)他們自己的特色和領(lǐng)導(dǎo)的關(guān)注點(diǎn),都開發(fā)了豐富多樣的分析系統(tǒng)。
?
業(yè)務(wù)生態(tài)的建設(shè)相對(duì)于數(shù)據(jù)生態(tài)來說,是比較個(gè)性化的。比如某個(gè)省聯(lián)社其實(shí)已經(jīng)在我們平臺(tái)上建設(shè)了非常多的經(jīng)營管理駕駛艙給到下面的行社來用,但是對(duì)于農(nóng)商行這種區(qū)域特色的金融機(jī)構(gòu)來說,行長(zhǎng)的經(jīng)營管理策略和關(guān)注的指標(biāo)體系都是有不一樣的。
而且不同的時(shí)間節(jié)點(diǎn),關(guān)注的報(bào)表內(nèi)容也是不同的,所以沒辦法一套大而全的系統(tǒng)滿足全省所有農(nóng)商行的管理需求。所以很多行社其實(shí)自己也會(huì)針對(duì)行領(lǐng)導(dǎo)的關(guān)注點(diǎn)來開發(fā)一些特色的管理駕駛艙,還有些會(huì)將駕駛艙放到移動(dòng)端上面,讓領(lǐng)導(dǎo)出差在外也能對(duì)行內(nèi)狀況了如指掌。
分析生態(tài)建設(shè)
其實(shí)不僅僅是指標(biāo)和業(yè)務(wù)是具有多樣性的,分析方式也是具有豐富多樣的形式的。分析生態(tài)的建設(shè)內(nèi)容一般包含四種:固化分析、自助分析、數(shù)據(jù)挖掘和人工智能分析,我們需要根據(jù)需要和科技現(xiàn)狀采取不同的分析方式。
第一個(gè)分析形式是固化報(bào)表。首先我們給報(bào)表下一個(gè)定義:
- 報(bào)表能夠?qū)⑺钄?shù)據(jù)反饋給使用者
- 數(shù)據(jù)將以標(biāo)準(zhǔn)的、預(yù)定義的格式呈現(xiàn)
- 在生成報(bào)表的過程中,除了通過報(bào)表界面請(qǐng)求報(bào)表的使用者外,沒有他人參與
綜上幾點(diǎn):報(bào)表不夠靈活。
一種比較常見的誤解是:手頭上有大量可用的報(bào)表,但是誤以為他們有大量可用的分析。商業(yè)智能的管理員會(huì)說"我們有世界一流的BI環(huán)境,我們有500多份可用的報(bào)表,它們可以覆蓋任何業(yè)務(wù)領(lǐng)域,我們的業(yè)務(wù)人員擁有他們想要的一切數(shù)據(jù)"。
但是,業(yè)務(wù)人員會(huì)說"太失望了!我們花費(fèi)了一兩年時(shí)間來建這個(gè)報(bào)表系統(tǒng),但我依然沒有找到我需要的"。這就是為什么IT和業(yè)務(wù)經(jīng)常爭(zhēng)執(zhí)的原因。
分歧源于下面的事實(shí):好像埋藏在500份報(bào)表中的東西才是業(yè)務(wù)人員所需要的。但是當(dāng)報(bào)表多達(dá)500份時(shí),他們很難從中找出他們想要的。另外,任何兩個(gè)人都希望用他們的方法和角度來看同一件事,這也就意味著每個(gè)報(bào)表都需要面向不同的人員提供不同的觀察角度。
重要的不是報(bào)表的數(shù)量,而是報(bào)表的相關(guān)性。所以在固化分析這一步,我們需要的不僅僅是固化報(bào)表,而是固化報(bào)表群,這個(gè)群是用來表達(dá)一個(gè)業(yè)務(wù)模塊的,并且報(bào)表與報(bào)表之間是有業(yè)務(wù)關(guān)聯(lián)或者邏輯關(guān)聯(lián)的。
比如單獨(dú)的一張流動(dòng)性缺口表是一個(gè)固化報(bào)表,但是如果配合上流動(dòng)性結(jié)構(gòu)表、趨勢(shì)表,資產(chǎn)流動(dòng)性表,負(fù)債流動(dòng)性表等組成一個(gè)報(bào)表群,就能將流動(dòng)性的常規(guī)分析模型給固化下來,每次不用重新思考報(bào)表之間的關(guān)系,也不用每次重新開始一個(gè)分析,固化報(bào)表會(huì)直接給你答案。
那我們?cè)撛趺醋寛?bào)表更加靈活并且確實(shí)對(duì)某類問題行之有效呢?這個(gè)就需要業(yè)務(wù)自助的形式,來對(duì)業(yè)務(wù)問題進(jìn)行探索性的分析。當(dāng)然這個(gè)工作也可以交給IT來做,但是效果肯定沒有業(yè)務(wù)自己拿到數(shù)據(jù)來做好。
因?yàn)闃I(yè)務(wù)是數(shù)據(jù)的生產(chǎn)者,也是應(yīng)該是數(shù)據(jù)的消費(fèi)者,而IT只應(yīng)該是數(shù)據(jù)的加工者。業(yè)務(wù)自助分析是一種社會(huì)專業(yè)化分工細(xì)化的體現(xiàn),銀行的業(yè)務(wù)越來越復(fù)雜,IT人員不太可能同時(shí)對(duì)所有的銀行業(yè)務(wù)都很了解,不懂業(yè)務(wù)去做分析那自然是沒法得到答案的。
IT將數(shù)據(jù)加工成業(yè)務(wù)能懂的數(shù)據(jù)之后,對(duì)業(yè)務(wù)來說數(shù)據(jù)就轉(zhuǎn)化為了信息,然后業(yè)務(wù)再結(jié)合自己的專業(yè)知識(shí),就能將信息場(chǎng)景化的轉(zhuǎn)化為智慧,這就是著名的DIKW模型。
?
除了固化分析和自助分析,現(xiàn)在數(shù)據(jù)挖掘也非常的火。我們?cè)贐I中我們內(nèi)置了一些數(shù)據(jù)挖掘算法,讓業(yè)務(wù)人員也可以在前端用可視化的方式做一些數(shù)據(jù)挖掘工作,結(jié)合FineBI強(qiáng)大的可視化能力,制作出優(yōu)秀的數(shù)據(jù)分析報(bào)告。
?
如果需要更加高級(jí)的數(shù)據(jù)挖掘算法支持,我們也提供R語言深度集成,可以在前端輸入R語句來實(shí)現(xiàn)復(fù)雜的算法,后期也將支持python語言。
?
最后的一個(gè)分析生態(tài),人工智能分析,現(xiàn)階段實(shí)際應(yīng)用場(chǎng)景還比較少,但是我們的創(chuàng)新產(chǎn)品研究所也在持續(xù)跟進(jìn)這樣的新興需求,比如微信語音打開報(bào)表。
產(chǎn)品生態(tài)建設(shè)
要實(shí)現(xiàn)多樣化的數(shù)據(jù)分析方式,我們需要一個(gè)好的平臺(tái)或者工具來支撐這些任務(wù)。帆軟在數(shù)據(jù)行業(yè)沉淀了十幾年了,在產(chǎn)品生態(tài)上已經(jīng)從數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理到最后的數(shù)據(jù)分析都提供了一站式的解決方案,其中也包括云產(chǎn)品和移動(dòng)端分析產(chǎn)品。下面我們來簡(jiǎn)單介紹一下。
首先是FineReport這款產(chǎn)品功能非常的強(qiáng)大,作為中國報(bào)表軟件的領(lǐng)導(dǎo)品牌,是國內(nèi)唯一 一家入選gartner全球報(bào)表市場(chǎng)指南的廠商。主要面向的是IT人員,以簡(jiǎn)單的方式制作復(fù)雜報(bào)表和復(fù)雜可視化報(bào)告,以類Excel的方式設(shè)計(jì)報(bào)表,并且提供強(qiáng)大的數(shù)據(jù)錄入模塊。
?
FineBI作為自助大數(shù)據(jù)分析平臺(tái)的領(lǐng)跑者,提供強(qiáng)大的數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析的功能,讓業(yè)務(wù)人員可以自己定制所需要的報(bào)表。能夠和finereport這種復(fù)雜固化分析形成雙模IT架構(gòu),實(shí)現(xiàn)既有正規(guī)軍又有游擊隊(duì)的數(shù)據(jù)分析模式。為了實(shí)現(xiàn)更加流暢的大數(shù)據(jù)自助分析,FineBI提供了spider引擎,采用分布式架構(gòu)和內(nèi)存計(jì)算,解決大數(shù)據(jù)量分析和快速展現(xiàn)的問題。
?
應(yīng)用生態(tài)建設(shè)
我們針對(duì)行長(zhǎng)、支行長(zhǎng)等管理者,開發(fā)了一套適合行內(nèi)經(jīng)營管理的駕駛艙系統(tǒng)。將行長(zhǎng)經(jīng)常關(guān)注的指標(biāo)梳理成一套模塊化的指標(biāo)體系,結(jié)合帆軟銀行業(yè)多年的經(jīng)驗(yàn)和我們公司的美工和UI設(shè)計(jì),形成一套有管理閉環(huán)、多維度追蹤的行長(zhǎng)駕駛艙。
?
總結(jié)一下
今天分享的內(nèi)容有比較多,不得不總結(jié)一句。其實(shí)講了這么多,圍繞的都是今天的主題"雙模IT銀行商業(yè)智能生態(tài)建設(shè)"方法,總結(jié)一下其實(shí)就是雙模IT的思路加上生態(tài)學(xué)的思維。
?
雙模IT非常好理解,就是需要固化分析和自助分析結(jié)合起來,分別應(yīng)對(duì)一些復(fù)雜分析和探索性臨時(shí)性分析。
生態(tài)學(xué)思維其核心就是相互聯(lián)系和豐富多樣。商業(yè)智能的建設(shè)不能是孤立的系統(tǒng),而應(yīng)該是連接數(shù)據(jù)、業(yè)務(wù)、分析和應(yīng)用的紐帶。
比如不管使用探索分析還是固化分析都可以對(duì)各種業(yè)務(wù)進(jìn)行分析;不同的業(yè)務(wù)生態(tài)也需要不同的數(shù)據(jù)生態(tài)建設(shè)來進(jìn)行支撐;不論使用finereport還是FineBI都可以根據(jù)不同的使用場(chǎng)景選擇PC端、移動(dòng)端和大屏端進(jìn)行展現(xiàn);應(yīng)用生態(tài)的建設(shè)應(yīng)該緊密聯(lián)系銀行的業(yè)務(wù)生態(tài)。
這才是生態(tài)學(xué)思維的究極奧義,生態(tài)既要豐富多彩,又要緊密聯(lián)系,這樣才能讓商業(yè)智能源源不斷的迭代和發(fā)展。
歡迎關(guān)注我的公眾號(hào)“商業(yè)智能研究”,私信回復(fù)“資料包”,即可領(lǐng)取大數(shù)據(jù)、數(shù)據(jù)中臺(tái)、商業(yè)智能、數(shù)據(jù)倉庫等6G精華資料!
總結(jié)
以上是生活随笔為你收集整理的从报表到数据可视化,我用这五步,成功搭建银行大数据架构的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: @大学生|计算机专业怎么要怎么学?掌握这
- 下一篇: 神东煤矿:煤矿管控难?且看帆软如何助力其