傳統(tǒng)來講，銀行定制一張報表，分析某個業(yè)務(wù)數(shù)據(jù)，主要通過業(yè)務(wù)部門提出需求，科技部門編寫程序來實現(xiàn)。從提出需求到科技部最終開發(fā)完報表，中間存在反復(fù)的口徑溝通、試驗取數(shù)的過程。一張報表，從考慮排期問題，提出需求，到最終完成快則一兩周，慢則幾個月。

?

傳統(tǒng)數(shù)據(jù)分析平臺遇到的問題如下：

• 數(shù)據(jù)分析流程冗長。業(yè)務(wù)人員對任何已有報表的調(diào)整需求，都要嚴重依賴IT人員重新開發(fā)并發(fā)布，流程復(fù)雜，效率低下。
• 報表查詢變慢。隨著數(shù)據(jù)量增加，已有的業(yè)務(wù)報表查詢時間越來越長，單個報表查詢長達數(shù)分鐘。
• 非結(jié)構(gòu)化數(shù)據(jù)分析難。對系統(tǒng)日志等非結(jié)構(gòu)化數(shù)據(jù)的分析需求難以實現(xiàn)，無法快速滿足新興業(yè)務(wù)場景。
• 原平臺擴展性差。原有數(shù)據(jù)倉庫的性能遇到嚴重瓶頸，可擴展性極低，受制于國外廠商，成本高昂。
• 嚴重依賴IT。大量IT資源被浪費在重復(fù)性的工作中，無法釋放出來使能新技術(shù)、新平臺以支撐快速發(fā)展的新業(yè)務(wù)。

國內(nèi)某頂尖銀行也曾遇到過這個問題，那他們是怎么解決的？

• 把明細寬表他們可理解的數(shù)據(jù)，給到業(yè)務(wù)部門，交由業(yè)務(wù)人員自助探索分析。
• 基礎(chǔ)查詢類報表：來自于基層業(yè)務(wù)和日常工作，功能作用于某一項具體的工作，比如銷售業(yè)績查詢、商品庫存查詢、在途庫存查詢、采購訂單查詢等，形成固定類目的查詢報表，用戶在工作需要時，會通過查詢此類報表，來得到自己想要的數(shù)據(jù)，以支撐自己的工作。

基于以上原因，搭建一套大數(shù)據(jù)分析平臺，支持快速靈活、交互式、探索性的數(shù)據(jù)查詢和分析，讓業(yè)務(wù)人員使用簡單拖拉拽操作就能夠完成日常的數(shù)據(jù)分析工作，才是解決問題的根本。

在搭建數(shù)據(jù)自助查詢平臺時，涉及技術(shù)架構(gòu)、數(shù)據(jù)模型和BI工具選型三方面，在這里以國內(nèi)某頂尖銀行的大數(shù)據(jù)平臺為例，和大家講一講。

?

1.技術(shù)架構(gòu)：

是三方面中相對比較容易的，并不是說架構(gòu)這個東西簡單，而是因為以目前市面上的技術(shù)實現(xiàn)起來不難。不知題主目前是否有較為完善的數(shù)據(jù)倉庫？如果沒有，則需要搭建一個收集業(yè)務(wù)數(shù)據(jù)，并對數(shù)據(jù)進行加工的環(huán)境，用Hadoop就可以了。

對于大體量內(nèi)外部數(shù)據(jù)的高度自由的實時查詢，需要有可靠的底層數(shù)據(jù)處理平臺的支撐。從經(jīng)濟成本和未來數(shù)據(jù)的非線性增長趨勢的角度分析。設(shè)計的架構(gòu)時，傳統(tǒng)的交易系統(tǒng)運用關(guān)系型數(shù)據(jù)庫處理OLTP事務(wù)操作，產(chǎn)生的交易數(shù)據(jù)通過異構(gòu)數(shù)據(jù)的批量復(fù)制方式或消息隊列的準(zhǔn)實時方式更新至Hadoop平臺，Hadoop平臺可以進行大體量數(shù)據(jù)的分析和挖掘，并提供基于大數(shù)據(jù)的應(yīng)用系統(tǒng)實時檢索的模式。有了數(shù)據(jù)倉庫之后，數(shù)據(jù)就可以按照數(shù)據(jù)模型進行加工。

?

2.數(shù)據(jù)模型

是三方面中最難的部分。原因是數(shù)據(jù)模型牽涉面最廣，涉及到業(yè)務(wù)結(jié)構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)化、指標(biāo)定義等多方面，而每一方面又很難有客觀的標(biāo)準(zhǔn)，隨著時間的變化都會不斷變化，可以說，數(shù)據(jù)模型的好壞直接決定了這個項目的成功與否。

?

持續(xù)整合核心系統(tǒng)、信用卡系統(tǒng)等幾十個業(yè)務(wù)的交易數(shù)據(jù)、賬戶數(shù)據(jù)和客戶基礎(chǔ)數(shù)據(jù)，建立數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)治理體系，開發(fā)風(fēng)險數(shù)據(jù)集市、監(jiān)管報送集市等多個內(nèi)部數(shù)據(jù)集市。行外引入包括監(jiān)管部門的客戶風(fēng)險預(yù)警信息、環(huán)保不達標(biāo)信息、公共媒體負面信息等19項外部數(shù)據(jù)源，幾千項外部數(shù)據(jù)字段，并運用網(wǎng)絡(luò)爬蟲技術(shù)和命名實體識別技術(shù)，抓取公共網(wǎng)絡(luò)媒體輿情信息，形成海量的外部數(shù)據(jù)集市。

通過在大數(shù)據(jù)平臺上整合行內(nèi)與行外數(shù)據(jù)，線上與線下數(shù)據(jù)，結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，有效解決了傳統(tǒng)銀行普遍面臨的“信息孤島”問題。在數(shù)據(jù)整合的基礎(chǔ)上，利用智能化大數(shù)據(jù)分析工具進行各類數(shù)據(jù)的統(tǒng)計、分析、查詢和建模成為可能。

數(shù)據(jù)模型應(yīng)該建的盡可能簡單，特別要貼近業(yè)務(wù)結(jié)構(gòu)，具體如何建模呢？主要有三個步驟：

（1）調(diào)研業(yè)務(wù)：包括業(yè)務(wù)結(jié)構(gòu)和業(yè)務(wù)期望產(chǎn)出的指標(biāo)口徑，調(diào)研方法就是和業(yè)務(wù)人員泡在一起，從業(yè)務(wù)目標(biāo)、業(yè)務(wù)結(jié)構(gòu)、支撐業(yè)務(wù)的系統(tǒng)、到業(yè)務(wù)報表、指標(biāo)口徑都要詳細了解。其中最重要的當(dāng)屬業(yè)務(wù)結(jié)構(gòu)和指標(biāo)清單（含計算邏輯）。

（2）調(diào)研數(shù)據(jù)：根據(jù)支撐業(yè)務(wù)的系統(tǒng)清單，挨個調(diào)研每個系統(tǒng)所產(chǎn)生數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)、更新方式、數(shù)據(jù)質(zhì)量等等，如果題主有比較完善的數(shù)據(jù)倉庫，那么這些材料都可以從數(shù)據(jù)倉庫團隊要到。

（3）建模：根據(jù)前兩步掌握的信息，按照業(yè)務(wù)結(jié)構(gòu)建立數(shù)據(jù)模型，這里不過多贅述。

3.BI平臺選擇

銀行業(yè)務(wù)系統(tǒng)眾多，對于數(shù)據(jù)分析平臺的維度要求就很高；數(shù)據(jù)量大，就需要大數(shù)據(jù)平臺有很強的敏捷性，能在幾秒之內(nèi)對海量數(shù)據(jù)做出反應(yīng)；要解決業(yè)務(wù)自助取數(shù)，自助分析，這里需要一個自助式BI平臺。

市面上的BI工具那么多，國外的powerBI，Tableau，國產(chǎn)的自助式FineBI等，我該去怎么選擇呢？

?

這幾個處理數(shù)據(jù)的能力都非常出色，Tableau功能非常強大，但也過于強大，以至于業(yè)務(wù)用戶很難上手，不是簡單的拖拉操作可以駕馭的。

這里我推薦FineBI，我還特地為它做了一張圖哈哈哈哈，因為是真的很好用，上文提到的國內(nèi)某頂尖銀行也是基于FineBI去開發(fā)的，同時據(jù)我了解，國內(nèi)大多數(shù)銀行都在使用FineBI。

順便提一下，前兩個國外產(chǎn)品，就我使用的過程中出了問題找不到任何解決辦法，只能靠自己摸索，費時費力，FineBI有自己的幫助文檔，絕大多數(shù)問題都可以找到答案，甚至還有技術(shù)支持隨時待命，體驗非常棒。

IT人員和業(yè)務(wù)人員共同定制好業(yè)務(wù)可理解的主題包（這里IT人員直接將數(shù)據(jù)按業(yè)務(wù)按主題準(zhǔn)備在FineBI的業(yè)務(wù)包中），可以將數(shù)據(jù)由業(yè)務(wù)人員自行設(shè)計報表。

通過這種方式進行統(tǒng)計分析，在定制數(shù)據(jù)包的基礎(chǔ)上由業(yè)務(wù)人員自主查詢數(shù)據(jù)，所見即所得，在數(shù)據(jù)查詢、統(tǒng)計的過程中分析，可以大大提高工作效率。搭建這個系統(tǒng)之外，他們還做了一件事，就是在各個業(yè)務(wù)條線培養(yǎng)具有數(shù)據(jù)分析挖掘能力的人才，解決日常工作中的數(shù)據(jù)分析難題。

以客戶在銀行辦理業(yè)務(wù)的行為路徑，可以有這樣幾個主題，不同主題有對應(yīng)的場景及其指標(biāo)，使用FineBI即可做到精確分析。

搭建一個數(shù)據(jù)平臺可能是項目制的工作，在一段時間內(nèi)會完成，但是搭建數(shù)據(jù)分析體系這件事卻任重而道遠。但是如果有人能在做產(chǎn)品的同時，將金融行業(yè)同類的數(shù)據(jù)應(yīng)用經(jīng)驗也分享給你，幫助你去搭建數(shù)據(jù)分析體系，那就是真正的“良藥”了。

總結(jié)

以上是生活随笔為你收集整理的调研了32家银行，总结出了银行BI大数据平台建设的一套模式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。