簡(jiǎn)介：數(shù)據(jù)中臺(tái)的建設(shè)是一項(xiàng)系統(tǒng)性工程，從組織架構(gòu)、支撐技術(shù)到流程規(guī)范，既要有宏觀的頂層設(shè)計(jì)，又要有強(qiáng)有力的落地執(zhí)行，數(shù)據(jù)中臺(tái)的建設(shè)沒有一勞永逸的辦法，企業(yè)需要從戰(zhàn)略層面進(jìn)行更多思考，再配合選擇合適的數(shù)據(jù)中臺(tái)服務(wù)商，方能在數(shù)據(jù)中臺(tái)建設(shè)之路上走得穩(wěn)妥。

引言

銀行是傳統(tǒng)行業(yè)中非常重視信息化的，而且起步早，信息化程度高，但是由于技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)思維的沖擊使得銀行紛紛面臨數(shù)字化轉(zhuǎn)型的挑戰(zhàn)，這里的轉(zhuǎn)型不僅是業(yè)務(wù)轉(zhuǎn)型，也有技術(shù)轉(zhuǎn)型。

如今，許多業(yè)務(wù)不用跑去網(wǎng)點(diǎn)、柜臺(tái)，人們通過銀行的手機(jī)客戶端，動(dòng)動(dòng)指尖就能完成轉(zhuǎn)賬匯款、購(gòu)買理財(cái)產(chǎn)品等，這些便捷的操作方式正是得益于銀行的數(shù)字化轉(zhuǎn)型。當(dāng)然，數(shù)字化轉(zhuǎn)型轉(zhuǎn)并不只是表面上看到的業(yè)務(wù)轉(zhuǎn)型，還有其背后的技術(shù)、組織架構(gòu)和人的思想的轉(zhuǎn)型。

銀行一直是新技術(shù)的實(shí)驗(yàn)場(chǎng)，因其具有資金優(yōu)勢(shì)和豐富的客戶類型，對(duì)于技術(shù)應(yīng)用而言，有良好的用戶基礎(chǔ)，并能支撐住研發(fā)的資金投入。但是銀行業(yè)面臨的痛點(diǎn)也很明顯，國(guó)內(nèi)銀行業(yè)同質(zhì)競(jìng)爭(zhēng)非常嚴(yán)重，業(yè)務(wù)類型、監(jiān)管標(biāo)準(zhǔn)、客戶群體都高度重疊，但是流程卻各不相同，因?yàn)榱鞒痰谋澈笫墙M織結(jié)構(gòu)和部門利益，各個(gè)銀行之間部門設(shè)置和職責(zé)邊界都是有差別的，這種差別會(huì)直接體現(xiàn)在系統(tǒng)結(jié)構(gòu)上。銀行都在談轉(zhuǎn)型，但真能大刀闊斧改革，并不容易。

民生銀行場(chǎng)景化數(shù)據(jù)服務(wù)中臺(tái)就是在數(shù)字化轉(zhuǎn)型的大背景下誕生的，正因?yàn)榇舜沃信_(tái)實(shí)踐的成功，民生銀行場(chǎng)景化數(shù)據(jù)服務(wù)中臺(tái)也被云計(jì)算開源產(chǎn)業(yè)聯(lián)盟選為“2020云原生應(yīng)用十大優(yōu)秀案例”。

銀行為什么要建數(shù)據(jù)中臺(tái)？

一般來說，數(shù)據(jù)中臺(tái)是指通過數(shù)據(jù)技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)和處理，同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑，形成全域級(jí)、可復(fù)用的數(shù)據(jù)資產(chǎn)中心和數(shù)據(jù)存儲(chǔ)能力中心，形成大數(shù)據(jù)資產(chǎn)層，進(jìn)而為客戶提供高效的服務(wù)。

數(shù)據(jù)中臺(tái)構(gòu)建的服務(wù)具備“可復(fù)用性”，每項(xiàng)服務(wù)都像一個(gè)積木，可以隨意組合，靈活高效地解決前臺(tái)的個(gè)性化需求。其核心理念是“讓一切業(yè)務(wù)數(shù)據(jù)化，一切數(shù)據(jù)業(yè)務(wù)化”。與傳統(tǒng)數(shù)據(jù)平臺(tái)相比，數(shù)據(jù)中臺(tái)著眼于業(yè)務(wù)的積累和沉淀，構(gòu)建了從數(shù)據(jù)生產(chǎn)到消費(fèi)、消費(fèi)后數(shù)據(jù)返回到生產(chǎn)的閉環(huán)過程。

銀行為什么要建數(shù)據(jù)中臺(tái)？

近年來銀行經(jīng)營(yíng)壓力持續(xù)增大，為了尋求新的增長(zhǎng)點(diǎn)，各條業(yè)務(wù)線提出了諸多個(gè)性化數(shù)據(jù)分析和服務(wù)的訴求，在沒有數(shù)據(jù)中臺(tái)時(shí)，要滿足諸如個(gè)金、私銀、小微、公司、供應(yīng)鏈、資管等諸多業(yè)務(wù)線的數(shù)據(jù)需求，數(shù)據(jù)分析師和工程師需要在后臺(tái)數(shù)據(jù)倉(cāng)庫(kù)上完成T+1的數(shù)據(jù)加工，然后將數(shù)據(jù)文件推送給各個(gè)業(yè)務(wù)前端系統(tǒng)，每個(gè)業(yè)務(wù)前端系統(tǒng)都維持一個(gè)小規(guī)模的數(shù)據(jù)團(tuán)隊(duì)，專門負(fù)責(zé)將數(shù)據(jù)文件轉(zhuǎn)化為自己領(lǐng)域內(nèi)的數(shù)據(jù)服務(wù)，實(shí)現(xiàn)業(yè)務(wù)需求。這種模式下有幾個(gè)明顯的痛點(diǎn)：

痛點(diǎn)1：存儲(chǔ)浪費(fèi)大。數(shù)據(jù)以文件方式分發(fā)到各個(gè)下游系統(tǒng)，均需要占用大量寶貴的存儲(chǔ)空間，特別是通用數(shù)據(jù)（例如用戶屬性標(biāo)簽等）的存儲(chǔ)和服務(wù)，亟需集中化的存儲(chǔ)和服務(wù)支撐，并且需要“云化的異構(gòu)存儲(chǔ)能力”支撐。

痛點(diǎn)2：傳遞效率低。文件式數(shù)據(jù)應(yīng)用鏈路以T+1批量為主，全量數(shù)據(jù)“一股腦”加載進(jìn)本地應(yīng)用庫(kù)，數(shù)據(jù)獲取的效率遠(yuǎn)低于通過服務(wù)“按需”調(diào)用獲取指定內(nèi)容，數(shù)據(jù)中臺(tái)為了支持前端各具業(yè)務(wù)特色的數(shù)據(jù)應(yīng)用場(chǎng)景，需要“微服務(wù)”支撐。

痛點(diǎn)3：人力投入大。雖然每個(gè)業(yè)務(wù)前端系統(tǒng)只維持一個(gè)小規(guī)模的數(shù)據(jù)團(tuán)隊(duì)，但銀行前端業(yè)務(wù)系統(tǒng)眾多，整體投入不容忽視，并且很多方向并沒有對(duì)應(yīng)的數(shù)據(jù)團(tuán)隊(duì)，因此很多業(yè)務(wù)數(shù)據(jù)上的一些思路和訴求，迭代較慢，在技術(shù)上需要“云化的部署運(yùn)營(yíng)能力”支撐。
**
痛點(diǎn)4：**管控力度弱。目前的文件式數(shù)據(jù)應(yīng)用方式，文件傳送出去后，缺少有效的管控手段，無法準(zhǔn)確回答數(shù)據(jù)如何使用、使用頻次等問題，數(shù)據(jù)的價(jià)值很難評(píng)估，這就需要考慮“云化的協(xié)作管理能力”建設(shè)。

“微服務(wù)”、“云化的異構(gòu)存儲(chǔ)能力”、“云化的部署運(yùn)營(yíng)能力”、“云化的協(xié)作管理能力”是數(shù)據(jù)中臺(tái)解決目前金融業(yè)數(shù)據(jù)應(yīng)用痛點(diǎn)的思路，將數(shù)據(jù)服務(wù)集中進(jìn)行開發(fā)和處理，盤活數(shù)據(jù)，讓數(shù)據(jù)在線。

數(shù)據(jù)中臺(tái)體系技術(shù)方案

民生銀行數(shù)據(jù)中臺(tái)體系采用“微服務(wù)+云化技術(shù)”作為基礎(chǔ)技術(shù)架構(gòu)選型，核心運(yùn)轉(zhuǎn)模式由 Engine 引擎體系、 Service 服務(wù)體系、 Open 路由體系、 Plus 管理體系各類專項(xiàng)組件協(xié)同運(yùn)轉(zhuǎn)完成：

結(jié)合民生銀行現(xiàn)階段業(yè)務(wù)經(jīng)營(yíng)的迫切訴求，阿里云從技術(shù)平臺(tái)和數(shù)據(jù)交付兩個(gè)層面為民生銀行制定了架構(gòu)設(shè)計(jì)路線。

在技術(shù)平臺(tái)層面，通過微服務(wù)架構(gòu)完成數(shù)據(jù)及模型的服務(wù)化，便于直接在系統(tǒng)上高效對(duì)接，結(jié)合技術(shù)組件特點(diǎn)和場(chǎng)景特點(diǎn)完成服務(wù)的標(biāo)準(zhǔn)化，形成標(biāo)準(zhǔn)的交付模式，進(jìn)一步在技術(shù)上形成可配置化的服務(wù)框架，快速生產(chǎn)場(chǎng)景數(shù)據(jù)服務(wù)。在底層技術(shù)上，由于中臺(tái)數(shù)據(jù)服務(wù)的集中化建設(shè)，底層采用分布式以及云化的相關(guān)技術(shù)完成基礎(chǔ)層建設(shè)，讓服務(wù)更高效可靠地發(fā)布、運(yùn)行并可管控。

在交付的內(nèi)容層面，將團(tuán)隊(duì)組織架構(gòu)配合場(chǎng)景數(shù)據(jù)標(biāo)準(zhǔn)分區(qū)，形成小隊(duì)敏捷的交付模式，提高業(yè)務(wù)交付效率。在統(tǒng)一的平臺(tái)工作標(biāo)準(zhǔn)和模式下，沉淀共性數(shù)據(jù)內(nèi)容，領(lǐng)域內(nèi)形成工具、數(shù)據(jù)的復(fù)用，做到在靈活高效交付的同時(shí)，實(shí)現(xiàn)降本增效。

民生銀行數(shù)據(jù)中臺(tái)核心運(yùn)轉(zhuǎn)模式如下圖所示。

數(shù)據(jù)中臺(tái)核心模塊運(yùn)轉(zhuǎn)模式

首先，由Engine引擎體系完成對(duì)數(shù)據(jù)能力、模型能力的抽象封裝，以應(yīng)對(duì)不同場(chǎng)景的智能數(shù)據(jù)需求。

其次，Service 服務(wù)體系完成引擎抽象能力與實(shí)際業(yè)務(wù)數(shù)據(jù)的結(jié)合應(yīng)用，通過微服務(wù)模式靈活搭配，打造具備業(yè)務(wù)屬性的數(shù)據(jù)服務(wù)產(chǎn)品。

第三，通過 Open 體系（OpenAPI、OpenFILE、OpenMSG、OpenCFG）完成對(duì)業(yè)務(wù)系統(tǒng)與業(yè)務(wù)人員的快速賦能。最后，Plus 管理體系完成微服務(wù)云化管理、數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)可視化等統(tǒng)一管理功能，并通過DevOps、容器、高性能數(shù)據(jù)訪問緩存等前沿技術(shù)組件完成數(shù)據(jù)服務(wù)高并發(fā)、高可用、彈性部署等技術(shù)能力的提升。

引擎、服務(wù)、路由協(xié)同運(yùn)轉(zhuǎn)，統(tǒng)籌管理，共同打造了場(chǎng)景化金融數(shù)據(jù)服務(wù)能力。從數(shù)據(jù)指標(biāo)、數(shù)據(jù)決策、智能推薦、智能模型等多個(gè)層面提供了立體化的快速支持，為金融業(yè)務(wù)數(shù)字化、智能化轉(zhuǎn)型升級(jí)的重要支撐。

異構(gòu)分級(jí)存儲(chǔ)方案

數(shù)據(jù)中臺(tái)支撐的金融業(yè)務(wù)場(chǎng)景多樣，民生銀行結(jié)合數(shù)據(jù)應(yīng)用特點(diǎn)、數(shù)據(jù)存儲(chǔ)組件能力、運(yùn)維服務(wù)級(jí)別等因素，構(gòu)建了一套異構(gòu)大數(shù)據(jù)存儲(chǔ)組件的分級(jí)應(yīng)用體系，在大數(shù)據(jù)存儲(chǔ)組件服務(wù)能力和業(yè)務(wù)場(chǎng)景訴求間取得平衡，取長(zhǎng)補(bǔ)短，根據(jù)場(chǎng)景選擇合適的存儲(chǔ)組件，靈活組合、插拔式使用。

以常規(guī)的數(shù)據(jù)分級(jí)存儲(chǔ)方案為例，如下圖所示，引入 Redis 作為統(tǒng)一緩存，屏蔽下級(jí)組件服務(wù)性能波動(dòng)，通過數(shù)據(jù)業(yè)務(wù)日期進(jìn)行分割，近期數(shù)據(jù)存儲(chǔ)在 MySQL，提供 7*24 小時(shí)的運(yùn)維服務(wù)保證支撐，歷史數(shù)據(jù)存儲(chǔ)在 HBase&SDB 等大數(shù)據(jù)存儲(chǔ)組件，提供強(qiáng)大的服務(wù)能力和水平擴(kuò)展能力。

數(shù)據(jù)中臺(tái)云原生應(yīng)用實(shí)現(xiàn)兩個(gè)“易”

金融領(lǐng)域里，數(shù)據(jù)中臺(tái)云原生應(yīng)用服務(wù)的特點(diǎn)相對(duì)明確：

一是讓業(yè)務(wù)需求方真正能夠感受到數(shù)據(jù)“易用”，數(shù)據(jù)能夠直接輸出到系統(tǒng)、能夠在線閉環(huán)、能夠快速敏捷迭代開發(fā)。

二是在技術(shù)平臺(tái)層面，集中的平臺(tái)要面對(duì)不同業(yè)務(wù)條線、業(yè)務(wù)系統(tǒng)以滿足他們的數(shù)據(jù)服務(wù)訴求，平臺(tái)自身也具備支撐多樣化需求的能力。

1、技術(shù)平臺(tái)上“易”

數(shù)據(jù)中臺(tái)改變過去數(shù)據(jù)以文件輸出的模式，將數(shù)據(jù)、模型等服務(wù)化，能夠直連場(chǎng)景，便于形成在線的數(shù)據(jù)閉環(huán)。針對(duì)不同的數(shù)據(jù)服務(wù)場(chǎng)景，結(jié)合技術(shù)分級(jí)，按分級(jí)形成標(biāo)準(zhǔn)交付模式。通過標(biāo)準(zhǔn)化后，在開發(fā)上也抽象數(shù)據(jù)服務(wù)框架，結(jié)合“微服務(wù)+云化”支撐，以及配套DevOps體系完善，最后達(dá)到通過配置即可產(chǎn)生新的數(shù)據(jù)服務(wù)，提高效率，同時(shí)也便于質(zhì)量管控。

2、交付內(nèi)容上“易”

數(shù)據(jù)中臺(tái)可以實(shí)現(xiàn)交付敏捷化，快速滿足業(yè)務(wù)需求，數(shù)據(jù)運(yùn)營(yíng)和經(jīng)營(yíng)本質(zhì)就是一個(gè)不停迭代往前的過程，通過標(biāo)準(zhǔn)化、配置化的技術(shù)平臺(tái)，按照條線領(lǐng)域配置矩陣式的人員交付工作模式。通過數(shù)據(jù)服務(wù)的集中開發(fā)和服務(wù)管控，通過集中監(jiān)控去量化數(shù)據(jù)價(jià)值，準(zhǔn)確了解數(shù)據(jù)使用的狀況，并最終實(shí)現(xiàn)成果共享化。

更多創(chuàng)新探索

民生銀行數(shù)據(jù)中臺(tái)體系在踐行云化架構(gòu)思想上，結(jié)合金融領(lǐng)域數(shù)據(jù)服務(wù)特點(diǎn)，進(jìn)行了三個(gè)方面的創(chuàng)新探索：

平臺(tái)層面打造一站式的數(shù)據(jù)服務(wù)云化DevOps工作臺(tái)

核心模塊“數(shù)據(jù)服務(wù)云平臺(tái)”與“場(chǎng)景化數(shù)據(jù)存儲(chǔ)組件”聯(lián)合打造具備服務(wù)場(chǎng)景化管理、技術(shù)框架靈活插拔、運(yùn)維工具豐富全面的“云化開發(fā)”、“云化存儲(chǔ)”、“云化發(fā)布”、“云化運(yùn)維”的一站式工作臺(tái)。

管理層面提出一套場(chǎng)景金融服務(wù)管理方案

民生銀行根據(jù)自身業(yè)務(wù)經(jīng)營(yíng)狀況，采用“場(chǎng)景分區(qū)+技術(shù)分級(jí)”方案，保證數(shù)據(jù)中臺(tái)服務(wù)在業(yè)務(wù)場(chǎng)景高交付下做到可管理、可控制，能夠長(zhǎng)期有序運(yùn)行。

組件層面提出一套異構(gòu)組件分級(jí)應(yīng)用方案

金融數(shù)據(jù)應(yīng)用特點(diǎn)、數(shù)據(jù)存儲(chǔ)組件能力、運(yùn)維服務(wù)級(jí)別等因素，民生銀行數(shù)據(jù)中臺(tái)構(gòu)建了一套異構(gòu)大數(shù)據(jù)存儲(chǔ)組件的分級(jí)應(yīng)用體系，在大數(shù)據(jù)存儲(chǔ)組件服務(wù)能力和業(yè)務(wù)場(chǎng)景訴求間取得平衡，取長(zhǎng)補(bǔ)短，并能根據(jù)場(chǎng)景選擇合適的存儲(chǔ)組件，靈活組合、插拔式使用。

場(chǎng)景化數(shù)據(jù)中臺(tái)的效果

數(shù)據(jù)中臺(tái)是連接前臺(tái)和后臺(tái)的核心資源。通過為前臺(tái)提供強(qiáng)大的“能力炮火”支持，可以將后臺(tái)系統(tǒng)中需要頻繁變化或前臺(tái)需要直接使用的業(yè)務(wù)能力“提取”到中臺(tái)層，賦予這些業(yè)務(wù)能力更高的靈活度和更低的變更成本。

民生銀行建設(shè)場(chǎng)景化數(shù)據(jù)中臺(tái)的效果非常明顯：首先是數(shù)據(jù)能力的提升，圍繞數(shù)據(jù)指標(biāo)在線化、實(shí)時(shí)化，算法模型服務(wù)化，開放更多大數(shù)據(jù)能力，將數(shù)據(jù)應(yīng)用方式由后臺(tái)向中臺(tái)化、服務(wù)化演進(jìn)，直接為業(yè)務(wù)賦能；

其次是交付效率的提升，結(jié)合業(yè)務(wù)場(chǎng)景，將分布在不同模塊和組件中的數(shù)據(jù)服務(wù)統(tǒng)一管理、規(guī)劃服務(wù)方式和標(biāo)準(zhǔn)，統(tǒng)一服務(wù)調(diào)用方式，統(tǒng)一開發(fā)框架，統(tǒng)一緩存機(jī)制和輔助開發(fā)工具，縮短新產(chǎn)品開發(fā)周期，提升了交付效率；

三是運(yùn)維效能的提升，采用阿里云微服務(wù)+基于Docker容器的云化技術(shù)，應(yīng)用的部署、啟動(dòng)、升級(jí)、停止、藍(lán)綠發(fā)布、彈伸縮等運(yùn)維操作一鍵化，實(shí)現(xiàn)功能及服務(wù)的靈活打包部署，構(gòu)建位置透明的集群服務(wù)體系，降低領(lǐng)域繁雜的數(shù)據(jù)應(yīng)用運(yùn)維成本。

最后是管理效能的提升，在統(tǒng)一的平臺(tái)工作標(biāo)準(zhǔn)和模式下，沉淀共性數(shù)據(jù)內(nèi)容，領(lǐng)域內(nèi)形成工具、數(shù)據(jù)的復(fù)用，做到在靈活高效交付的同時(shí)，豐富了管理抓手，實(shí)現(xiàn)提效降本。

總結(jié)

數(shù)據(jù)中臺(tái)的建設(shè)是一項(xiàng)系統(tǒng)性工程，從組織架構(gòu)、支撐技術(shù)到流程規(guī)范，既要有宏觀的頂層設(shè)計(jì)，又要有強(qiáng)有力的落地執(zhí)行，數(shù)據(jù)中臺(tái)的建設(shè)沒有一勞永逸的辦法，企業(yè)需要從戰(zhàn)略層面進(jìn)行更多思考，再配合選擇合適的數(shù)據(jù)中臺(tái)服務(wù)商，方能在數(shù)據(jù)中臺(tái)建設(shè)之路上走得穩(wěn)妥。

原文鏈接：https://developer.aliyun.com/article/770528?

版權(quán)聲明：本文內(nèi)容由阿里云實(shí)名注冊(cè)用戶自發(fā)貢獻(xiàn)，版權(quán)歸原作者所有，阿里云開發(fā)者社區(qū)不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請(qǐng)查看《阿里云開發(fā)者社區(qū)用戶服務(wù)協(xié)議》和《阿里云開發(fā)者社區(qū)知識(shí)產(chǎn)權(quán)保護(hù)指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫侵權(quán)投訴表單進(jìn)行舉報(bào)，一經(jīng)查實(shí)，本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。

總結(jié)

以上是生活随笔為你收集整理的民生银行场景化数据中台是如何炼成的？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。