再问数据中台 - 数据中台是什么？
數(shù)據(jù)中臺需求的出現(xiàn)，是企業(yè)數(shù)字化轉(zhuǎn)型的一個標(biāo)志性的轉(zhuǎn)折，數(shù)據(jù)中臺成為熱點(diǎn)，標(biāo)志著，“在企業(yè)信息化或者數(shù)字化的歷史上，數(shù)據(jù)從來沒有距離業(yè)務(wù)這么近，數(shù)字化轉(zhuǎn)型正從流程優(yōu)先走向數(shù)據(jù)優(yōu)先”。要想從根本上理解數(shù)據(jù)中臺是什么，要認(rèn)識到數(shù)據(jù)和軟件的關(guān)系
信息化和數(shù)字化的本質(zhì)區(qū)別是：
????“信息化是用軟件工程技術(shù)局部支撐和改良業(yè)務(wù)，數(shù)字化是用數(shù)字化技術(shù)重塑和轉(zhuǎn)型業(yè)務(wù)本身”，而數(shù)據(jù)則是構(gòu)成數(shù)字化業(yè)務(wù)世界的原子材料。
????數(shù)據(jù)從應(yīng)用誕生的那一天開始就存在，但是，數(shù)據(jù)并不是第一天就被存儲和利用的，應(yīng)用和數(shù)據(jù)的發(fā)展是不同步的，數(shù)據(jù)的地位是不斷演進(jìn)，越來越重要的，經(jīng)歷了以下五個階段：
?
階段1：數(shù)據(jù)沒有被存儲
早期的應(yīng)用，是為了解決某一個單點(diǎn)的問題，比如計算器，計算過程的數(shù)據(jù)是不被存儲的，但是計算的過程中，數(shù)據(jù)是客觀存在的。這個階段，數(shù)據(jù)是應(yīng)用的過程產(chǎn)物，產(chǎn)生即丟棄，并不被存儲。
?
階段2：只有少量結(jié)果數(shù)據(jù)被存儲和查詢
當(dāng)應(yīng)用的功能豐富后，軟件從解決單點(diǎn)問題的工具演進(jìn)到處理一類業(yè)務(wù)問題，從而有了多個功能模塊。典型的例子是辦公自動化系統(tǒng)、進(jìn)銷存系統(tǒng)，這個時候少量的結(jié)果數(shù)據(jù)被存儲起來，并且也有了對數(shù)據(jù)的查詢、統(tǒng)計的需求。這個時候，數(shù)據(jù)是關(guān)鍵業(yè)務(wù)的記錄。
?
階段3：數(shù)據(jù)倉庫出現(xiàn)，數(shù)據(jù)被大量存儲
接著，企業(yè)級管理系統(tǒng)比如ERP、MES、CRM的出現(xiàn)，企業(yè)管理層需要跨條線，跨職能了解和掌握整體的經(jīng)營情況，從而根據(jù)這些數(shù)據(jù)來幫助企業(yè)做決策。這個時候商務(wù)智能，傳統(tǒng)數(shù)據(jù)倉庫系統(tǒng)應(yīng)運(yùn)而生的出現(xiàn)了，數(shù)據(jù)在企業(yè)管理中的作用開始顯現(xiàn)。但是這個時候的數(shù)據(jù)距離業(yè)務(wù)很遠(yuǎn)，為業(yè)務(wù)提供支持的速度很慢，往往是先有了業(yè)務(wù)想法和需求，先有“領(lǐng)導(dǎo)要看什么”，然后在去采集和處理對應(yīng)的數(shù)據(jù)做出什么報表給到領(lǐng)導(dǎo)
?
階段4：數(shù)據(jù)的深入價值開始被挖掘
傳統(tǒng)數(shù)據(jù)倉庫還是基于流程的，原因是數(shù)據(jù)倉庫的需求還是來自于預(yù)先的設(shè)計，來自于固有流程數(shù)據(jù)的整合。而這個時候，企業(yè)的業(yè)務(wù)已經(jīng)有了一定的復(fù)雜度，企業(yè)管理人員希望從數(shù)據(jù)當(dāng)中發(fā)現(xiàn)一些隱藏的未知的價值和規(guī)律。而這個時候預(yù)定義的查詢條件，預(yù)定義的業(yè)務(wù)主題已經(jīng)不能滿足這樣的需求，所以在數(shù)據(jù)倉庫基礎(chǔ)上，產(chǎn)生了數(shù)據(jù)挖掘的技術(shù)，業(yè)務(wù)從數(shù)據(jù)中發(fā)現(xiàn)市場的規(guī)律，洞察客戶的興趣，產(chǎn)生一些人們不知道的信息。這個階段在市場營銷、生產(chǎn)調(diào)度等影響因子較多，動態(tài)性較大的業(yè)務(wù)領(lǐng)域，數(shù)據(jù)的重要性愈加凸顯。
以上四個階段，基本上都處于“業(yè)務(wù)數(shù)據(jù)化”的階段
?
階段5：業(yè)務(wù)數(shù)據(jù)化，數(shù)據(jù)成為企業(yè)核心資產(chǎn)
到了數(shù)字化時代，所有的一切都被數(shù)字化的技術(shù)所重構(gòu)，而數(shù)據(jù)是構(gòu)成數(shù)字化世界的基礎(chǔ)。數(shù)據(jù)如同石油一樣，成為新時代的資源，從數(shù)據(jù)當(dāng)中挖掘價值，從數(shù)據(jù)當(dāng)中去產(chǎn)生創(chuàng)新已經(jīng)成為了所有企業(yè)的共識。這個時候，數(shù)據(jù)成為了企業(yè)的核心資產(chǎn)，所有的業(yè)務(wù)都被數(shù)據(jù)化。
那么，數(shù)據(jù)中臺到底是什么呢？
用一句話來簡單的介紹，“數(shù)據(jù)中臺是數(shù)據(jù)服務(wù)(Data API)工廠”，數(shù)據(jù)中臺的核心是Data API。
Data API是數(shù)據(jù)中臺的核心，它是連接前臺和后臺的橋梁，通過API的方式提供數(shù)據(jù)服務(wù)，而不是直接把數(shù)據(jù)庫給前臺、讓前臺開發(fā)自行使用數(shù)據(jù)。至于產(chǎn)生DataAPI的過程，怎么樣讓DataAPI產(chǎn)生得更快，怎么樣讓DATA API更加清晰，怎么樣讓DATA API的數(shù)據(jù)質(zhì)量更好，這些是要圍繞數(shù)據(jù)中臺去構(gòu)建的能力。
????某多產(chǎn)業(yè)現(xiàn)代物流集團(tuán)，在2017年就通過構(gòu)建企業(yè)級數(shù)據(jù)中臺，為業(yè)務(wù)人員提供了數(shù)據(jù)資產(chǎn)創(chuàng)新服務(wù)，將數(shù)據(jù)以API的形式提供給前臺，從而將新產(chǎn)品從想法到上線的時間，提高了數(shù)倍。
????在金融領(lǐng)域，所有的產(chǎn)品、服務(wù)、交易本身就是數(shù)據(jù)化的。我們看到最復(fù)雜的業(yè)務(wù)領(lǐng)域，電信行業(yè)現(xiàn)在的網(wǎng)絡(luò)建設(shè)，網(wǎng)絡(luò)優(yōu)化，大部分工作都是在電腦上，利用各種工具軟件來處理基站和網(wǎng)絡(luò)的數(shù)據(jù)，將網(wǎng)絡(luò)洞察數(shù)據(jù)轉(zhuǎn)換成網(wǎng)絡(luò)擴(kuò)容需求數(shù)據(jù)，將擴(kuò)容需求數(shù)據(jù)設(shè)計成網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)，在講網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)處理成各種不同設(shè)備型號的配置數(shù)據(jù)，同步的產(chǎn)生財務(wù)、物流、服務(wù)數(shù)據(jù)等。整個過程90%的工作量在處理各類數(shù)據(jù)，最后把結(jié)果數(shù)據(jù)傳遞到現(xiàn)實世界，安排發(fā)貨，安裝，驗收等行為。而現(xiàn)在所提倡的工業(yè)4.0，智能制造本身也是將生產(chǎn)過程數(shù)據(jù)化，在數(shù)字化世界里用數(shù)據(jù)來重構(gòu)工廠本身，從而利用數(shù)字化的強(qiáng)大的計算能力，快速的搜索能力，數(shù)據(jù)的預(yù)測能力來增強(qiáng)和優(yōu)化業(yè)務(wù)本身。
????未來企業(yè)的業(yè)務(wù)運(yùn)營，從操作本質(zhì)上來講就是加工和處理數(shù)據(jù)。數(shù)據(jù)中臺就是企業(yè)的數(shù)據(jù)服務(wù)工廠，完成從數(shù)據(jù)到價值的加工過程。
傳統(tǒng)的信息化建設(shè)過程中，數(shù)據(jù)對業(yè)務(wù)的貢獻(xiàn)是靠人看報表，從數(shù)據(jù)中理解和發(fā)現(xiàn)了新的思想后，通過傳統(tǒng)的溝通方式（開會，新需求）來對業(yè)務(wù)產(chǎn)生影響和指導(dǎo)的。
?
????數(shù)字化時代，數(shù)據(jù)中臺對于企業(yè)的價值，是加速從數(shù)據(jù)到價值的過程，提高企業(yè)的響應(yīng)力。
?
????原來從數(shù)據(jù)報表的產(chǎn)生到改變業(yè)務(wù)行為是以周為單位去計算的，而數(shù)據(jù)中臺的價值是通過抽象和生產(chǎn)數(shù)據(jù)服務(wù)，更快的影響和改變業(yè)務(wù)行為本身，這就是有的企業(yè)將數(shù)據(jù)服務(wù)直接嵌入到交易系統(tǒng)中，實時通過數(shù)據(jù)洞察來改變業(yè)務(wù)流程和應(yīng)用本身。
?
????某金融科技企業(yè)，構(gòu)建自己的實時風(fēng)控數(shù)據(jù)中臺，將原來的報表系統(tǒng)變成實時的智能預(yù)警平臺，將合規(guī)評估從事后的模式，直接改變成事前的模式，就像在業(yè)務(wù)的高速公路上建設(shè)了一個個的風(fēng)控檢查站，檢查站通過高速的建模，實時數(shù)據(jù)分析，能夠在不影響業(yè)務(wù)速度的情況下，實時對來往的車輛做風(fēng)控評估，如果有的車輛有風(fēng)險，則實時預(yù)警。
????將傳統(tǒng)的數(shù)據(jù)服務(wù)，從事后管控的模式提高到事前評估的模式，打造高數(shù)據(jù)響應(yīng)力的企業(yè)是數(shù)據(jù)中臺對于業(yè)務(wù)的核心價值。
????數(shù)據(jù)中臺還能夠為企業(yè)解決數(shù)據(jù)開發(fā)和應(yīng)用開發(fā)不同步的問題。
? ? ?
????我們要接受并認(rèn)可一個現(xiàn)實問題，那就是，企業(yè)的數(shù)據(jù)開發(fā)是跟不上應(yīng)用的開發(fā)速度，更是跟不上業(yè)務(wù)的變化速度的。這是一個不可調(diào)和解決的問題，從市場變化到業(yè)務(wù)需求，到應(yīng)用開發(fā)到沉淀成數(shù)據(jù)，這三者的速度是天生不一致的，這樣的不一致會帶來很多的問題，包括有開發(fā)效率的問題，有團(tuán)隊協(xié)作的問題，有技術(shù)能力的問題。比如，為什么開發(fā)一個報表需要十幾個人天，并且大部分時間都是花在找數(shù)據(jù)，對數(shù)據(jù)，算數(shù)據(jù)上。為什么同樣的一個數(shù)據(jù)需求，不同的項目就要開發(fā)兩邊，不能共用，不能做到一個數(shù)據(jù)出口？為什么一般的Java開發(fā)人員不能掌握數(shù)據(jù)處理，ETL的能力？
?
????數(shù)據(jù)中臺就是要將這些能力都沉淀到一個體系中，變成數(shù)據(jù)開發(fā)的能力，變成可以復(fù)用，二次加工的數(shù)據(jù)服務(wù)工廠，加快數(shù)據(jù)開發(fā)和協(xié)作的速度。
?
????我們可以廣義上來給數(shù)據(jù)中臺一個企業(yè)級的定義：“聚合和治理跨域數(shù)據(jù)，將數(shù)據(jù)抽象封裝成服務(wù)，提供給前臺以業(yè)務(wù)價值的邏輯概念”。
?
????從T+N到T+0，數(shù)據(jù)中臺將融合OLTP和OLAP，為前臺業(yè)務(wù)提供更快的數(shù)據(jù)類業(yè)務(wù)服務(wù)
????十幾年前，數(shù)據(jù)處理的流程分成兩類，聯(lián)機(jī)交易處理類（OLTP）和聯(lián)機(jī)分析處理類(OLAP)，分別對應(yīng)兩類業(yè)務(wù)需求：“T+0”和”T+N”，這是因為軟件的計算能力有限，生產(chǎn)系統(tǒng)無法容納歷史數(shù)據(jù)的查詢統(tǒng)計功能，否則就會導(dǎo)致海量數(shù)據(jù)的查詢，拖垮生產(chǎn)系統(tǒng)的正常交易。所以不得已一個業(yè)務(wù)系統(tǒng)分成了兩個：交易型系統(tǒng)和分析型系統(tǒng)，前者用來處理最新的交易業(yè)務(wù)，后者用來對歷史的、集成的、多維的數(shù)據(jù)進(jìn)行分析，支撐業(yè)務(wù)。
我們舉一個常見的電商價格策略調(diào)整的場景，原來的電商系統(tǒng)的價格是提前設(shè)置好的錄入到電商系統(tǒng)數(shù)據(jù)庫的，電商系統(tǒng)是OLTP也就是在線交易系統(tǒng)。電商系統(tǒng)對于實時性能要求很高，處理的并發(fā)交易量很大，為了提高數(shù)據(jù)庫的處理速度，電商系統(tǒng)只保存一段時間內(nèi)的交易數(shù)據(jù)，而把歷史數(shù)據(jù)都?xì)w檔到數(shù)據(jù)倉庫系統(tǒng)也就是OLAP系統(tǒng)里。電商的運(yùn)營部門定期會在OLAP系統(tǒng)里挖掘歷史數(shù)據(jù)來分析不同的商品的交易數(shù)據(jù)和價格的關(guān)系，然后決定電商系統(tǒng)的價格是不是需要調(diào)整。所以傳統(tǒng)電商系統(tǒng)，產(chǎn)品價格的變化需要一個比較長的周期的。到了今天，價格本身受影響的維度越來越多，市場需要電商系統(tǒng)的價格能夠?qū)崟r的根據(jù)歷史數(shù)據(jù)進(jìn)行變化，這樣一來，傳統(tǒng)的OLTP和OLAP分離的架構(gòu)就不能夠滿足業(yè)務(wù)需求了。
?
????隨著大容量高速存儲技術(shù)的發(fā)展、計算能力的提升、微服務(wù)、大數(shù)據(jù)架構(gòu)的出現(xiàn)，OLTP和OLAP在逐漸融合：應(yīng)用系統(tǒng)能夠?qū)崟r的基于多維、多渠道、歷史數(shù)據(jù)的分析來定制化交易流程和和行為。OLTP和OLAP從平行的關(guān)系，變成垂直的關(guān)系。
?
????剛才舉的電商的例子是互聯(lián)網(wǎng)時代的典型場景，而對于比較傳統(tǒng)的金融保險行業(yè)來說，目前也正面臨著這樣的挑戰(zhàn)。很多保險產(chǎn)品的報價需要進(jìn)行信息搜集，評估，審核，而這個過程就是數(shù)據(jù)的采集，建模，評估，模擬的過程，過去這樣的業(yè)務(wù)都是”T+N”，就是從接到交易申請到給出結(jié)果，需要N天，而現(xiàn)在市場的競爭愈加激烈，更快，更準(zhǔn)確的給出報價，所以業(yè)務(wù)要就能夠盡量做到”T+0”，實時響應(yīng)市場的需求。
?
????這就意味著要把原來的OLAP的歷史數(shù)據(jù)分析，建模，評估的過程和OLTP系統(tǒng)里的交易數(shù)據(jù)進(jìn)行融合分析才能夠做到。
?
我們觀察到，從金融保險到電信制造，原來傳統(tǒng)的”T+N”的需求都在朝”T+0”演進(jìn)，大家都在尋找高響應(yīng)力，快速反饋的實時分析型數(shù)據(jù)數(shù)據(jù)處理架構(gòu)，將數(shù)據(jù)從原來傳統(tǒng)的經(jīng)營分析領(lǐng)域演進(jìn)到直接參與業(yè)務(wù)交易。
?
????所以我們認(rèn)為未來的交易型系統(tǒng)，都會變成分析型交易系統(tǒng)(Analytic ?Transcation Processing)，具有跨域、全量數(shù)據(jù)分析的支持能力，用數(shù)據(jù)分析來支持交易的動態(tài)敏捷變化，高速響應(yīng)市場和用戶的需求，而OLTP和OLAP也會在云計算，微服務(wù)，大數(shù)據(jù)等技術(shù)支撐下逐漸融合。
?
總結(jié)
以上是生活随笔為你收集整理的再问数据中台 - 数据中台是什么？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
