大咖说中台 | 建设数据中台系列(五)——中台架构详解(下)
作者 | 耿立超
來源 |?《大數(shù)據(jù)平臺架構(gòu)與原型實(shí)現(xiàn):數(shù)據(jù)中臺建設(shè)實(shí)戰(zhàn)》
本質(zhì)上,中臺是一種中心化、平臺化的企業(yè)組織架構(gòu)和業(yè)務(wù)形態(tài),當(dāng)這樣的組織和業(yè)務(wù)架構(gòu)投射到IT 系統(tǒng)上時(shí)會自然地形成我們今天討論的IT 意義上的“中臺”。筆者曾經(jīng)參與過不少定位為統(tǒng)一平臺的項(xiàng)目,其中有不少失敗的案例,對于這個問題有一點(diǎn)個人的思考:也許中心化系統(tǒng)都是反傳統(tǒng)管理體制的,煙囪式的生態(tài)系統(tǒng)是企業(yè)組織架構(gòu)在IT 上的投影,小到“數(shù)據(jù)湖”,大到中臺,沒有強(qiáng)力對等的中心化組織去主導(dǎo),結(jié)果是很難預(yù)料的。
?繼本系列前一篇文章對中臺架構(gòu)作了整體性的介紹之后,本文我們將繼續(xù)從組織架構(gòu)的角度上展開對中臺的介紹,這是中臺建設(shè)中不得不談?wù)摰脑掝},雖然在任何企業(yè)里這都是一個非常敏感的話題,但對中臺建設(shè)來說,這一問題必須要思考清楚。另外,本文的后半部分,我們會冷靜地分析一下中臺所“不能”的地方,避免讀者對中臺產(chǎn)生錯誤的不切實(shí)際的理解與期望。本文核心觀點(diǎn)援引自作者所著的《大數(shù)據(jù)平臺架構(gòu)與原型實(shí)現(xiàn):數(shù)據(jù)中臺建設(shè)實(shí)戰(zhàn)》一書,全書對數(shù)據(jù)中臺的理念、架構(gòu)和具體實(shí)現(xiàn)做了詳細(xì)論述。
?
中臺的組織架構(gòu)
?
組織架構(gòu)無疑是一個重大而敏感的問題,但確實(shí)是在建設(shè)中臺過程中不得不面對的,一家企業(yè)如果想要在中臺化轉(zhuǎn)型上取得成功,就必須直面這個問題。我們前面探討煙囪式的生態(tài)系統(tǒng)和SOA 架構(gòu)時(shí)提到的諸多問題和挑戰(zhàn)都與組織分工、團(tuán)隊(duì)協(xié)作有關(guān),這些問題的根源都是組織架構(gòu)。在過去的煙囪式生態(tài)系統(tǒng)下,每一個應(yīng)用系統(tǒng)都由一個專職的團(tuán)隊(duì)負(fù)責(zé),團(tuán)隊(duì)的核心任務(wù)與首要KPI 是確保本系統(tǒng)持續(xù)穩(wěn)定地運(yùn)行,這使得每一個團(tuán)隊(duì)都必然地從本應(yīng)用系統(tǒng)的立場和角度看待和思考問題。?
然而企業(yè)的業(yè)務(wù)流程是一個有機(jī)的整體,這在客觀上必然要求各個應(yīng)用系統(tǒng)和運(yùn)維團(tuán)隊(duì)緊密協(xié)作,這時(shí)候組織架構(gòu)的問題就會顯現(xiàn)出來。過去不管是點(diǎn)對點(diǎn)式的集成還是SOA 改造,當(dāng)它們作為一個項(xiàng)目交付之后,隨著時(shí)間的推移,在集成新系統(tǒng)時(shí)又會變得像以前一樣舉步維艱,究其原因是并沒有一個長期有效的組織架構(gòu)在持續(xù)地推動系統(tǒng)融合。
中臺架構(gòu)的提出對企業(yè)的組織架構(gòu)產(chǎn)生了巨大的影響,有了與中臺相適應(yīng)的組織架構(gòu),企業(yè)才能很好地完成中臺建設(shè)并從中受益。中臺架構(gòu)有一很鮮明的特點(diǎn),那就是它徹底破除了應(yīng)用系統(tǒng)的邊界,從企業(yè)的全業(yè)務(wù)領(lǐng)域著手,切分出業(yè)務(wù)中心,每一個業(yè)務(wù)中心所支撐的不是一個孤立的應(yīng)用系統(tǒng),而是企業(yè)在該領(lǐng)域的全部核心業(yè)務(wù),所以每一個業(yè)務(wù)中心都需要非常專業(yè)的團(tuán)隊(duì)來負(fù)責(zé),團(tuán)隊(duì)必須對這部分業(yè)務(wù)非常了解,而且必須站在企業(yè)的全局去支撐和把控這一業(yè)務(wù)領(lǐng)域。?
我們來看一下阿里巴巴共享業(yè)務(wù)事業(yè)部的故事。2003 年阿里巴巴首先成立了淘寶事業(yè)部,伴隨著B2C 業(yè)務(wù)的興起,2008 年從淘寶團(tuán)隊(duì)中拆分出了天貓事業(yè)部,但是這兩大事業(yè)部依靠的都是淘寶的技術(shù)團(tuán)隊(duì),這樣帶來的問題是技術(shù)團(tuán)隊(duì)會優(yōu)先響應(yīng)來自淘寶的業(yè)務(wù)需求,影響了天貓事業(yè)部的發(fā)展。另外一個問題也是很典型的,那就是這兩個電商平臺是完全獨(dú)立的,都有各自的商品、交易、支付等功能模塊,可見阿里巴巴也曾經(jīng)走過煙囪架構(gòu)的老路。?
為了解決這個問題,阿里巴巴開始了第一次大膽的嘗試,在2009 年成立了“共享業(yè)務(wù)事業(yè)部”,主要由淘寶的技術(shù)團(tuán)隊(duì)構(gòu)成,但是這個事業(yè)部與淘寶和天貓兩個事業(yè)部是平級的,這一架構(gòu)調(diào)整的用意很明確,阿里巴巴希望通過共享業(yè)務(wù)事業(yè)部來梳理和沉淀兩個電商平臺的業(yè)務(wù),抽離出公共的部分,避免重復(fù)建設(shè)。但事情的發(fā)展卻出乎阿里巴巴的預(yù)料,由于淘寶和天貓作為核心業(yè)務(wù)部門,顯然擁有更大的主導(dǎo)權(quán),共享業(yè)務(wù)事業(yè)部發(fā)展緩慢。?
這一狀況的轉(zhuǎn)變源自聚劃算的出現(xiàn),聚劃算作為阿里巴巴的團(tuán)購業(yè)務(wù)事業(yè)部,在成立之初擁有強(qiáng)大的引流能力,淘寶和天貓的產(chǎn)品一旦進(jìn)入聚劃算,銷售額就會暴增,因此兩大事業(yè)部都迫切地想要將自己的平臺和聚劃算對接。此時(shí)阿里巴巴做出了一個重要決定,其他業(yè)務(wù)平臺如果要和聚劃算平臺對接,必須通過共享業(yè)務(wù)事業(yè)部,正是這一舉措讓共享業(yè)務(wù)事業(yè)部找到了發(fā)展的抓手,進(jìn)而將自己提升到與其他業(yè)務(wù)事業(yè)部同等的公平位置上。?
從阿里巴巴共享業(yè)務(wù)事業(yè)部的故事中我們可以看到,組織架構(gòu)對于中臺戰(zhàn)略的有效實(shí)施至關(guān)重要,在整個組織架構(gòu)中,企業(yè)需要仔細(xì)梳理和界定關(guān)鍵部門的職責(zé)及相關(guān)部門之間的關(guān)系。?
中臺事業(yè)部
由于中臺的定位在于支持企業(yè)的共享業(yè)務(wù),所以必須要由一個專職的實(shí)體部門對其負(fù)責(zé),而不能是一個虛擬組織,這個部門必須要被賦予足夠大的權(quán)限,過去分散于多個業(yè)務(wù)部門和系統(tǒng)運(yùn)維團(tuán)隊(duì)的部分職責(zé)需要拆分并重組到中臺部門,由中臺統(tǒng)一管理和負(fù)責(zé)。?
中臺各業(yè)務(wù)中心
中臺各業(yè)務(wù)中心的人員一般來自該中心對應(yīng)的過去某個核心業(yè)務(wù)系統(tǒng),如用戶中心團(tuán)隊(duì)的骨干應(yīng)該來自原CRM 系統(tǒng),被劃歸到中臺的個人和團(tuán)隊(duì)將面臨一次內(nèi)部轉(zhuǎn)型,他們過去只對單一業(yè)務(wù)系統(tǒng)負(fù)責(zé),而現(xiàn)在需要站在企業(yè)的全局來看待和梳理相關(guān)業(yè)務(wù),這需要中臺團(tuán)隊(duì)在廣度上要能觸達(dá)各個業(yè)務(wù)渠道的前端需求,同時(shí)要在深度上不斷地挖掘和提煉共享業(yè)務(wù),并最終落地到中臺服務(wù)上。中臺各個業(yè)務(wù)中心的職責(zé)劃分必須清晰明確,特別是在一些關(guān)聯(lián)性較強(qiáng)的業(yè)務(wù)領(lǐng)域上一定要做好切割,將各方的職責(zé)界定清楚。?
中臺與前臺團(tuán)隊(duì)的關(guān)系
前臺團(tuán)隊(duì)直接面向市場和終端用戶,從這個角度來看前臺團(tuán)隊(duì)扮演著中臺用戶的角色。一方面,前臺團(tuán)隊(duì)經(jīng)常會提出各種各樣的需求,有些需求可以在團(tuán)隊(duì)內(nèi)部消化,有些則需要中臺團(tuán)隊(duì)的支持,這時(shí)候前臺團(tuán)隊(duì)就會對中臺團(tuán)隊(duì)產(chǎn)生依賴;另一方面,對于中臺團(tuán)隊(duì)來說,也非常需要來自前臺的業(yè)務(wù)“滋養(yǎng)”。因此兩個團(tuán)隊(duì)?wèi)?yīng)該維持緊密的合作關(guān)系,這對于能否成功建立中臺架構(gòu)是非常關(guān)鍵的,如果兩個團(tuán)隊(duì)之間在合作上出現(xiàn)問題就會導(dǎo)致兩種可能的后果:
如果前臺團(tuán)隊(duì)強(qiáng)勢,就會組織力量在自己可控的范圍內(nèi)實(shí)現(xiàn)自己的需求,導(dǎo)致一些本該出現(xiàn)在中臺上的共享服務(wù)被放在了某個前端應(yīng)用上,這在客觀上弱化了中臺的“威力”,同時(shí)會導(dǎo)致其他前臺應(yīng)用重復(fù)建設(shè)該功能,這是在“開倒車”;
如果前臺團(tuán)隊(duì)弱勢,就會放棄或推遲新的構(gòu)想和嘗試,這會讓企業(yè)逐漸失去抓住市場機(jī)遇的能力。
?
中臺不是“銀彈”
?
前面花了大量的篇幅討論了中臺的各種優(yōu)勢,但是我們也必須理性客觀地看待它,就像討論以往出現(xiàn)過的任何新技術(shù)和新理論一樣,我們可以看重或推崇它們的優(yōu)勢,但不能過分篤定或夸大它們的作用。中臺是一種非常理想化的架構(gòu),當(dāng)企業(yè)進(jìn)化到這樣先進(jìn)的架構(gòu)時(shí)自然可以借助中臺創(chuàng)造巨大的業(yè)務(wù)價(jià)值。也可以反過來說,因?yàn)槠髽I(yè)自身的組織和業(yè)務(wù)足夠先進(jìn)而催生了中臺架構(gòu)(從某種意義上來說這才是中臺的真正由來),兩者是相輔相成的。建設(shè)中臺的難度是非常大的,其難度并不技術(shù)上,更多是在業(yè)務(wù)和組織架構(gòu)上。?
最近兩年,中臺的火爆讓很多企業(yè)都跟風(fēng)嘗試,但真正成功的案例還不多,業(yè)界對中臺的討論也很激烈,有人認(rèn)為中臺可能僅僅是一種“烏托邦”,因?yàn)樗^于理想化,在現(xiàn)實(shí)中缺乏生存的土壤,很多企業(yè)的現(xiàn)有組織形態(tài)與中臺是不符甚至是對立的,這樣的企業(yè)盲目上馬中臺項(xiàng)目必然是要失敗的。這里我們不妨思考一下:為什么煙囪架構(gòu)在企業(yè)中普遍存在?盡管我們在前面討論了它的各種問題,但是至少有一點(diǎn)是煙囪架構(gòu)的優(yōu)勢,那就是它的目標(biāo)指向性極強(qiáng),它是專門用于解決某一業(yè)務(wù)問題的,相應(yīng)地,它背后的技術(shù)和業(yè)務(wù)團(tuán)隊(duì)的職責(zé)也是高度清晰的,這種目標(biāo)指向性會驅(qū)使組織高效地運(yùn)轉(zhuǎn),即使在不同的團(tuán)隊(duì)和環(huán)節(jié)上存在重復(fù)建設(shè),在某些時(shí)候,付出這種代價(jià)也是值得的。?
在這種視角下反觀中臺,我們會看到,業(yè)務(wù)中心在對業(yè)務(wù)的廣度和深度上都有一個介入度的問題。從廣度上看,不同業(yè)務(wù)部門、不同業(yè)務(wù)方向上的業(yè)務(wù)需求都可能全部或部分落地到中臺上,而中臺部門需要根據(jù)自身的情況來指定開發(fā)的優(yōu)先級,這就決定了在中臺建設(shè)過程中,并不是所有的業(yè)務(wù)請求都能得到及時(shí)的響應(yīng),業(yè)務(wù)端的體驗(yàn)會與之前煙囪架構(gòu)有一定的落差;從深度上看,在垂直方向上的業(yè)務(wù)問題一部分是由前臺應(yīng)用處理掉的,另一部分是由中臺解決的,這一點(diǎn)我們在前面講如何進(jìn)行前臺和中臺切分時(shí)也提到過,這會導(dǎo)致過去的單一業(yè)務(wù)問題由單一系統(tǒng)負(fù)責(zé)變成前臺和中臺兩個參與方或團(tuán)隊(duì)負(fù)責(zé),如果我們用目標(biāo)指向性來度量這一狀況,顯然中臺不如煙囪架構(gòu)有優(yōu)勢,簡單地說就是容易出現(xiàn)前臺和中臺之間的“扯皮”現(xiàn)象。?
本文的討論主要是提醒讀者客觀理性地看待中臺架構(gòu),畢竟它還是相對新的一種思想,業(yè)界需要更多的時(shí)間去實(shí)踐和檢驗(yàn),對于這個行業(yè)的從業(yè)者而言,我們應(yīng)該保持一種積極的、謹(jǐn)慎樂觀的態(tài)度看待它。不過相較于業(yè)務(wù)中臺,本系列著重討論的數(shù)據(jù)中臺并沒有這么多不確定的挑戰(zhàn),不管是理論還是實(shí)現(xiàn)技術(shù)都是比較明朗和確定的。
關(guān)于作者:耿立超,架構(gòu)師,14年IT系統(tǒng)開發(fā)和架構(gòu)經(jīng)驗(yàn),對大數(shù)據(jù)、企業(yè)級應(yīng)用架構(gòu)、SaaS、分布式存儲和領(lǐng)域驅(qū)動設(shè)計(jì)有豐富的實(shí)踐經(jīng)驗(yàn),熱衷函數(shù)式編程。目前負(fù)責(zé)企業(yè)數(shù)據(jù)中臺的架構(gòu)設(shè)計(jì)和開發(fā)工作,對Hadoop/Spark 生態(tài)系統(tǒng)有深入和廣泛的了解,參與過Hadoop商業(yè)發(fā)行版的開發(fā),曾帶領(lǐng)團(tuán)隊(duì)建設(shè)過數(shù)個完備的企業(yè)數(shù)據(jù)平臺。
本文摘自《大數(shù)據(jù)平臺架構(gòu)與原型實(shí)現(xiàn):數(shù)據(jù)中臺建設(shè)實(shí)戰(zhàn)》,已在京東上架
個人技術(shù)博客:
https://laurence.blog.csdn.net/
推薦閱讀
學(xué)會這10大高性能開發(fā)技術(shù),輕松躲過裁員名單!
為什么說下一個十年的主戰(zhàn)場在Serverless?
什么?一個核同時(shí)執(zhí)行兩個線程?
假如有一門叫做 Ctrump 的編程語言...
Get了!用Python制作數(shù)據(jù)預(yù)測集成工具 | 附代碼
總結(jié)
以上是生活随笔為你收集整理的大咖说中台 | 建设数据中台系列(五)——中台架构详解(下)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 重塑APM标杆,博睿数据战略升级助力企业
- 下一篇: 云原生人物志 | Pulsar翟佳:社区