数据“土豪”电信云告诉你,如何“玩转”数据生态
近日,T11 2017 暨 TalkingData 智能數(shù)據(jù)峰會(huì)在京舉辦。本屆大會(huì)以“知機(jī)識(shí)變,有唐之盛”為主題,有來(lái)自不同行業(yè)的數(shù)據(jù)科學(xué)家、分析師、企業(yè)管理者參與,共同探討大數(shù)據(jù)與行業(yè)結(jié)合的技術(shù)趨勢(shì)、場(chǎng)景應(yīng)用、前沿案例,助力傳統(tǒng)企業(yè)轉(zhuǎn)型為數(shù)據(jù)驅(qū)動(dòng)型企業(yè)和,推進(jìn)行業(yè)生態(tài)建設(shè)。
其中,在智能數(shù)據(jù)服務(wù)分會(huì)場(chǎng),電信云大數(shù)據(jù)事業(yè)部副總經(jīng)理吳章先分享了電信云在開(kāi)放共享、共建數(shù)據(jù)生態(tài)方面的經(jīng)驗(yàn)。
在天翼大數(shù)據(jù)方面,吳章先表示,在建構(gòu)大數(shù)據(jù)能力上有以下三個(gè)方面較為關(guān)鍵:
第一,分布式數(shù)據(jù)中心。所建的大數(shù)據(jù)分析節(jié)點(diǎn)需要區(qū)域化,甚至有多個(gè)節(jié)點(diǎn),不同層級(jí)。
第二,數(shù)據(jù)層面。所有應(yīng)用服務(wù)提供商或行業(yè)數(shù)據(jù)能力提供商,他們的數(shù)據(jù)維度一般是依托于生態(tài)鏈或應(yīng)用服務(wù)產(chǎn)品。運(yùn)營(yíng)商數(shù)據(jù)源基本上覆蓋了廣泛領(lǐng)域,但在數(shù)據(jù)方向的深度還需要進(jìn)行挖掘。
第三,建立數(shù)據(jù)平臺(tái)。由于電信運(yùn)營(yíng)商的特點(diǎn)是整個(gè)數(shù)據(jù)產(chǎn)生的節(jié)點(diǎn)分散、規(guī)模巨大、種類多,所以要有卓越的數(shù)據(jù)治理和平臺(tái)運(yùn)營(yíng)能力。
而在構(gòu)建數(shù)據(jù)生態(tài)上,在他看來(lái),“在大數(shù)據(jù)開(kāi)放合作領(lǐng)域里,這兩年我們看到從整個(gè)行業(yè)生態(tài)上,離真正數(shù)據(jù)打通還比較遠(yuǎn);其次,如何通過(guò)平臺(tái)賦能,來(lái)實(shí)現(xiàn)真正數(shù)據(jù)的開(kāi)放融合也是目前難以解決的問(wèn)題。”,這些挑戰(zhàn)都需要在未來(lái)引起重視并找到有效解決方案。
以下為吳章先演講內(nèi)容,雷鋒網(wǎng)(公眾號(hào):雷鋒網(wǎng))做了不改變?cè)獾木庉?#xff1a;
在三年前,我參加中國(guó)營(yíng)商大會(huì),聽(tīng)了 Google 一位總經(jīng)理介紹大數(shù)據(jù)領(lǐng)域里面土豪的時(shí)候,畫(huà)了四個(gè)象限,把三個(gè)運(yùn)營(yíng)商劃到了土豪象限里面,就是擁有數(shù)據(jù),不怎么會(huì)玩。
經(jīng)過(guò)這三年時(shí)間,我們?cè)谥鸩矫?#xff0c;利用運(yùn)營(yíng)商已有的一些數(shù)據(jù)成果,去想怎么更好的服務(wù)社會(huì)。在這當(dāng)中,我們也發(fā)現(xiàn)整個(gè)數(shù)據(jù)如果不進(jìn)行打通,或者僅僅以某一個(gè)企業(yè)自有數(shù)據(jù)去做很多服務(wù)時(shí),都會(huì)或多或少碰到一些問(wèn)題。
首先,給大家介紹一下天翼大數(shù)據(jù)的情況,第二,站在平臺(tái)角度看一下我們?nèi)绾螛?gòu)建數(shù)據(jù)生態(tài)。
天翼大數(shù)據(jù)發(fā)展概況
大家最早用固話,都是用電信的固定號(hào)碼,現(xiàn)在也有一些移動(dòng),以及在很多家庭里面用的 IPTV,包括酒店里面用很多內(nèi)容的機(jī)頂盒,都使用的是電信的服務(wù)。所有這些服務(wù)里面都脫離不了最重要的基礎(chǔ),很多企業(yè)在大數(shù)據(jù)領(lǐng)域的經(jīng)驗(yàn),他們所做的所有應(yīng)用,所有大數(shù)據(jù)分析能力,實(shí)際上都要構(gòu)架在一個(gè)基礎(chǔ)設(shè)施上面,而中國(guó)電信擁有全球最大規(guī)模的大數(shù)據(jù)基礎(chǔ)。
從我們目前跟很多行業(yè)專家、行業(yè)技術(shù)團(tuán)隊(duì)溝通時(shí),發(fā)現(xiàn)有幾個(gè)方向可能在未來(lái)在建大數(shù)據(jù)能力方面是比較關(guān)鍵的:
第一,分布式數(shù)據(jù)中心??赡芪覀兯ǖ拇髷?shù)據(jù)分析節(jié)點(diǎn)需要區(qū)域化,甚至多個(gè)節(jié)點(diǎn),不同層級(jí),包括我們今年跟國(guó)家?guī)讉€(gè)部委溝通時(shí),都發(fā)現(xiàn)有這樣的需求。電信的“2+31+X”的技術(shù)機(jī)構(gòu),再加上我們已經(jīng)在數(shù)據(jù)中心專門(mén)承建 DCI 網(wǎng)絡(luò),能夠滿足大家的需求。如果大家了解的話,應(yīng)該知道中國(guó)電信最早 163 到企業(yè) CN2,到現(xiàn)在 DCI,有三張底層的骨干網(wǎng)支撐大家的基礎(chǔ)能力。
第二,數(shù)據(jù)層面。所有應(yīng)用服務(wù)提供商或行業(yè)數(shù)據(jù)能力提供商,他們的數(shù)據(jù)維度一般是依托于生態(tài)鏈或應(yīng)用服務(wù)產(chǎn)品。運(yùn)營(yíng)商數(shù)據(jù)源基本上覆蓋了廣泛領(lǐng)域。從接入層面來(lái)講,不管是家里的寬帶,通過(guò)移動(dòng)網(wǎng)、IPTV以及其他一些設(shè)施在接入運(yùn)營(yíng)商服務(wù)還是其他行業(yè)服務(wù)時(shí),都會(huì)有大量數(shù)據(jù)產(chǎn)生,這也是我們運(yùn)營(yíng)商本身在數(shù)據(jù)源的優(yōu)勢(shì)。整個(gè)覆蓋層面,不管是在時(shí)間空間上,還是本身使用場(chǎng)景上,都是比較全面的。
現(xiàn)在在數(shù)據(jù)領(lǐng)域里,運(yùn)營(yíng)商的數(shù)據(jù)具備數(shù)據(jù)面比較廣,但是它的數(shù)據(jù)在某一個(gè)方向深度不夠的特點(diǎn)。目前,天翼云已經(jīng)累計(jì)超過(guò) 30 個(gè) PB 的數(shù)據(jù),日處理量超過(guò) 200T。
第三,要處理這些數(shù)據(jù),就需要有一個(gè)能力強(qiáng)大的平臺(tái)。我們有卓越的數(shù)據(jù)治理和平臺(tái)運(yùn)營(yíng)能力,因?yàn)殡娦胚\(yùn)營(yíng)商的特點(diǎn)是整個(gè)數(shù)據(jù)產(chǎn)生的節(jié)點(diǎn)分散、規(guī)模巨大、種類多,所以我們?cè)跀?shù)據(jù)治理、數(shù)據(jù)平臺(tái)運(yùn)營(yíng)上積累了很多經(jīng)驗(yàn)。
經(jīng)過(guò)這三年的治理,我們形成了一個(gè)非常穩(wěn)定的數(shù)據(jù)生產(chǎn)線,在很多行業(yè),目前尤其跟我們比較類似的一些部委,如衛(wèi)計(jì)委,他們的數(shù)據(jù)跟我們特點(diǎn)非常相似,需要有一整套設(shè)施來(lái)幫助進(jìn)行處理。
此外,依托這些數(shù)據(jù),已經(jīng)形成了非常多的產(chǎn)品和解決方案。我們?cè)谌昀镉?4+1 產(chǎn)品體系,十大行業(yè)解決方案。從我個(gè)人經(jīng)驗(yàn)來(lái)看,在 2015 年剛發(fā)生上海踩踏事件時(shí),利用我們的數(shù)據(jù)幫助政府做人流熱圖,2015 年開(kāi)始,我們發(fā)現(xiàn)在景區(qū)旅游,依托運(yùn)營(yíng)商數(shù)據(jù)可以做很多事情。
今年我們發(fā)現(xiàn)通過(guò)一些數(shù)據(jù)打通,包括我們?cè)诰皡^(qū)里面跟 TalkingData 進(jìn)行合作,把一些互聯(lián)網(wǎng)數(shù)據(jù)和運(yùn)營(yíng)商數(shù)據(jù)結(jié)合,通過(guò)更好的數(shù)據(jù)模型能夠更精準(zhǔn)預(yù)測(cè)或分析出景區(qū)人群整個(gè)情況?,F(xiàn)在,我們還在更宏觀的一些領(lǐng)域和更微觀的領(lǐng)域有了更好的發(fā)展。
4+1 產(chǎn)品體系里,現(xiàn)在有一個(gè)底層 PaaS 大數(shù)據(jù)分析平臺(tái),叫飛龍平臺(tái),是云數(shù)一體的大數(shù)據(jù)平臺(tái)。這里不僅僅是云端,大家可以利用這個(gè)數(shù)據(jù)平臺(tái)進(jìn)行相應(yīng)數(shù)據(jù)分析,進(jìn)行數(shù)據(jù)產(chǎn)品化,進(jìn)行數(shù)據(jù)對(duì)外輸出,這個(gè)大數(shù)據(jù)飛龍平臺(tái)也可以提供給相應(yīng)企業(yè)、相應(yīng)合作方,部署到他們自有的企業(yè)IT設(shè)施里進(jìn)行業(yè)務(wù)的支撐。
如何構(gòu)建數(shù)據(jù)生態(tài)
回到今天的主題,我覺(jué)得一下幾個(gè)觀點(diǎn)非常正確。首先,現(xiàn)在在大數(shù)據(jù)開(kāi)放合作領(lǐng)域里,目前就我個(gè)人來(lái)看,還是處于非常初級(jí)的摸索階段。我們都非常希望數(shù)據(jù)流通、數(shù)據(jù)安全、數(shù)據(jù)隱私等等問(wèn)題能夠通過(guò)很好的方法來(lái)解決,但實(shí)際上,這兩年我們看到從整個(gè)行業(yè)生態(tài)上來(lái)看,離真正數(shù)據(jù)打通還比較遠(yuǎn)。我們看到幾個(gè)重要的問(wèn)題里,從能力支撐到平臺(tái),到數(shù)據(jù),到安全,可能首先要從基礎(chǔ)的能力上去解決,這也是我們今天在第二部分里面給大家去分享的。
其次,如何通過(guò)平臺(tái)賦能,來(lái)實(shí)現(xiàn)真正數(shù)據(jù)的開(kāi)放融合。用區(qū)塊鏈的技術(shù),能不能解決在數(shù)據(jù)分享里數(shù)據(jù)流通性、安全性問(wèn)題,因?yàn)閿?shù)據(jù)本身是可復(fù)制的,一旦進(jìn)入流通環(huán)節(jié),數(shù)據(jù)價(jià)值馬上會(huì)以指數(shù)級(jí)別消減。這個(gè)問(wèn)題我們看到所有擁有數(shù)據(jù)的公司非常關(guān)注,這也是難以解決的問(wèn)題。
在過(guò)去三年時(shí)間里,我們對(duì)數(shù)據(jù),通過(guò)平臺(tái)來(lái)進(jìn)行相應(yīng)的安全性加固、安全性運(yùn)營(yíng),同時(shí)我們也跟很多行業(yè)合作伙伴進(jìn)行了相應(yīng)嘗試。通過(guò)在平臺(tái)功能上、規(guī)則上、管理上的措施,已經(jīng)看到了怎么能夠真正把數(shù)據(jù)流通做下去。
目前,我們?cè)谔煲碓普麄€(gè)云端平臺(tái)上提供了一個(gè)一站式開(kāi)放服務(wù),包括給數(shù)據(jù)提供方、產(chǎn)品開(kāi)發(fā)者、客戶提供了完整的一整套業(yè)務(wù)支撐體系。我們堅(jiān)持一個(gè)原則,數(shù)據(jù)擁有方對(duì)數(shù)據(jù)加工、數(shù)據(jù)開(kāi)放、數(shù)據(jù)的運(yùn)營(yíng),擁有絕對(duì)的權(quán)力。也就是說(shuō)數(shù)據(jù)擁有方在我們平臺(tái)上上傳數(shù)據(jù),對(duì)這個(gè)數(shù)據(jù)進(jìn)行加工操作,都是數(shù)據(jù)擁有方自己去處理的。在上面,我們也提供一整套完整的,包括開(kāi)放運(yùn)營(yíng)、安全的整套機(jī)制。
在平臺(tái)保障上,通過(guò)運(yùn)營(yíng)商強(qiáng)項(xiàng),在運(yùn)營(yíng)服務(wù)上給我們的合作伙伴、數(shù)據(jù)合作方提供相應(yīng)完整的服務(wù),不僅僅是有運(yùn)營(yíng)服務(wù),還有平臺(tái)能力服務(wù),還有一些產(chǎn)品開(kāi)放策略。過(guò)去三年,中國(guó)電信天翼云針對(duì)我們的數(shù)據(jù),已經(jīng)形成了一整套機(jī)制,形成了相應(yīng)服務(wù)能力,給我們的合作伙伴進(jìn)行開(kāi)放。
在策略上,我們?cè)谡麄€(gè)平臺(tái)里形成了五分一統(tǒng),很多數(shù)據(jù)擁有方,尤其是黨政企業(yè),還有國(guó)企,他們的數(shù)據(jù)本身在數(shù)據(jù)IT能力上面略弱,我們通過(guò)整套機(jī)制,從分類、分級(jí)、分型、分布、分權(quán)已經(jīng)把數(shù)據(jù)整個(gè)加工、數(shù)據(jù)處理、數(shù)據(jù)開(kāi)放形成一整套管理手段。在對(duì)外輸出時(shí),通過(guò)統(tǒng)一出口,使得我們數(shù)據(jù)應(yīng)用方在對(duì)外服務(wù)的時(shí)候,能夠?qū)崿F(xiàn)可管、可控、安全可靠,能夠使得我們通過(guò)這個(gè)開(kāi)放平臺(tái),快速的把數(shù)據(jù)合作、數(shù)據(jù)共贏、數(shù)據(jù)融合做下去。
運(yùn)營(yíng)保障體系上,通過(guò)完善大數(shù)據(jù)的開(kāi)放運(yùn)營(yíng),從業(yè)務(wù)切入詳細(xì)去幫助應(yīng)用需求看它對(duì)數(shù)據(jù)的分析,在運(yùn)營(yíng)閉環(huán)上,通過(guò)各個(gè)不同數(shù)據(jù)環(huán)節(jié),我們?cè)趯徲?jì)安全上,在日常運(yùn)營(yíng)維護(hù)上,是否可靠,是否正常。我們?cè)趯?duì)外服務(wù)方面,也有很多不同的方式,不管是云托管方式還是私有系統(tǒng)方式。在底層,我們有彈性的成長(zhǎng)過(guò)程,數(shù)據(jù)從一個(gè)節(jié)點(diǎn)到另外一個(gè)節(jié)點(diǎn),甚至多節(jié)點(diǎn)服務(wù),依托中國(guó)電信云網(wǎng)融合的方式都可以很方便、很快速的支撐。
我在過(guò)去交流所有場(chǎng)合里,大家最擔(dān)心的還是安全問(wèn)題。對(duì)有一些企業(yè)來(lái)講,安全性問(wèn)題意味著財(cái)富,意味著資產(chǎn)流失,對(duì)有一些企業(yè)或政府來(lái)講,安全性問(wèn)題意味著他頭上的烏紗帽或屁股下面的位子,大家非常關(guān)注,每一次決策都非常謹(jǐn)慎。我們?cè)谡麄€(gè)天翼云大數(shù)據(jù)開(kāi)放平臺(tái)上,平臺(tái)賦能很關(guān)鍵是在安全上提供全生命周期的安全保障,不僅僅是從I層,從物理安全保障、網(wǎng)絡(luò)安全保障、主機(jī)級(jí)安全保障、應(yīng)用級(jí)安全保障方面,提供整個(gè)安全服務(wù)能力。
此外,我們對(duì)應(yīng)用的全周期也是提供相應(yīng)安全服務(wù)。這種安全服務(wù)不僅是在技術(shù)上進(jìn)行體現(xiàn),同時(shí)也從我們管理機(jī)制,同我們整個(gè)對(duì)數(shù)據(jù)加工的分級(jí)分權(quán),以及數(shù)據(jù)加工一整套安全流程去保障。
進(jìn)行了所有安全加固以后,會(huì)帶來(lái)一個(gè)問(wèn)題,我們?cè)跀?shù)據(jù)分析時(shí),冗余度或靈活度去哪里了?中國(guó)電信大數(shù)據(jù)平臺(tái)上,有一個(gè)有效的機(jī)制,通過(guò)互信融合,當(dāng)我們需要對(duì)比較原始的數(shù)據(jù)進(jìn)行融合分析時(shí),比如 A 客戶數(shù)據(jù)和 B 客戶數(shù)據(jù)要在一起進(jìn)行分析,然后產(chǎn)生最后的分析結(jié)果,這個(gè)時(shí)候怎么辦?
我們會(huì)在平臺(tái)上分配一個(gè)臨時(shí)空間,臨時(shí)空間里不能夠進(jìn)行數(shù)據(jù)的對(duì)外輸出。它可以在臨時(shí)空間里面對(duì)相應(yīng)數(shù)據(jù)進(jìn)行融合分析,分析完的結(jié)果通過(guò)審計(jì)以后再輸出,輸出只是分析結(jié)果,一旦分析結(jié)果輸出完以后,這個(gè)空間我們就會(huì)把它銷毀掉,所以所有用戶原始數(shù)據(jù)都不存在流失和被盜風(fēng)險(xiǎn)。所有操作我們也會(huì)通過(guò)日志和審計(jì)功能,讓數(shù)據(jù)擁有方能看得到。
我們前面說(shuō)五分一統(tǒng),數(shù)據(jù)分析靈活的機(jī)制,是確保這個(gè)平臺(tái)上數(shù)據(jù)可以進(jìn)行共享融合,能夠進(jìn)行分析的。
安全保障領(lǐng)域里,我們有相應(yīng)的安全合規(guī)功能,從隔離、脫敏、標(biāo)識(shí)、授權(quán)、審計(jì)五大方面,幫助云公司自己,還有我們的客戶進(jìn)行整體安全后的保障。從隔離中,按功能分類,從數(shù)據(jù)敏感區(qū)域里給客戶提供相應(yīng)的工具,然后到脫敏、標(biāo)識(shí)、授權(quán)、審計(jì),有一整套完善的流程。
下面說(shuō)一個(gè)案例。在整個(gè)平臺(tái)上,我們跟一個(gè) AI 公司一起做的流程是這樣的。它有一些外面金融行業(yè)的數(shù)據(jù),在我們平臺(tái)上用云公司自有數(shù)據(jù),通過(guò)構(gòu)建一套 AI 組件,來(lái)進(jìn)行整個(gè)融合分析。通過(guò)這種分析,一方面我們避免了大量各種不同產(chǎn)品需要專家進(jìn)行設(shè)計(jì)、建模,而是通過(guò) AI 方式,幫我們通過(guò)機(jī)器解決,來(lái)真正實(shí)現(xiàn)業(yè)務(wù)場(chǎng)景的輸出功能。從實(shí)際效果來(lái)講也非常好,從千分之二提升到千分之五的用戶轉(zhuǎn)化率。
最后希望通過(guò)構(gòu)建一個(gè)完善的,比較強(qiáng)大的平臺(tái),通過(guò)應(yīng)用驅(qū)動(dòng)數(shù)據(jù)的模式,構(gòu)建這個(gè)數(shù)據(jù)生態(tài)。我們希望可以跟所有業(yè)內(nèi)企業(yè)、業(yè)內(nèi)客戶一起在這里共同構(gòu)建完整的大數(shù)據(jù)生態(tài),真真正正把大數(shù)據(jù)的價(jià)值對(duì)行業(yè)的影響能夠做到最好。
本文作者:王金許 本文轉(zhuǎn)自雷鋒網(wǎng)禁止二次轉(zhuǎn)載,原文鏈接 與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證,附贈(zèng)技術(shù)全景圖
總結(jié)
以上是生活随笔為你收集整理的数据“土豪”电信云告诉你,如何“玩转”数据生态的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: C++ STL 常用遍历算法
- 下一篇: 程序员的困惑