数据规模恼同程,混合云飘来除杂症
?
以下內(nèi)容根據(jù)演講PPT及現(xiàn)場(chǎng)分享整理:
?
在線旅游更多的考慮怎樣讓用戶滿意。本文通過三個(gè)方面和大家分享同程旅游如何用數(shù)據(jù)驅(qū)動(dòng)實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新和業(yè)務(wù)快速發(fā)展的,首先對(duì)同程旅游進(jìn)行了簡(jiǎn)要介紹,接著分享了同程旅游的數(shù)據(jù)驅(qū)動(dòng)歷程,最后著重講述了在云端時(shí)代的同程旅游,包括公有云和私有云的混合打通等。
以下為精彩內(nèi)容整理:
?
發(fā)現(xiàn)旅游之美
旅游是件很美的事情,怎樣保證用戶找到的是旅游佳地呢?同程旅游就是為了讓用戶更好的去旅游,其在中國(guó)景點(diǎn)門票預(yù)訂市場(chǎng)和郵輪領(lǐng)域處于領(lǐng)先位置,并積極布局境外游、國(guó)內(nèi)游、周邊游等業(yè)務(wù)板塊。同程旅游旗下運(yùn)營(yíng)同程旅游網(wǎng)(www.LY.com)和同程旅游手機(jī)客戶端, 2016年服務(wù)人次將達(dá)到3.5億,年均增長(zhǎng)300%,讓更多人享受旅游的樂趣是同程旅游的使命。
?
數(shù)據(jù)驅(qū)動(dòng)的同程旅游
初期時(shí)代
初期時(shí)代同程的數(shù)據(jù)驅(qū)動(dòng)更多的關(guān)注網(wǎng)站被搜索引擎輸入的情況、收錄排名、關(guān)鍵詞、現(xiàn)金流和流量轉(zhuǎn)化。此時(shí)的網(wǎng)站很小,基于小數(shù)據(jù)做了一些基礎(chǔ)服務(wù),訪問統(tǒng)計(jì),使用關(guān)系數(shù)據(jù)庫(kù)BI,且服務(wù)器托管。
移動(dòng)時(shí)代
移動(dòng)時(shí)代同程的APP開始推廣,2014年下載量已達(dá)2億,此時(shí)同程的數(shù)據(jù)驅(qū)動(dòng)開始考慮到下載量、激活情況、每天在線使用同程旅游的用戶數(shù)量、每天的新用戶數(shù)量、復(fù)購(gòu)率以及留存率等。此時(shí)的商品也更加多樣化,有高頻和低頻商品之分,怎樣讓高頻轉(zhuǎn)向低頻去消費(fèi)和怎么讓低頻又返回到高頻消費(fèi)是我們要去分析的,我們采用了開源大數(shù)據(jù)架構(gòu),基礎(chǔ)設(shè)施從幾臺(tái)變成幾千臺(tái)服務(wù)器,開始建設(shè)自己的私有云平臺(tái)。
數(shù)據(jù)時(shí)代
數(shù)據(jù)時(shí)代同程做到線上線下的融合,建設(shè)了公有云+私有云的平臺(tái),同程的數(shù)據(jù)驅(qū)動(dòng)更多的關(guān)注門店、高潛用戶、旅游顧問等,旅游顧問就是大數(shù)據(jù)+人的線下推廣。現(xiàn)在,同程是一家架在互聯(lián)網(wǎng)上的“旅行社”,更多的是用數(shù)據(jù)去驅(qū)動(dòng)整個(gè)業(yè)務(wù)的發(fā)展。
?
此外,數(shù)據(jù)驅(qū)動(dòng)了用戶畫像,同程的用戶畫像是根據(jù)時(shí)間、人物以及當(dāng)前情況定制的用戶畫像;數(shù)據(jù)也驅(qū)動(dòng)了產(chǎn)品的選品,訂單的預(yù)測(cè);數(shù)據(jù)還驅(qū)動(dòng)了安全風(fēng)控、防黃牛黨、研發(fā)運(yùn)維,用技術(shù)驅(qū)動(dòng)技術(shù),由被動(dòng)轉(zhuǎn)主動(dòng),用數(shù)據(jù)告訴大家什么才是好的,解決在業(yè)務(wù)型互聯(lián)網(wǎng)公司技術(shù)的驅(qū)動(dòng)率。
同程數(shù)據(jù)驅(qū)動(dòng)背后的數(shù)據(jù)規(guī)模也很龐大,有5000+服務(wù)器,2w+容器,應(yīng)用3000多個(gè),PV20億左右,日均報(bào)錯(cuò)3W多,其中60%通過大數(shù)據(jù)應(yīng)用平臺(tái)自愈,日均攔截惡意訪問也有10W+。
?
同程旅游云端時(shí)代
解決基礎(chǔ)問題
十年前,同程只是一個(gè)簡(jiǎn)單的網(wǎng)站架構(gòu),性能瓶頸頻發(fā),沒有任何運(yùn)維,更別提伸縮性了。
但是現(xiàn)在,同程已經(jīng)不再簡(jiǎn)單,各種應(yīng)用增加3000多個(gè),每天數(shù)億級(jí)的請(qǐng)求量,原來很簡(jiǎn)單的一句SQL,現(xiàn)在已經(jīng)沒法用了,服務(wù)器也已經(jīng)加到無法再加,運(yùn)維也是問題百出。系統(tǒng)越來越復(fù)雜,基礎(chǔ)設(shè)施難度越來越大。
從小系統(tǒng)到大系統(tǒng)長(zhǎng)大是一個(gè)必須經(jīng)歷的過程,于是,我們做出了改變。
應(yīng)用系統(tǒng)有很多,業(yè)務(wù)發(fā)展也很快,我們進(jìn)行了分層處理。先解決基礎(chǔ)問題,我們需要一個(gè)云解決基礎(chǔ)設(shè)施的困難,需要一些一流水準(zhǔn)的中間件,需要一個(gè)經(jīng)驗(yàn)豐富的運(yùn)維團(tuán)隊(duì);再解決業(yè)務(wù)問題,將業(yè)務(wù)微服務(wù)化,將數(shù)據(jù)庫(kù)變成數(shù)據(jù)平臺(tái),將原完全.NET向多語(yǔ)言發(fā)展,建立技術(shù)體系。
環(huán)境
我們部署了大量的Docker容器、輕量化的KVM,同時(shí)還有直接物理的部署(在私云中有部分部署不需要虛擬化會(huì)更好;我們的負(fù)載區(qū)服務(wù)器和大部分的數(shù)據(jù)庫(kù))。
緩存
我們?cè)诰彺嫔弦沧龀隽烁淖?#xff0c;多個(gè)小集群+單節(jié)點(diǎn)組成一個(gè)云,以場(chǎng)景劃分集群,實(shí)時(shí)平衡調(diào)度數(shù)據(jù),動(dòng)態(tài)擴(kuò)容縮容。
數(shù)據(jù)庫(kù)
數(shù)據(jù)庫(kù)是海量流量系統(tǒng)平臺(tái)核心命門之一,數(shù)據(jù)庫(kù)的熱備機(jī)比較多但一些非核心庫(kù)訪問量很低。
運(yùn)維
?
雖然做了很大的改變,但問題依然存在。基礎(chǔ)成功云化后提供了基礎(chǔ)云服務(wù)但說到實(shí)處也不過提供一堆可部署應(yīng)用的機(jī)器;應(yīng)用系統(tǒng)的擴(kuò)展,速度開發(fā),重用性等等也有很多問題;應(yīng)用系統(tǒng)的故障依然很大。此外,還有彈性擴(kuò)容的問題,以及新技術(shù)(語(yǔ)音識(shí)別)的支撐問題。
用云來支撐整個(gè)技術(shù)基礎(chǔ)體系
公有云是創(chuàng)新驅(qū)動(dòng)首選,我們使用了阿里云等云服務(wù),實(shí)現(xiàn)了快速擴(kuò)容,基礎(chǔ)產(chǎn)品豐富可靠,安全也有了保障。
我們對(duì)公有云和私云進(jìn)行全面打通,讓我們的基礎(chǔ)設(shè)施能夠涵蓋到私有和公有。我們?cè)诎⒗镌粕喜渴鹆?2個(gè)機(jī)器人,他們每天會(huì)向系統(tǒng)回報(bào)做了什么。
總結(jié)
以上是生活随笔為你收集整理的数据规模恼同程,混合云飘来除杂症的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: mysql经典主从复制
- 下一篇: 三:大型网站的核心架构要素