美柚上云 致力成为最懂女人的互联网企业
云棲號案例庫:【點擊查看更多上云案例】
不知道怎么上云?看云棲號案例庫,了解不同行業(yè)不同發(fā)展階段的上云方案,助力你上云決策!
案例背景
美柚以讓女人更美更健康為己任,致力成為最懂女人的互聯(lián)網(wǎng)企業(yè);美柚很早就將大數(shù)據(jù)作為了解女人、讀懂女人、服務(wù)女人的最重要利器。大數(shù)據(jù)在美柚的應(yīng)用非常廣泛,然而在美柚大數(shù)據(jù)之路的初期,遇到了不少的困難和挑戰(zhàn):
- 平臺成本高:我們粗略的算過這筆賬,數(shù)加比我們自建的成本要節(jié)省30%左右。
- 擴(kuò)展性不好:不僅需求提前預(yù)見新業(yè)務(wù)也需要預(yù)估資源的消耗量,從而提前申請足夠的資源,而數(shù)加則可以隨時購買所需的資源,甚至可以按量付費,完全不需要擔(dān)心資源不足的問題。
- 運維成本高:自建平臺需要自己去做很多的配套,例如權(quán)限控制、調(diào)度、監(jiān)控、報警,當(dāng)任務(wù)量和數(shù)據(jù)量到達(dá)一定程度時,復(fù)雜度成倍增加,不能很好的集中精力解決業(yè)務(wù)需求。
- 易用性:數(shù)加提供了數(shù)據(jù)血緣、任務(wù)依賴等實用功能,可以讓非數(shù)據(jù)開發(fā)人員(例如數(shù)據(jù)分析師)快速的找到自己想要的數(shù)據(jù)。
- 數(shù)據(jù)應(yīng)用:提供機器學(xué)習(xí)算法平臺和推薦引擎大大降低了機器學(xué)習(xí)的門檻,不必關(guān)心代碼實現(xiàn),只需要配置相關(guān)的參數(shù)即可。
關(guān)于美柚
廈門美柚信息科技有限公司,創(chuàng)始于2013年4月,是一家專注為女性服務(wù)的互聯(lián)網(wǎng)公司。秉承“讓女人更美更健康”的理念,美柚以經(jīng)期管理為切入點,為女性提供備孕、懷孕、育兒、社區(qū)交流等功能服務(wù)。目前,美柚用戶超過1.5億,日活躍用戶近千萬,擁有約160個高活躍的女性話題圈,社區(qū)內(nèi)用戶日均互動量超500萬帖,日均瀏覽量超過1.8億次。
在艾瑞、易觀、TalkingData、QuestMobile等第三方機構(gòu)發(fā)布的研究報告均顯示,美柚在總用戶數(shù)、活躍用戶數(shù)、日均使用時間等關(guān)鍵指標(biāo)方面遠(yuǎn)遠(yuǎn)領(lǐng)先于同類產(chǎn)品,是國內(nèi)最大的女性健康管理應(yīng)用,也是移動端最大的女性社區(qū)。
美柚大數(shù)據(jù)團(tuán)隊在對內(nèi)服務(wù)好美柚女性用戶的同時,積極舉辦和參與大數(shù)據(jù)技術(shù)沙龍, 同時參加各種國內(nèi)重量級大數(shù)據(jù)峰會例如在阿里云棲大會上分享美柚的大數(shù)據(jù)架構(gòu)和應(yīng)用,影響和帶動廈門大數(shù)據(jù)圈。
挑戰(zhàn)
美柚以讓女人更美更健康為己任,致力成為最懂女人的互聯(lián)網(wǎng)企業(yè);美柚很早就將大數(shù)據(jù)作為了解女人,讀懂女人,服務(wù)女人的最重要利器。這就要求我們大數(shù)據(jù)團(tuán)隊需要做好數(shù)據(jù)治理這塊,將零散的日志和業(yè)務(wù)數(shù)據(jù)通過科學(xué)的方法,將其規(guī)整起來,形成合理易用的數(shù)據(jù)倉庫;只有做好數(shù)據(jù)倉庫,才能方便的提供各種數(shù)據(jù)服務(wù)。
為什么使用數(shù)加
美柚創(chuàng)始于2013年4月,而在2014年初就組建了大數(shù)據(jù)團(tuán)隊。當(dāng)時也是自建了一套大數(shù)據(jù)平臺,當(dāng)時面臨最大的幾個問題:
- 人手不足,經(jīng)驗不足:當(dāng)時大數(shù)據(jù)開發(fā)團(tuán)隊就3個人,而且還沒什么大數(shù)據(jù)開發(fā)經(jīng)驗,對于hadoop及大數(shù)據(jù)生態(tài)等只是停留在理論階段,并沒有什么實操的經(jīng)驗;
- 時間緊任務(wù)重:由于當(dāng)時美柚處在高速發(fā)展的階段,對大數(shù)據(jù)的渴望異常強烈,然而大數(shù)據(jù)平臺處在建設(shè)的初期,各方面還不太完善,需要同時應(yīng)付:數(shù)據(jù)平臺的建設(shè),數(shù)據(jù)倉庫的建設(shè),業(yè)務(wù)數(shù)據(jù)需求;
- 平臺不穩(wěn)定:開源的hadoop系統(tǒng)并沒有完善的周邊配套,例如代碼版本控制,資源權(quán)限,任務(wù)調(diào)度,任務(wù)監(jiān)控,失敗報警等功能,往往需要等早上發(fā)現(xiàn)數(shù)據(jù)沒出來,或數(shù)據(jù)有問題的時候再一步一步的排查問題,用戶體驗非常不好,經(jīng)常遭到業(yè)務(wù)部門的投訴。
2014年底,美柚從阿里那邊請來了一個產(chǎn)品總監(jiān),了解到我們的大數(shù)據(jù)團(tuán)隊的痛點之后,給我們推薦了數(shù)加。經(jīng)過我們調(diào)研試用后感覺能夠解決我們的痛點,因此決定轉(zhuǎn)向數(shù)加平臺。
解決方案及架構(gòu)
?
這是我們DMP的架構(gòu),目前數(shù)加主要是數(shù)據(jù)ETL以及數(shù)據(jù)的導(dǎo)入導(dǎo)出這塊。具體ETL的架構(gòu)如下:
?
上圖的datax就是數(shù)加的數(shù)據(jù)集成部分
數(shù)據(jù)倉庫MaxCompute內(nèi)部分層如下:
?
收益
- 幾乎零運維,極大的降低大數(shù)據(jù)的使用門檻。所有的代碼管理,調(diào)度,監(jiān)控,報警數(shù)加都已經(jīng)幫我們做好了,我們要做的就是使用它。這樣我們可以更專注于數(shù)據(jù)開發(fā),專業(yè)的事要交給專業(yè)的人做。
- 數(shù)加的數(shù)據(jù)集成工具能夠很方便將不同的數(shù)據(jù)源的數(shù)據(jù),進(jìn)行導(dǎo)入導(dǎo)出,基本實現(xiàn)常用數(shù)據(jù)源的全覆蓋,從而實現(xiàn)大數(shù)據(jù)的全鏈路打通。
- 方法論的支持。我們遇到的一些問題,其實阿里云之前也遇到過,他們沉淀了一些解決問題的方法能夠讓我們有效快速的解決遇到的問題。
- 云棲大會和云棲社區(qū)上有不少解決實際問題的案例,也有不少新技術(shù),新理念的介紹,能夠拓寬我們的視野。
云棲號案例庫:【點擊查看更多上云案例】
不知道怎么上云?看云棲號案例庫,了解不同行業(yè)不同發(fā)展階段的上云方案,助力你上云決策!
原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
總結(jié)
以上是生活随笔為你收集整理的美柚上云 致力成为最懂女人的互联网企业的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2020将至,谈谈中小企业创业的那些事儿
- 下一篇: 小蜜团队万字长文 | 讲透对话管理模型最