飞天大数据平台助力轻松筹数字化运营
輕松籌數據平臺部高級總監 孟奇奎
本文講述了輕松籌是如何利用阿里云大數據平臺搭建低成本的數據中臺,實現數據化運營。數據中臺支撐了輕松籌豐富的運營活動,通過智能化的手段,為用戶和企業創造了價值。
輕松籌是一家聚焦于事前保障、事后救助的健康管理平臺,數據驅動是輕松籌最重要的文化。輕松籌的大數據平臺是基于經過時間驗證的飛天大數據組件構建的。在輕松籌大數據平臺體系內,我們用到了MaxCompute、DataWorks、Hologres、Flink以及GDB、DataHub、PAI等各種成熟的阿里云技術組件。
MaxCompute主要解決我們大數據海量數據存儲和計算的需求問題,DataWorks是解決數據的調度問題,Hologres是我們實時數據倉庫的核心組件,這個組件解決實時數據采集以及交互式查詢問題。Flink是處理流數據的引擎,GDB是處理輕松籌復雜的圖數據的計算平臺,DataHub是我們的數據的交互平臺,PAI是用于我們深度學習和機器學習模型訓練的平臺。
我們結合輕松籌的特點,構建了輕松籌的數據中臺,包括我們的離線數據倉庫,實時數據倉庫,以及online和offline的AI訓練平臺。那么在這些基礎平臺之上,我們構建了一些數據應用的工具和系統,包括實時的或者是T+1的BI報表,數據自由的探索和分析,用戶行為采集與分析,用戶畫像平臺,以及我們一些自然語言處理和推薦服務的一些在線的和離線的深度學習和機器學習模型,以及我們成百上千的標簽化的數據服務,這些數據服務既包括T+1的,也包括實時的。在這些平臺之上的輕松籌的數據應用,在大量的業務場景中支持了我們的精細化運營。
包括我們每天基于大數據會生成我們的電銷線索,我們利用算法模型以及人工策略去優化我們的微信推送,短信推送,提升ROI;也利用我們的推薦算法去優化廣告流量,提升點擊轉化率,以及成長轉化率。同時我們利用一些NLP以及推薦的算法去進行風險控制,防范來自外部客戶的欺詐和內部員工的欺詐。另外大數據平臺也會應用于各種各樣的運營決策場景,以及管理決策場景。同時在我們的平臺上面也有大量的商業分析人員進行靈活的數據分析,去發現商業價值和機會。就到今天為止,我們輕松籌大數據平臺已經深入的和各個業務場景進行了結合,我們輕松籌的數據體系在輕松籌發揮越來越大的價值。
為什么選擇飛天大數據平臺?從輕松籌的實踐角度去思考,飛天大數據平臺是一種低成本的、高效率的全域數據管理基礎設施。以飛天平臺最核心的幾個產品為例,比如MaxCompute。MaxCompute是一個最具成本效益的全域的全歷史周期的數據存儲和運算平臺,它支持從TB級到PB級數據持續增長,不存在架構上的瓶頸,支持基于海量數據復雜運算邏輯的數據分析,而且成熟度比較高,具有良好的配套設施和兼容性。
另外Hologres支持低延時的交互式數據查詢,是實時數倉的最佳技術組件,可以與MaxCompute無縫結合,支持nearline和offline的數據組合應用,并且可以與Flink結合,實現實時的數據抽取加載和轉換,并且可彈性擴展。而GraphCompute是支持百億節點千億邊規模的超大圖存儲,適用于關系圖數據庫的存儲和計算,為圖計算提供了一個低成本可擴展的高效的計算平臺,PAI是一個機器學習和深度學習的訓練平臺,提供了按需付費、彈性擴展的gpu,相比較于獨立gpu的服務器具有成本優勢,為復雜的模型訓練提供了充足的算力資源。這就是我們選擇飛天平臺作為我們大數據平臺的基礎設施,構建我們輕松籌的大數據體系的原因。
數據化運營是構建數據閉環,利用數據和算力持續改進的過程。數據化運營不是一個靜態的過程,而是一個動態的過程。我們通過構建數據閉環,利用數據和算力,持續改進我們的運營效率。在輕松籌的數據化運營體系里面,我們的大數據平臺處于核心的位置。
一方面大數據平臺讓我們可以從所有的業務系統去抽取用戶數據、訂單數據、合約數據、項目數據、產品數據;同時在我們的大數據平臺上面,我們所有的運營人員可以進行運營活動的創意分析、設計執行以及評估,并形成我們的人工策略和算法策略。這些人工策略和算法策略,使我們可以通過各種各樣的客戶接觸渠道,進行用戶觸達。
同時另一方面我們的大數據平臺也會采集我們所有的運營活動的過程數據、結果數據以及用戶反饋數據,我們利用這些數據來進行運營活動的評價,并且對運營活動進行持續的改進和優化,所以說我們利用大數據平臺構建數據閉環,同時也構建運營閉環,通過運營閉環實現我們數據化運營的運營策略的持續改進。在這個過程中,我們實現數據驅動運營,數據、算力和算法是最核心的三個要素。其中的算力我們主要是依賴于阿里的飛天大數據平臺解決方案。
從輕松籌的數據平臺建設角度來看,輕松籌在業務場景上有兩個大的場景,一個是數據驅動運營,另外一個是數據驅動管理。我們希望把有限的人力和物力聚焦于我們數據發揮價值,而不是聚焦于底層平臺的建設和運維。那么飛天數據平臺降低了我們輕松籌大數據平臺建設和運維的復雜性,讓我們的人力和物力聚焦于數據驅動價值。在任何一家企業里,所有人都認為數據是有價值的,但是能夠讓數據發揮價值,在任何企業都不是一個簡單的事情。
數據驅動價值,從數據的角度來看,我們只是要做到下面5件事情:第一件事是基礎中臺能力建設,第二件事是構建數據閉環,第三件事是數據產品和工具化,第4件事是指標體系和數據治理,第5件事才是我們把數據聚焦于數據創造價值。而這里面的任何一件事情都不是簡單的容易實現的。從數據驅動運營的角度來看,我們首先要把運營目標數據化,其次運營過程數據化,然后我們需要把運營數據形成閉環,運營策略數據化以及運營的智能化。從數據驅動管理的角度來看,我們需要把管理目標指標化,管理目標的跟蹤和預警,實現數據支持管理決策,數據支持問題的快速定位和解決,數據支持機會的發現。所以說整個聚焦于數據驅動價值這個場景和目標來說,我們有大量的工作要做,那么我們希望把一些基礎平臺基礎能力的建設和運維的工作讓阿里云來承擔,而輕松籌主要聚焦于我們的數據應用,數據的價值創造。
通過智能化手段為用戶和企業創造價值,這是任何數據平臺或者任何注重數據的企業發展的必然結果。數據平臺的建設,我們會積累大量的運營案例,我們會記錄千百萬用戶的選擇,這些所有的選擇都隱藏在數據中,挖掘這些數據的價值,即對企業有價值,又對用戶有價值。
我們整個數據平臺體系的建設分為三個階段:
第一個階段是數據的原始積累階段,我們盡可能詳盡的全面的收集數據并保存歷史。這段時間我們對數據的存儲有比較大的需求。
第二個階段是我們人工策略試驗階段,反復的定義策略,細分客戶并付諸執行,觀察效果持續改進,同時積累數據。這個階段我們對平臺的計算能力有很高的要求。
第三階段是我們通過機器學習深度學習算法,挖掘數據中蘊含的經驗和知識,這些知識有可能來自于運營人員,也可能來自于用戶,我們最終是要實現如下的目標:在合適的時間把合適的產品推薦給合適的用戶。在這個階段我們對我們的復雜的計算能力有很高的要求,這個時候PAI會進入我們的視野。
今天在輕松籌的大數據中臺上支撐了豐富的運營活動,那么從全公司來看,我們全公司從高管到執行層,經一半的員工每天都會通過數據中臺提供的看板了解公司的運營狀況,每天在平臺上會計算1000+的各類標簽,提供毫秒級的標簽服務,以及基于標簽組合的選人服務。每日有千萬+的基于算法評分或者人工細分的客戶精準推送,每天會生成近百萬的電銷線索,每日有千萬+的人群定向或者算法推薦支持我們的投放,我們要求的響應時間都是小于50毫秒,每日通過AI審核1000+的大病籌款項目,包括數千+的文本資料和數萬+的圖片資料,防范我們的客戶欺詐。每日有50多位我們的高級分析用戶,通過各種工具執行數千次的數據探索與分析。我們有數億節點,幾十億條邊的關系數據運行在阿里云的圖數據庫上,支持風控和運營,每日在大數據平臺上運行有6000+的作業。另外我們利用阿里的gpu資源訓練幾十個機器學習模型和深度學習模型,優化推送、成單轉化、信息流推薦等場景的轉化率。
謝謝大家!
更多大數據客戶實戰案例:
https://developer.aliyun.com/article/772449
原文鏈接:https://developer.aliyun.com/article/777598?
版權聲明:本文內容由阿里云實名注冊用戶自發貢獻,版權歸原作者所有,阿里云開發者社區不擁有其著作權,亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容,填寫侵權投訴表單進行舉報,一經查實,本社區將立刻刪除涉嫌侵權內容。總結
以上是生活随笔為你收集整理的飞天大数据平台助力轻松筹数字化运营的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 云湖共生,下一代数据湖来了?
- 下一篇: 玩吧高速增长的数据上云实践