簡介：本次分享介紹客如云如何利用阿里云大數據產品來建設數據中臺。 客如云是2012年成立的一家公司，覆蓋餐飲、零售、美業，還有其他的業態以及服務的一家綜合性的SaaS公司。到2020年為止，客如云已經服務了60萬商家，幫助60萬商家實現了數字化、智能化的改造，接下來我們會覆蓋更多的商家。

客如云技術總監 李浩

本次分享介紹客如云如何利用阿里云大數據產品來建設數據中臺。
客如云是2012年成立的一家公司，覆蓋餐飲、零售、美業，還有其他的業態以及服務的一家綜合性的SaaS公司。到2020年為止，客如云已經服務了60萬商家，幫助60萬商家實現了數字化、智能化的改造，接下來我們會覆蓋更多的商家。

目前客如云是四中心的架構，我們的研發中心在成都，硬件研發中心在深圳，總部在北京，銷售中心在武漢。接下來主要介紹我們的業務范圍：客如云是以軟硬一體的SaaS收銀服務為核心的，所以SaaS收銀系統的硬件和軟件是我們第一層，是我們的效率工具。第二層，我們和餐飲、零售的友商企業一起打造的人、財、物、客的生態系統。第三層，我們利用增值服務，比如營銷、供應鏈、人效、商業智能、金融服務，還有大數據的應用，去滿足各層級的商家的需求。從S1到S5，所有的大小品牌我們是全覆蓋的。我們的愿景是幫助客戶，幫助商家實現店開天下，客如云來，而我們從中能夠更好的服務于商家，幫助商家提效降本，去獲得更多的營收，降低更多的成本。
目前客如云整體的系統全部建設在阿里云的服務之上，保證了在較少的資源的情況下，支撐我們現在成為平臺級的公司。

接下來介紹一下，我們如何利用阿里云的產品來進行數據中臺建設的。大家都知道阿里巴巴的數據中臺是3個One的核心，One ID，One Data，One Service。在基礎設施的完善之上，首先我們要做到數據集成，所以我們利用了阿里云的DataHub、DataWorks、DTS等產品，把我們的業務數據統一到我們的Hadoop集群里面，然后我們現在再遷移到我們的MaxCompute里面，利用大數據的產品來進行整個數據倉庫的建設。MaxCompute幫助我們實現了整個離線數據的計算和存儲，包括數倉空間的建設，然后我們利用PAI建設了我們的算法中心和機器學習的樣板，利用Flink的技術打造了實時計算的平臺。我們在這些實時計算和離線計算的基礎之上，建立了統一的查詢服務。利用阿里云的Hologres產品，實現了我們的一體式查詢的One Service的理念。

在這個基礎上，我們保證了我們整個的數據應用，包含我們內部的數據應用，BI的產品，還有外部的數據應用，大屏，還有報表，還有整個的算法，智能推薦、精準營銷等這塊的整個的實現，建立了我們客如云的數據中臺，然后快速的滿足了我們的內部用戶和外部用戶的數據需求。

接下來我們再講一下，在這個過程中，我們如何利用阿里云的產品來幫助解決我們的哪些痛點問題？

首先我們看到的是我們原先是自建的Hadoop集群，難以維護，因為成本很高。我們經過了一年的努力，把整個Hadoop集群換成了MaxCompute，這樣的效果很明顯，我們的運維成本降低了1倍，計算速度增加了8倍，保證了我們快速交付ETL等計算處理的能力，給到業務線來使用。

第二個問題，我們遇到了很多數據安全的問題，自建的Hadoop集群沒辦法做數據審計，所以我們用到了阿里云的敏感數據保護產品SDDP，來進行數據的分級分類，保護我們的產品，實現數據的零泄漏。同時我們自建的Presto集群做交互式查詢時和我們的MaxCompute又不能相互融合，我們調研了以后發現Hologres的產品，相對來講比Presto性能更好一些，所以我們用Hologres的產品代替了Presto，保證了我們可以直接從MaxCompute里查詢，使整個交互實現了無縫對接。接著我們遇到了一些數據模型，數據建模的產品，目前還在調研Dataphin產品，實現整個的數據模型的建設。

我們最大的痛點是實時大屏的性能問題，這個時候我們發現用Flink的技術，再加上QuickBI能解決我們的前端和后端的問題。接下來我們以實時大屏為核心，來介紹一下我們怎么樣應用的，然后怎么樣解決掉這個問題的。

數據大屏我們遇到的難點第一個是我們的數據源太多了，我們用到了MySQL、 RDS、MongoDB、Redis、ES等多種數據來源，我們要把這些數據來源統一的匯聚，解決掉我們的數據源多的問題。第二個是我們的大屏性能方面，現在我們數據量特別大，然后樣式又特別多，需求特別復雜，這個時候怎么樣去解決掉這個問題。接著是看到這些需求，生成這些數據后，如何快速的在前端展示，這也是一個很大的問題。所以我們在調研QuickBI產品的時候，發現確實是能夠解決我們這方面的問題。

我們再來看一下我們是如何解決掉問題的。第一個問題，我們其實主要還是要做數據的治理，源數據的管理，血緣關系，甚至是一些多數據源的處理，減少我們的現有的集群。第二個問題，因為數據量大，現在各類企業其實有著海量的數據，需要解決快速查詢的問題，方案就是我們利用阿里云的實時計算平臺，基于Flink開源技術，解決了我們整個的查數據速度的問題。我認為整個的阿里云的Flink技術確實是能夠更快的查詢到想查詢的海量的數據，它的性能和高擴展性我們確實是得到了體驗，我覺得在這塊領域阿里云還是名列第一的。而在整個大數據前端這塊，我們發現的問題是渲染慢。但是我們用QuickBI自定義拖拽，快速地去定義數據源，導入到不同的框標里面，可以快速的查詢出來。

上面是解決了一些問題，接下來介紹客如云的實時計算平臺是怎么樣的架構。我們通過4個層，基礎數據層，實時計算層、接口層和展示層來架設我們的實時計算平臺。重點講一下我們的實時計算層，計算層這塊其實我們有一些需求，不單是當天的數據，比如說商家要看這個月現在為止我們的營業額是多少，他不但需要當天的數據，還需要從8月1號到現在為止，所有的數據。所以它會體現到我們不但要有流表的接入，還要有維表的接入，還要有聚合計算，從而形成了一個數據流。多流的匯聚，實現了我們在接口層的調用的情況下，展示層能夠展示到我們當天能滿足商家每個維度的需求的數據，就像我舉的那個例子一樣，能夠看到當月到現在為止它的營業額是多少，這樣的一個場景。所以說我們實時計算的平臺主要是為了滿足業務各方面的需求。

接下來分享一下實際應用的場景。我們已經幫著一些菜市場實現了數據大屏。這塊的展示主要是當天的銷量是什么，哪個銷量最好，這樣能夠幫助商家了解第二天進什么貨更合適。這個大屏的應用實際上已經是能夠幫助商家在實際的生活場景里面得到很好的體驗。

餐飲實時大屏是基于我們現有的數據，展示了一下我們中國餐飲大數據的一些情況，但這是只是代表一部分客人的數據。當然這里面可以說客人的規模越來越大，我們做的也會越來越好，我們就可以展示出來到底中國人民喜歡點什么菜，哪個菜是最好吃的，大家喜歡什么樣的口味，我們都可以通過我們的實時數據計算，通過數據挖掘來發現出來。

BI應用主要是為內部客戶使用，我們的運營團隊、銷售團隊、研發團隊還有其他團隊，能夠保證我們整個的在數據的分析運營和輔助決策里面起到很大的作用，節省很多的管理層的成本和時間。利用我們的BI產品，可以解決這樣的需求。

總結一下主要介紹的三點，一個是客如云是干什么的？客如云是要幫助我們的餐飲、零售、美業的商家，實現店開天下、客如云來的愿景的SaaS公司。第二點是客如云如何利用阿里云的大數據產品來建設客如云的數據中臺。第三點是客如云如何利用實時大屏、我們的商家畫像產品以及其他大數據應用產品，來賦能商家。

感謝大家！

更多大數據客戶實戰案例：
https://developer.aliyun.com/article/772449

原文鏈接：https://developer.aliyun.com/article/777588?

版權聲明：本文內容由阿里云實名注冊用戶自發貢獻，版權歸原作者所有，阿里云開發者社區不擁有其著作權，亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容，填寫侵權投訴表單進行舉報，一經查實，本社區將立刻刪除涉嫌侵權內容。

總結

以上是生活随笔為你收集整理的利用阿里云大数据产品建设数据中台？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。