作者：算法&健兮，阿里巴巴數(shù)據(jù)技術(shù)及產(chǎn)品部技術(shù)專家

生意參謀介紹

生意參謀是阿里官方打造的全渠道、全鏈路、一站式數(shù)據(jù)平臺，致力于為用戶提供經(jīng)營分析、市場洞察、客群洞察等多樣化數(shù)據(jù)服務(wù)，幫助用戶全面提升商業(yè)決策效率。自2011年誕生以來，生意參謀服務(wù)過的用戶已逾3000萬，覆蓋了線上線下零售商（淘寶天貓）、品牌商（零售通）、智慧門店、內(nèi)貿(mào)批發(fā)商（1688）、內(nèi)容創(chuàng)作者（微淘等）、東南亞國際商家（LAZADA）等多個業(yè)態(tài)商業(yè)用戶。 目前，淘寶天貓商家中，月有交易的商家，99%以上都在使用生意參謀。
生意參謀經(jīng)過將近十年的發(fā)展，已經(jīng)支撐了99%淘寶天貓商家的決策運營，在如此龐大的商家群體下，每個商家對于數(shù)據(jù)的訴求都不一樣
? 對于中大型商家，有自己的數(shù)據(jù)分析師團隊，更希望自己對原始數(shù)據(jù)進行加工與展示，
? 對于中小型商家希望可以提供更加方便的一鍵式服務(wù)
? 對于一些品牌商，希望看到長達數(shù)年的歷史數(shù)據(jù)分析
多種多樣的分析需求對生意參謀的架構(gòu)提出了巨大的挑戰(zhàn)，借助于云原生數(shù)據(jù)倉庫AnalyticDB MySQL的強大能力，生意參謀與QuickBI團隊強強聯(lián)合，打造了“商家自助分析”產(chǎn)品，幫助商家定制自己的數(shù)據(jù)報表，滿足商家對自身各維度數(shù)據(jù)進行隨心所欲的分析需求，幫助千萬商家實現(xiàn)“數(shù)據(jù)價值在線化”。

商家分析的業(yè)務(wù)挑戰(zhàn)

1）海量數(shù)據(jù)高并發(fā)復(fù)雜查詢

生意參謀服務(wù)幾百萬商家，數(shù)據(jù)量是非常龐大的，如果存儲3年數(shù)據(jù)，僅一個商品維度數(shù)據(jù)表，就能到千億條記錄。但是我們要滿足商家對這些數(shù)據(jù)表，進行任意維度的數(shù)據(jù)查詢、篩選、關(guān)聯(lián)、聚合、計算、排序等操作，并且要求毫秒級返回。例雙十一期間我們的復(fù)雜查詢QPS超過300，在這種高并發(fā)低延時場景下對數(shù)據(jù)庫帶來巨大的挑戰(zhàn)。

2）在線查詢和批處理混合負載

為了降低成本，生意參謀“商家自助分析”產(chǎn)品不能將所有的商家數(shù)據(jù)全部寫入分析庫，需要對訂購的商家需要在商家當(dāng)天回補所有的歷史數(shù)據(jù)，要求單商家6000W數(shù)據(jù)分鐘級完成商家歷史數(shù)據(jù)回補。在數(shù)據(jù)回補時，高并發(fā)查詢與寫入要求同時運行，相互不影響，對分析庫的混合負載要求很高。

3）任意維度的靈活報表能力

生意參謀“商家自助分析”產(chǎn)品的根本需求是滿足商家各式各樣的分析需求，需要為商家可以提供靈活配置報表的能力，這時候一個成熟的BI解決方案必不可少。

4）商家數(shù)據(jù)安全性要求高

商家對于自身的數(shù)據(jù)安全要求非常高，生意參謀“商家自助分析”產(chǎn)品既要讓商家能夠隨心所欲的進行數(shù)據(jù)分析，又要避免數(shù)據(jù)的泄露，也要防止數(shù)據(jù)被爬取、防止水平越權(quán)泄露。

全套成熟BI方案 - AnalyticDB + QuickBI

生意參謀選擇了 AnalyticDB（以下簡稱ADB） + QuickBI 一整套成熟的BI解決方案。

QuickBI介紹

Quick BI是阿里云成熟的自助分析報表平臺，是國內(nèi)首個且唯一入選Gartner魔力象限的BI產(chǎn)品。產(chǎn)品經(jīng)過幾年的沉淀已無縫對接各類云上數(shù)據(jù)庫和自建數(shù)據(jù)庫，0代碼鼠標拖拽式操作，讓業(yè)務(wù)用戶也能一鍵輕松實現(xiàn)海量數(shù)據(jù)可視化分析。并且QuickBI提供彈內(nèi)部署能力，可以通過生意參謀為入口，對商家提供統(tǒng)一的服務(wù)。讓商家在產(chǎn)品心智上感受到，一個數(shù)據(jù)分析平臺，沒有考慮系統(tǒng)間切換的問題。真正實現(xiàn)一個平臺，滿足用戶數(shù)據(jù)分析需求。

AnalyticDB云原生數(shù)據(jù)倉庫

AnalyticDB是阿里云自研的云原生數(shù)倉庫，全面兼容MySQL語法，為分析而生，擁有出色的分析性能。

1）MySQL兼容，好用是數(shù)據(jù)庫價值真正的體現(xiàn)，AnalyticDB高度兼容MySQL，基本無需修改代碼即可像使用MySQL一樣使用AnalyticDB，遷移使用成本極低。對于MySQL社區(qū)周邊工具也可以無縫接入，因此和QuickBI的配合就像使用MySQL一樣簡單。
2）高性能高并發(fā)，AnalyticDB為分析而生，擁有業(yè)界最快的查詢性能，通過行列混存、自適應(yīng)索引，結(jié)合向量化的分布式執(zhí)行引擎實現(xiàn)大部分查詢復(fù)雜可以在毫秒級完成；同時通過在線化的調(diào)度和云原生的彈性擴展能力，可以支持大量商家的在線并發(fā)訪問。
3）混合負載，在存儲計算分離的架構(gòu)下，AnalyticDB可以混合計算負載能力，在經(jīng)典的在線（online）/交互式（interactive）查詢執(zhí)行模式之外，也支持了離線/批處理(batch)查詢執(zhí)行模式。因此針對在大量商家高并發(fā)在線查詢的同時，同時可以進行并發(fā)的數(shù)據(jù)寫入、加載和回補，實現(xiàn)業(yè)務(wù)一套系統(tǒng)的混合負載處理。?
4）安全可靠，AnalyticDB基于云原生的VPC網(wǎng)絡(luò)構(gòu)建，同時對數(shù)據(jù)有庫、表、列等多級權(quán)限保護，同時還支持通過內(nèi)容數(shù)據(jù)的加解密，可以滿足商家數(shù)據(jù)的安全性要求。
總結(jié)下，AnalyticDB可以從任意維度進行查詢、篩選、聚合、計算、排序等操作，性能支持亞秒返回，并且支持實時寫入，支持大型ETL與高并發(fā)查詢混合負載等特性非常契合商家自助分析業(yè)務(wù)。并且，QuickBI 完美支持AnalyticDB作為數(shù)據(jù)源頭，與商家自助分析業(yè)務(wù)完美契合。

生意參謀業(yè)務(wù)架構(gòu)

生意參謀自助服務(wù)的本質(zhì)是一套安全可靠，穩(wěn)定靈活的BI方案。在底層，生意參謀將訂購商家數(shù)據(jù)存放在AnalyticDB中，依托于AnalyticDB + QuickBI的生態(tài)，建立商家項目空間，同時打通生意參謀與QuickBI權(quán)限體系，支撐起商家自助分析需求。

數(shù)據(jù)同步

生意參謀自助分析，借助AnalyticDB支持高吞吐實時寫入的特性，通過訂購當(dāng)天回補歷史數(shù)據(jù)的方式， 解決了客戶對于長周期數(shù)據(jù)的分析訴求。對于新訂閱用戶，需要將歷史數(shù)據(jù)按天級別增量同步至AnalyticDB中，這個是系統(tǒng)設(shè)計的一個難點。借助AnalyticDB實時數(shù)據(jù)寫入的能力，我們設(shè)計了自助分析-數(shù)據(jù)增量同步方案，有效解決了歷史數(shù)據(jù)的增量同步。

數(shù)據(jù)安全

生意參謀整體數(shù)據(jù)架構(gòu)是全部用戶共享AnalyticDB存儲，不同商家是通過商家ID來區(qū)分，針對此種特殊場景，QuickBI的數(shù)據(jù)集支持了邏輯隔離，商家開通時，通過后臺接口初始化好商家數(shù)據(jù)集，注入商家ID參數(shù)，即使用戶編輯模擬也無法替換掉，保證了商家數(shù)據(jù)的安全性。同時通過行級權(quán)限，將不同版本的付費商家查看指標做了管控，確保了產(chǎn)品的利益不受損害。

業(yè)務(wù)價值

所有自助分析自定義配置的報表，都可以選擇配置到生意參謀首頁，這樣商家的所有子賬號，都能在生意參謀首頁看到，真正達到了用戶定制生意參謀頁面能力的效果。其中我們通過店鋪經(jīng)營分析，店鋪流量分析，單品深度洞察報告等BI模板，吸引了大量商家自助配置自己的BI報表。

未來展望

未來我們希望可以繼續(xù)在數(shù)據(jù)價值上的探索，希望持續(xù)與AnalyticDB + QuickBI保持共建，推動數(shù)據(jù)價值在線化，讓商家數(shù)據(jù)分析更加簡單高效。

業(yè)務(wù)資源隔離

在 AnalyticDB MySQL版新推出的彈性形態(tài)下實現(xiàn)了資源組功能，通過新建資源組可以從現(xiàn)有實例劃分出部分計算節(jié)點，這些計算節(jié)點資源只歸屬該資源組。用戶可將數(shù)據(jù)庫賬號綁定到不同的資源組，SQL查詢時根據(jù)綁定關(guān)系自動路由至對應(yīng)的資源組執(zhí)行，滿足用戶實現(xiàn)內(nèi)部多租戶隔離需求。我們對于不同的大商家，可以進行隔離，確保大商家業(yè)務(wù)的穩(wěn)定性，提供更好的業(yè)務(wù)體驗。

查詢負載管理

在自助BI的系統(tǒng)中一直存在一個痛點，單個用戶配置了不合理的報表，讀取超大量的數(shù)據(jù)，進行超出預(yù)期的計算，影響其他商家的報表展示，為此我們在系統(tǒng)中需要做諸多限制，比如用戶報表只能基于單表，不可以做多表聯(lián)合分析，這樣大大限制了商家報表的靈活性。為此我們期望AnalyticDB提負載管理的能力，通過我們指定查詢資源消耗，讀取數(shù)據(jù)消耗等維度限制，來對查詢進行 KILL，切換資源組等行為，保障數(shù)據(jù)庫穩(wěn)定性。

智能化診斷

需要做好監(jiān)控和邊界問題的發(fā)現(xiàn)機制，在出現(xiàn)問題時能夠快速定位。期望能夠充分利用AnalyticDB的監(jiān)控能力，在出現(xiàn)問題前第一時間預(yù)警，規(guī)避問題的發(fā)生。為此，AnalyticDB將提供全方位、多維度以及準實時的實例運行狀況洞察能力，通過對實例內(nèi)部的各類運行日志和時序指標進行算法建模，提供出問題前準確預(yù)測、出問題時及時告警、處理問題時精準定位的能力，確保不影響用戶上層業(yè)務(wù)。

?

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的千万商家的智能决策引擎--AnalyticDB如何助力生意参谋双十一的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。