聚水潭數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)介紹

上海聚水潭網(wǎng)絡(luò)科技有限公司成立于2014年。聚水潭創(chuàng)建之初，以電商SaaS ERP切入市場(chǎng)，憑借出色的產(chǎn)品和服務(wù)，快速獲得市場(chǎng)領(lǐng)先地位。隨著客戶(hù)需求的不斷變化，如今聚水潭已經(jīng)發(fā)展成為以SaaS ERP為核心，集多種商家服務(wù)為一體的SaaS協(xié)同平臺(tái)，為全國(guó)33萬(wàn)多家電商企業(yè)提供全面的信息化解決方案。
來(lái)自阿里巴巴旗下商家服務(wù)市場(chǎng)的最新數(shù)據(jù)顯示，聚水潭已是企業(yè)ERP類(lèi)目中使用商家數(shù)最多的軟件。自雙十一購(gòu)物節(jié)誕生以來(lái)，團(tuán)隊(duì)經(jīng)歷了每一次電商大促的考驗(yàn)，盡管每年承載單量成幾何倍數(shù)增加，聚水潭系統(tǒng)依然保持平穩(wěn)、安全和順暢地運(yùn)行。2019年11月11日，聚水潭系統(tǒng)處理訂單總量達(dá) 2.5億單，成交額超400億元。
基于阿里云的ECS和數(shù)據(jù)庫(kù)產(chǎn)品，聚水潭構(gòu)建了一整套具有競(jìng)爭(zhēng)力的電商SaaS平臺(tái)，為商家提供訂單管理、倉(cāng)儲(chǔ)管理、分銷(xiāo)管理和協(xié)同供應(yīng)鏈等功能。并且基于財(cái)務(wù)和經(jīng)營(yíng)數(shù)據(jù)，為商家提供快速經(jīng)營(yíng)報(bào)表、分析、測(cè)算工具系統(tǒng)。阿里云數(shù)據(jù)庫(kù)為其提供了多元化的數(shù)據(jù)庫(kù)服務(wù)。其中AnalyticDB for PostgreSQL（簡(jiǎn)稱(chēng) ADB PG）分析型數(shù)據(jù)庫(kù)支撐了核心數(shù)據(jù)倉(cāng)庫(kù)的ETL作業(yè)、CRM系統(tǒng)和在線分析報(bào)表業(yè)務(wù)，整體數(shù)據(jù)量達(dá)到 200TB+，每天超過(guò)354萬(wàn)任務(wù)運(yùn)行。過(guò)去幾年年來(lái)，ADB PG支撐了多次電商大促考驗(yàn)，2019年雙十一期間聚水潭數(shù)倉(cāng)日數(shù)據(jù)增量5.6TB，平均寫(xiě)入TPS 208萬(wàn)，全程平穩(wěn)，零業(yè)務(wù)異常。

聚水潭數(shù)倉(cāng)演進(jìn)及解決方案

聚水潭在數(shù)據(jù)倉(cāng)庫(kù)方面，從無(wú)到有探索出一整套符合電商SaaS平臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，其數(shù)據(jù)倉(cāng)庫(kù)演進(jìn)經(jīng)歷了從原始期到成熟期的4個(gè)階段：

• 原始期（2014年~2016年4月）：公司初創(chuàng)期間，數(shù)據(jù)庫(kù)以服務(wù)業(yè)務(wù)系統(tǒng)為主；
• 探索期（2016年4月~2016年9月）：業(yè)務(wù)規(guī)模達(dá)到一定程度，開(kāi)始有數(shù)據(jù)倉(cāng)庫(kù)需求，使用業(yè)務(wù)數(shù)據(jù)庫(kù)承擔(dān)部分?jǐn)?shù)據(jù)倉(cāng)庫(kù)功能，隨著業(yè)務(wù)的增長(zhǎng)，業(yè)務(wù)系統(tǒng)和數(shù)倉(cāng)相互影響；
• 自建期（2016年9月~2018年3月）：基于開(kāi)源Greenplum構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，首先探索了數(shù)倉(cāng)大庫(kù)模式，但由于商家眾多，且增長(zhǎng)速度快，把商家分?jǐn)偟街械葦?shù)倉(cāng)庫(kù)，在商家增長(zhǎng)的同時(shí)添加中等數(shù)倉(cāng)庫(kù)個(gè)數(shù)方式更符合業(yè)務(wù)邏輯和業(yè)務(wù)發(fā)展；
• 成熟期（2018年3月~今）：數(shù)據(jù)庫(kù)全面擁抱阿里云，數(shù)據(jù)倉(cāng)庫(kù)全部采用ADB PG構(gòu)建，ADB PG承載了離線批處理和在線分析查詢(xún)等業(yè)務(wù)。

聚水潭數(shù)倉(cāng)“一路向北”遷移及雙十一保障

每年雙十一對(duì)電商平臺(tái)是一次全面系統(tǒng)穩(wěn)定性考察、也是易用性和性能的最好練兵場(chǎng)。阿里云聚石塔電商云平臺(tái)在2019年8月啟動(dòng)“一路向北”遷移，將華東機(jī)房服務(wù)整體搬遷到張北，提供更大擴(kuò)展和高性?xún)r(jià)比服務(wù)。聚水潭ADB PG數(shù)倉(cāng)在遷移過(guò)程中，即開(kāi)始了雙十一的規(guī)劃。在“一路向北”準(zhǔn)備期間，對(duì)聚水潭三十多個(gè)ADB PG實(shí)例進(jìn)行了水位摸底、瓶頸分析和雙十一業(yè)務(wù)預(yù)期調(diào)研，對(duì)業(yè)務(wù)量大、增長(zhǎng)迅速的實(shí)例進(jìn)行了針對(duì)性調(diào)整及擴(kuò)容。
針對(duì)雙十一當(dāng)天增量數(shù)據(jù)暴增的情況，在雙十一前對(duì)離線批處理和在線報(bào)表業(yè)務(wù)進(jìn)行了壓測(cè)，壓測(cè)在變配/擴(kuò)容/新購(gòu)實(shí)例的基礎(chǔ)上進(jìn)行，壓測(cè)效果滿(mǎn)足業(yè)務(wù)需求。此外，ADB PG在雙十一前還進(jìn)行了實(shí)例備份巡檢、Xid巡檢、磁盤(pán)容量巡檢、CPU巡檢等，確保聚水潭雙十一生產(chǎn)實(shí)例的萬(wàn)無(wú)一失。同時(shí)雙十一當(dāng)天及第二天派工程師到客戶(hù)現(xiàn)場(chǎng)進(jìn)行重點(diǎn)保障。目前聚水潭共計(jì)有ADB PG三十多個(gè)實(shí)例，總計(jì)1348 CPU核資源。

AnalyticDB for PostgreSQL支撐聚水潭大規(guī)模數(shù)倉(cāng)的核心技術(shù)

阿里云AnalyticDB for PostgreSQL為采用MPP架構(gòu)的分布式集群數(shù)據(jù)庫(kù)，完備支持SQL 2003，高度兼容Oracle語(yǔ)法，支持PL/SQL存儲(chǔ)過(guò)程，觸發(fā)器，支持標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)事務(wù)ACID。ADB PG通過(guò)行存儲(chǔ)、列存儲(chǔ)、多種分區(qū)表和索引等機(jī)制，可以支持海量數(shù)據(jù)的在線交付分析，也支持ETL批處理任務(wù)。如下是支持聚水潭海量數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)的關(guān)鍵技術(shù)點(diǎn)：

高壓縮比列存儲(chǔ)
ADB PG支持?jǐn)?shù)據(jù)按列存儲(chǔ)或按列存儲(chǔ)。對(duì)于頻繁更新的數(shù)據(jù)，建議采用行存儲(chǔ)，而對(duì)于少量更新的大寬表，可以采用列存儲(chǔ)。列存儲(chǔ)除了可以實(shí)現(xiàn)高性能的全表聚合外，還具備存儲(chǔ)的高壓縮比。在聚水潭的數(shù)據(jù)倉(cāng)庫(kù)里，列存儲(chǔ)數(shù)據(jù)普遍達(dá)到4倍以上的數(shù)據(jù)壓縮率，從而極大的節(jié)省空間，降低成本。

復(fù)雜SQL優(yōu)化
核心數(shù)據(jù)倉(cāng)庫(kù)的ETL過(guò)程，往往都是復(fù)雜的多表關(guān)聯(lián)聚合，最優(yōu)的執(zhí)行路徑會(huì)帶來(lái)數(shù)量級(jí)上的性能提升。ADB PG具備完備的CBO代價(jià)優(yōu)化器，同時(shí)Cascade的SQL優(yōu)化框架，可以很好的將RBO規(guī)則優(yōu)化同CBO代價(jià)優(yōu)化相互結(jié)合，從而指定最優(yōu)的分布式執(zhí)行計(jì)劃，保證ETL的執(zhí)行性能。

高性能執(zhí)行
ADB PG支持多種計(jì)劃?rùn)C(jī)制，包括支持表按區(qū)間或者值進(jìn)行分區(qū)，支持標(biāo)準(zhǔn)BTree索引，Bitmap位圖索引等，從而保證高性能的分析計(jì)算性能。

AnalyticDB for PostgreSQL 產(chǎn)品技術(shù)展望

ADB PG 2019年底會(huì)上線新一代向量化計(jì)算引擎，對(duì)于標(biāo)準(zhǔn)TPC-H OLAP benchmark 查詢(xún)性能提升1倍以上。當(dāng)前公測(cè)中的最新版本ADB PG 6.0，HTAP能力大幅增強(qiáng)，標(biāo)準(zhǔn)TPC-C OLTP benchmark 支持 20w tpmC，從而對(duì)混合復(fù)雜場(chǎng)景，高并發(fā) QPS 場(chǎng)景，性能有了質(zhì)的提升。ADB PG 目前推出一元試用一個(gè)月活動(dòng)，基于其完備功能，卓越性能，是阿里云平臺(tái)上快速構(gòu)建海量實(shí)時(shí)數(shù)倉(cāng)的最優(yōu)選擇。

雙12來(lái)襲！500元淘寶紅包、iPhone11等你拿。
https://www.aliyun.com/1212/2019/home?utm_content=g_1000092611

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的聚水潭是如何基于AnalyticDB for PostgreSQL 构筑海量实时数仓平台的的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。