10 月 24 日對(duì)于程序員是個(gè)很特別的日子，對(duì)拓?cái)?shù)派（Openpie）所有的員工來(lái)說(shuō)也是令人激動(dòng)人心的一天。在這一天，拓?cái)?shù)派發(fā)布了云原生數(shù)據(jù)庫(kù) PieCloudDB 社區(qū)版與商業(yè)版。 ?PieCloudDB 歷經(jīng) 1 年多的研發(fā)，對(duì)數(shù)據(jù)庫(kù)內(nèi)核幾乎所有的模塊都進(jìn)行了大量的代碼改動(dòng)，以云計(jì)算架構(gòu)為設(shè)計(jì)基礎(chǔ)，全面擺脫 PC 架構(gòu)束縛，實(shí)現(xiàn)存算分離，做到了” 真正” 的彈性。此外還搭建了生態(tài)工具以及云原生平臺(tái)，研發(fā)工程量巨大。本文整理自拓?cái)?shù)派 CTO 郭罡在拓?cái)?shù)派 2022 發(fā)布會(huì)的演講，將為大家著重介紹 PieCloudDB 的產(chǎn)品總覽。

傳統(tǒng)分布式 MPP 架構(gòu)的痛點(diǎn)

MPP（Massive Parallel Processing，大規(guī)模并行處理），一直被譽(yù)為當(dāng)今數(shù)據(jù)庫(kù)的主流架構(gòu)，被廣泛用于眾多數(shù)據(jù)庫(kù)產(chǎn)品中，包括 Greenplum、Teradata、Vertica 等。 MPP 數(shù)據(jù)庫(kù)集群有可擴(kuò)展性、高可用性、高性能等眾多優(yōu)勢(shì)。MPP 數(shù)據(jù)庫(kù)的誕生解決了單個(gè) SQL 數(shù)據(jù)庫(kù)無(wú)法存放海量數(shù)據(jù)，很難在一臺(tái)物理機(jī)器上完成分析需求的難題。但傳統(tǒng) MPP 數(shù)據(jù)架構(gòu)也存在一些痛點(diǎn)：

• 缺乏彈性

傳統(tǒng) MPP 數(shù)據(jù)庫(kù)的計(jì)算與存儲(chǔ)是緊密耦合的。用戶在負(fù)載高峰時(shí)，常常需要快速運(yùn)行一個(gè)分析結(jié)果，此時(shí)往往需要更多的計(jì)算資源，而傳統(tǒng) MPP 數(shù)據(jù)庫(kù)的架構(gòu)無(wú)法通過(guò)擴(kuò)容（或者擴(kuò)容成本高昂）來(lái)實(shí)現(xiàn)，缺乏彈性。

• 木桶效應(yīng)

傳統(tǒng) MPP 數(shù)據(jù)庫(kù)架構(gòu)存在” 木桶效應(yīng)”。數(shù)據(jù)庫(kù)整體執(zhí)行速度取決于最” 短板” 單機(jī)（Straggler）的性能，此外單機(jī)故障會(huì)” 拖垮” 整個(gè)數(shù)據(jù)庫(kù)的性能，導(dǎo)致查詢(xún)速度變慢。典型的案例就是，一個(gè)集群在運(yùn)行一段時(shí)間后需要擴(kuò)容時(shí)，新的擴(kuò)容節(jié)點(diǎn)更快，但是由于木桶效應(yīng)，新的機(jī)器資源并沒(méi)有全部用上。

• 成本高昂

數(shù)據(jù)庫(kù)用戶一般都會(huì)采用固定的集群數(shù)來(lái)滿足彈性的業(yè)務(wù)需求，因此大多數(shù)情況下集群都會(huì)選擇” 超配”，以滿足可能出現(xiàn)的業(yè)務(wù)” 峰值”。我們經(jīng)常發(fā)現(xiàn)客戶的集群的資源利用率很低。這些集群也會(huì)給用戶帶來(lái)高昂的成本。

• 數(shù)據(jù)孤島

隨著業(yè)務(wù)的發(fā)展，數(shù)據(jù)量的增加，和信息化建設(shè)的需求，企業(yè)會(huì)為不同部門(mén)建設(shè)相應(yīng)的業(yè)務(wù)信息化系統(tǒng)。MPP 集群是彼此獨(dú)立的，不管是元數(shù)據(jù)還是用戶的數(shù)據(jù)都是孤立隔離開(kāi)的。很多傳統(tǒng) MPP 數(shù)據(jù)庫(kù)會(huì)采用聯(lián)邦查詢(xún)的方式來(lái)訪問(wèn)彼此隔離的數(shù)據(jù)。但聯(lián)邦查詢(xún)常常會(huì)存在性能問(wèn)題，跨集群的寫(xiě)入也不友好。數(shù)據(jù)聯(lián)邦并不是一個(gè)好的解決方案。

• 運(yùn)維成本

由于傳統(tǒng) MPP 數(shù)據(jù)庫(kù)架構(gòu)存儲(chǔ)和計(jì)算的緊密耦合，往往需要企業(yè)花費(fèi)巨大的運(yùn)維和時(shí)間成本。繁瑣的操作也會(huì)引入一些額外的運(yùn)維成本，包括系統(tǒng)運(yùn)維、數(shù)據(jù)庫(kù)運(yùn)維等。

PieCloudDB 團(tuán)隊(duì) 打造的 eMPP 架構(gòu)能夠完美解決這些問(wèn)題。eMPP 的含義是 elastic MPP（?elastic Massive Parallel Processing，彈性大規(guī)模并行計(jì)算），指彈性的計(jì)算資源資源，可以支持計(jì)算橫向和縱向的極速伸縮。eMPP 架構(gòu)使?PieCloudDB?用戶數(shù)據(jù)和元數(shù)據(jù)共享，并具有 MPP 的所有優(yōu)勢(shì)，包括分布式計(jì)算，海量數(shù)據(jù)并行處理等。

上云≠云原生

討論云原生之前，先來(lái)了解一下” 云”。云平臺(tái)能為數(shù)據(jù)庫(kù)提供兩大優(yōu)勢(shì)：云上的分布式存儲(chǔ)和云上的虛擬化技術(shù)。

云上的存儲(chǔ)容量理論上是無(wú)限的。借助云上的分布式存儲(chǔ)，用戶無(wú)需考慮因存儲(chǔ)容量而需要的擴(kuò)容和縮容操作。借助云上的虛擬化技術(shù)以及基于這種技術(shù)的 IaaS 產(chǎn)品，PieCloudDB 做到了解耦計(jì)算，從而實(shí)現(xiàn)了資源的池化，使得用戶能夠按需使用存儲(chǔ)或者計(jì)算資源。

如今，隨著云計(jì)算技術(shù)的發(fā)展，基礎(chǔ)軟件，尤其是數(shù)據(jù)庫(kù)產(chǎn)品，不管是國(guó)內(nèi)或是國(guó)外，上云已經(jīng)是大勢(shì)所趨。數(shù)據(jù)庫(kù)上云后，用戶可以專(zhuān)注于使用，將運(yùn)維工作交給云廠商。

上云并不等于云原生。“云原生” 是由?PaaS 云第一股 Pivotal?公司提出的概念。一款云原生數(shù)據(jù)庫(kù)需要滿足三個(gè)條件：存算分離彈性計(jì)算、多租戶和智能化云原生平臺(tái)。產(chǎn)品需要能夠支持存儲(chǔ)資源和計(jì)算資源的分離，能夠快速的進(jìn)行資源彈性伸縮，每個(gè)租戶可以根據(jù)需求彈性擴(kuò)展計(jì)算和存儲(chǔ)資源。此外，云原生數(shù)據(jù)庫(kù)需要提供給用戶一個(gè)智能化的云原生平臺(tái)，讓用戶能用云原生的方式來(lái)使用產(chǎn)品。PieCloudDB 作為一款云原生數(shù)據(jù)庫(kù)滿足了上述的所有優(yōu)勢(shì)。

什么是 PieCloudDB？

PieCloudDB 是一款 eMPP 云原生分布式數(shù)據(jù)庫(kù)，具備了 MPP 所有的優(yōu)勢(shì)，還具備了傳統(tǒng) MPP 數(shù)據(jù)庫(kù)所沒(méi)有的真正的” 彈性”。彈性是云原生的一個(gè)基本屬性，但我們的目標(biāo)不限于此，我們希望將 PieCloudDB 打造成一個(gè)為用戶帶來(lái)優(yōu)質(zhì)體驗(yàn)的實(shí)時(shí)大數(shù)據(jù)平臺(tái)。

?PieCloudDB 突破了 PC 時(shí)代計(jì)算平臺(tái)的限制，重新打造云上的數(shù)據(jù)庫(kù)內(nèi)核，對(duì)幾乎所有的內(nèi)核模塊做了大量創(chuàng)新。PieCloudDB 內(nèi)核團(tuán)隊(duì)具有強(qiáng)大的數(shù)據(jù)庫(kù)內(nèi)核代碼構(gòu)建能力和經(jīng)驗(yàn)，突破式創(chuàng)新了 eMPP（elastic Massive Parallel Processing）分布式技術(shù)。

PieCloudDB 的架構(gòu)圖非常的簡(jiǎn)潔優(yōu)雅。中間的虛擬數(shù)倉(cāng)是彈性計(jì)算層。元數(shù)據(jù)和用戶的數(shù)據(jù)是可以共享的。

PieCloudDB 核心團(tuán)隊(duì)在基礎(chǔ)軟件領(lǐng)域工作十余年，有著豐富的企業(yè)級(jí)客戶經(jīng)驗(yàn)。面對(duì)紛繁復(fù)雜的數(shù)據(jù)庫(kù)市場(chǎng)，PieCloudDB 團(tuán)隊(duì)一直在思考什么才是一款好的數(shù)據(jù)庫(kù)產(chǎn)品。PieCloudDB 團(tuán)隊(duì)總結(jié)多年的經(jīng)驗(yàn)，總結(jié)出一款好的基礎(chǔ)軟件，特別是數(shù)據(jù)庫(kù)產(chǎn)品需要包括四個(gè)特性，這也是 PieCloudDB 在產(chǎn)品設(shè)計(jì)過(guò)程中所遵循的原則。

• 安全可靠

第一個(gè)特性可以被拆解為兩個(gè)方面：安全和可靠。“安全”?包括數(shù)據(jù)存儲(chǔ)和訪問(wèn)安全。在數(shù)據(jù)存儲(chǔ)方面，PieCloudDB 采用一系列的數(shù)據(jù)安全加密技術(shù)，來(lái)確保用戶數(shù)據(jù)的安全性。而訪問(wèn)安全方面，PieCloudDB 在權(quán)限控制和網(wǎng)絡(luò)安全上也為用戶提供了眾多特性。此外，研發(fā)團(tuán)隊(duì)在 PieCloudDB 的代碼實(shí)現(xiàn)上，也非常注意安全編程，盡量避免漏洞。

“可靠”?是指產(chǎn)品的穩(wěn)定。一款優(yōu)秀的數(shù)據(jù)庫(kù)產(chǎn)品需要為上層應(yīng)用提供穩(wěn)定的服務(wù)，即使出現(xiàn)故障，也需要做到用戶無(wú)感知，不會(huì)影響用戶的日常業(yè)務(wù)，更不會(huì)出現(xiàn)數(shù)據(jù)損壞或丟失之類(lèi)嚴(yán)重的場(chǎng)景。

• 使用簡(jiǎn)單

第二個(gè)特性是使用簡(jiǎn)單。這一特性是從用戶的角度來(lái)設(shè)計(jì)產(chǎn)品，避免讓用戶用” 極客” 的思維來(lái)使用產(chǎn)品，做到開(kāi)箱即用簡(jiǎn)單上手。作為一款云原生產(chǎn)品，我們的操作平臺(tái)也是云原生的，用可視化的界面來(lái)幫助用戶更便捷的使用 PieCloudDB。

• 功能齊全

PieCloudDB 需要能夠提供豐富的功能。大數(shù)據(jù)的底層趨勢(shì)是使用 SQL，PieCloudDB 完全支持 ACID 事務(wù)，高度兼容 SQL：2016 標(biāo)準(zhǔn)，完全支持 SQL：1992 標(biāo)準(zhǔn)、大部分的 SQL：1999 和部分 SQL：2003 標(biāo)準(zhǔn)（主要支持其中的 OLAP 特性），支持包括窗函數(shù)、聚集、數(shù)據(jù)立方體等重要功能。此外還具有友好的用戶接口，包括 ODBC、JDBC、Websql 等。PieCloudDB 將對(duì)相關(guān)生態(tài)組件和工具支持齊全，目前 PieCloudDB 完美兼容 PostgreSQL 生態(tài)，很多 PostgreSQL 生態(tài)應(yīng)用能夠輕松接入 PieCloudDB 系統(tǒng)。

• 性能極致

PieCloudDB 為了用戶的使用體驗(yàn)，已經(jīng)進(jìn)行了大量的性能優(yōu)化。有些優(yōu)化可以提供數(shù)量級(jí)別的性能提升。在后面的版本中，PieCloudDB 將在未來(lái)的版本中不斷迭代，為用戶帶來(lái)更極致的性能。

在 PieCloudDB 社區(qū)版與商業(yè)版發(fā)布后，我們將持續(xù)迭代，不斷創(chuàng)新，為用戶帶來(lái)更多的價(jià)值。

?

總結(jié)

以上是生活随笔為你收集整理的「拓数派（OpenPie）2022 发布会实录 」PieCloudDB Database 社区版与商业版产品总览的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。