从NoSQL到Lakehouse，Apache Doris的13年技术演进之路
從 2008 年第一個版本開始到今天，Apache Doris 已經(jīng)走過了 13 個年頭。從推出之初為了滿足百度商業(yè)系統(tǒng)的業(yè)務(wù)專用需求，到后來為解決通用報表與數(shù)據(jù)分析需求進一步改造，并在 2017 年改名 Palo 開源（詳見 InfoQ 當時報道），再到 2018 年用回 Doris 這個名字并進入 Apache 軟件基金會孵化，Apache Doris 的愿景一直是成為世界頂級的分析型數(shù)據(jù)庫產(chǎn)品。但與此同時，進入云原生時代，Apache Doris 也已經(jīng)有了它新的定位和目標。
早在 Apache Doris 開源之初，InfoQ 就曾采訪過項目負責(zé)人馬如悅，而今年正好是這個項目開源的第四個年頭，我們再一次找到百度 Apache Doris 主創(chuàng)團隊，跟大家聊聊 Apache Doris 的過去、現(xiàn)在和未來。據(jù)透露，目前 Apache Doris 的畢業(yè)籌備工作已經(jīng)啟動，團隊接下來的工作重心之一就是推動 Apache Doris 盡快從 Apache 基金會畢業(yè)成為頂級項目。
以下內(nèi)容整理自訪談實錄。
Apache Doris 的新目標
InfoQ：Apache Doris 發(fā)展至今，已經(jīng) 13 年了，如果要將發(fā)展歷史劃分成幾個階段，您們認為是怎樣的？
Apache Doris 團隊：Doris 的十多年歷史，走到今天，我們重新去審視，去掉細枝末節(jié)，大體可以分為三個階段：
- “NoSQL”階段（2008-2011 年）
這個階段主要是滿足百度商業(yè)系統(tǒng)幾個大業(yè)務(wù)的專用需求。這幾個業(yè)務(wù)，需要給幾十萬到幾百萬的客戶或者用戶提供實時的報表分析與可視化能力。而傳統(tǒng)的分析數(shù)據(jù)庫，基本上主要支撐公司內(nèi)部自己的 BI 需求，而這些 BI 需求，對數(shù)據(jù)入庫的時效性、查詢的并發(fā)性、查詢的延遲性要求都不是很高。所以使用傳統(tǒng)的分析數(shù)據(jù)庫根本無法支撐互聯(lián)網(wǎng)公司全新的分析需求。當時，我們采用了那時候市場上比較火的 NoSQL KV 數(shù)據(jù)庫來存取數(shù)據(jù)，并且自己實現(xiàn)了一個專用的分布式查詢引擎，這個查詢引擎不是 SQL 接口，而是類似 REST API，提供了一些聚合函數(shù)調(diào)用給業(yè)務(wù)使用來解決需求。
- “NewSQL”階段（2012-2020 年）
這一階段的研發(fā)重點主要是滿足以下新的需求：1) 通用的報表與數(shù)據(jù)分析需求開始增多，大家需要 SQL 接口；2) 原來的 KV 存儲引擎無法提供足夠的性能支撐越來越多的需求。所以，我們開始研發(fā)新的 Doris 系統(tǒng)。首先，我們研發(fā)了全新的單機列式存儲引擎 olapengine，先是使用單機 MySQL 來做 SQL 查詢引擎，通過分庫分表方式來解決分布式大規(guī)模問題；后來又將單機的列式存儲引擎改造為全分布式列式存儲引擎，把單機 MySQL 查詢引擎改造為 MPP 的 SQL 查詢引擎。分布式存儲和分布式 SQL 查詢引擎的改進，大大提升了性能和應(yīng)用場景滿足度，Doris 在百度被大規(guī)模采用。2017 年，Doris 也正式對外開源。
- “LakeHouse”階段 （2021 年開始）
隨著用戶需求不斷進化和云計算技術(shù)的廣泛推進，Doris 需要考慮離線在線一體化、存算分離、實時更新、半結(jié)構(gòu)化數(shù)據(jù)分析支持等需求。這些需求總結(jié)下來，簡單地說就是用戶希望擁有傳統(tǒng) MPP 數(shù)倉和基于數(shù)據(jù)湖的湖分析融合能力。目前 Doris 就處在這一階段，正在全力研發(fā)這些新的功能。
InfoQ：Apache Doris 的設(shè)計目標是為了解決什么問題？
Apache Doris 團隊： 因為技術(shù)和需求會隨著時間發(fā)生變化，Doris 也會跟著每個階段去制定不同的目標。
第一階段 Doris 主要還是滿足專用系統(tǒng)的統(tǒng)計分析需求，第二階段主要是滿足通用的報表與數(shù)據(jù)分析可視化需求。
到今天，我們發(fā)現(xiàn)用戶或者客戶對數(shù)據(jù)的分析需求，逐漸收斂為三大塊：
而新的 Doris 將會針對這三類場景，進行重點功能和性能設(shè)計，以便支撐這三類需求。
InfoQ：Apache Doris 最初的定位是什么？10 多年過去后，這個目標定位是否有了變化？
Apache Doris 團隊：Doris 最初的定位是新式數(shù)倉，滿足在線的數(shù)據(jù)分析場景，主要以高并發(fā)小查詢的性能最為出色。但是發(fā)展到今天，它的定位正在發(fā)生變化，這個主要變化可以用一個 T 形（一縱兩橫）來說明。一縱就是指把原來 Doris 最擅長的在線結(jié)構(gòu)化 MPP 數(shù)據(jù)分析性能優(yōu)化到最快，而導(dǎo)入實時化、存儲讀寫性能優(yōu)化、計算性能優(yōu)化，這些會學(xué)習(xí)和借鑒 ClickHouse 的一些設(shè)計。兩橫之一是支持半結(jié)構(gòu)化數(shù)據(jù)，當前全球很多對日志等半結(jié)構(gòu)化數(shù)據(jù)分析都使用 Elasticsearch，Doris 后續(xù)會加強對 ES 所支持場景的滿足能力；另一橫，就是擁抱云原生技術(shù)，支持存算分離，支持較大的查詢，滿足對數(shù)據(jù)科學(xué)與機器學(xué)習(xí)場景的支持，這一塊需要多去借鑒 Snowflake 和 Databricks 的一些設(shè)計。
當前 Doris 的新目標，就是主攻這個類似 T 形的一縱兩橫。
只關(guān)注性能過于片面
InfoQ：現(xiàn)在業(yè)內(nèi)出現(xiàn)了越來越多的各種 OLAP 軟件，相比較起來，您認為 Doris 具有什么樣的優(yōu)缺點？適合什么樣的使用場景？
Apache Doris 團隊：Doris 和很多其它競品不大相同的，主要是源于產(chǎn)業(yè)實踐。數(shù)據(jù)庫技術(shù)不同于應(yīng)用層軟件，數(shù)據(jù)庫技術(shù)的研發(fā)需要積累多年，并且還要經(jīng)歷大規(guī)模的實踐檢驗。在實踐中發(fā)現(xiàn)問題、發(fā)現(xiàn)需求，然后解決，這樣整個系統(tǒng)才會比較實用。
Doris 運維非常友好：很多數(shù)據(jù)庫公司研發(fā)數(shù)據(jù)庫，但是自己又沒有大規(guī)模使用，所以對運維友好性支持欠缺。Doris 來自于實踐，所以在多年的發(fā)展中增加了大量方便運維的特性，比如高可用、方便的擴縮容等。
比如為了節(jié)省成本，Doris 支持分層存儲，即一個表的一個 Partition 分區(qū)，可以設(shè)置為過了多久以后自動從 SSD 磁盤轉(zhuǎn)移到 SATA 硬盤上。
比如 Doris 的后端節(jié)點，需要管理員在前端主節(jié)點手動添加，好多人可能不理解，為什么不是后端節(jié)點自動匯報？問出這個問題，就可以發(fā)現(xiàn)其沒有一線工程經(jīng)驗，自動匯報會帶來很多潛在的運維風(fēng)險，都是我們曾經(jīng)有過的血淚教訓(xùn)，比如一個很久以前死掉的節(jié)點，突然重新啟動，那么很可能就會誤加入進來，造成查詢不可控。
比如 Doris 支持物化視圖和基礎(chǔ)表的數(shù)據(jù)一致性，這都是源自一線業(yè)務(wù)對數(shù)據(jù)一致性的強烈要求，業(yè)務(wù)無法接受物化視圖表和基礎(chǔ)表的不一致，因為對終端用戶來講，不一致會帶來很多的理解問題。
綜上，Doris 里面有大量的這種設(shè)計，這些功能對于不是一線運維的同學(xué)，或者運維經(jīng)驗不豐富的同學(xué)，可能不會了解到其好處，反而還會認為是壞處。
Doris 主要做的不好的我認為有兩處，一個是對傳統(tǒng)數(shù)倉的兼容性，畢竟它來自互聯(lián)網(wǎng)公司，在推廣到傳統(tǒng)數(shù)倉領(lǐng)域時，在一些 SQL 兼容性上遇到了一些問題，當前正在優(yōu)化解決；另一個是對云原生技術(shù)的全面擁抱，Doris 最初設(shè)計時，主要還是考慮私有化部署，那時云計算還不火。但當前云技術(shù)的采用正在加速，所以 Doris 后續(xù)也會加強對云原生的深度融合適配。
InfoQ：2017 年，您在InfoQ 的采訪中說過“性能不該是唯一關(guān)注點”，現(xiàn)在您們對 Apache Doris 的要求是否有變化？
Apache Doris 團隊： 我們的觀點還是沒有變化，雖然市場上依舊是看性能為主。我們認為一個生產(chǎn)級別的數(shù)據(jù)庫，要綜合考慮各個方面，穩(wěn)定性、易用性等，都需要考慮在內(nèi)。比如，很多人一直抱怨 Doris 沒有 ClickHouse 快，這個我是認為比較片面的。
就拿性能來說，一個在線系統(tǒng)，尤其針對高并發(fā)的在線分析系統(tǒng)，需要關(guān)注整個系統(tǒng)對眾多并發(fā)查詢都能提供穩(wěn)定的響應(yīng)，還要充分考慮預(yù)留足夠的資源給可能突發(fā)的一些查詢。如果一個查詢就把所有磁盤和 CPU 全部用滿，那么其它查詢?nèi)绾伪ＷC得到足夠的資源進行響應(yīng)？多并發(fā)來了，如何保證系統(tǒng)內(nèi)存不崩？所以，有些設(shè)計不是能不能做到的問題，而是要考慮應(yīng)該不應(yīng)該這樣做的問題。 比如 Doris 的每個查詢，就會控制內(nèi)存和 IO 線程的使用，并不是全量將系統(tǒng)的算力資源耗盡，而是在盡量滿足性能響應(yīng)需求的情況下，理性控制其使用量。
而易用性、運維友好這個可以追求極致，你會看到 Doris 為了不額外引入 ZooKeeper 這種系統(tǒng)造成運維復(fù)雜，自己研發(fā)了一套內(nèi)置的多 FE 系統(tǒng)。
當然，我們在面向 To B 推廣 Doris 時，很多人經(jīng)常會通過單一 SQL 的查詢性能來衡量這個系統(tǒng)優(yōu)還是劣，POC 測試對性能非?？粗?。針對這些情況，Doris 后面會采用類似汽車中的駕駛模式那種形式，提供 Normal 和 Sport 模式。當你將 Doris 設(shè)定為 Sport 模式時，Doris 將會以性能最快方式運行，榨取系統(tǒng)每一滴算力。而 Normal 模式，我們更建議在線上使用，以保持系統(tǒng)的穩(wěn)定性和應(yīng)對突發(fā)請求的能力，不要讓系統(tǒng)始終運行在崩潰邊緣。
InfoQ：您們團隊在這幾年的維護過程中，投入了多少人力，解決了哪些比較關(guān)鍵的技術(shù)問題？做了哪些功能優(yōu)化？
Apache Doris 團隊： 這幾年團隊成員有過變化，但團隊規(guī)模一直在穩(wěn)步增加，目前好幾個方向的人員數(shù)量加起來有 40 多人，既包含了 Doris Core 核心數(shù)據(jù)庫的研發(fā)，也包含了百度智能云上產(chǎn)品和外圍生態(tài)組件的前后端開發(fā)人員，還有一支實力強大的產(chǎn)品和運營團隊。
從開源至今，在社區(qū)的共同努力下，Doris 得到了前所未有的飛速發(fā)展，做了非常多的功能迭代和更新。主要包括以下幾方面：
- 流式導(dǎo)入功能幫助 Doris 從分鐘甚至小時級別的導(dǎo)入延遲推進到了秒級，更好地支撐了準實時的業(yè)務(wù)需求；
- 完全重構(gòu)了存儲引擎，提升擴展性的同時，支持了包括二級索引、字典壓縮編碼在內(nèi)的多項實用功能；
- 進行了大量的大數(shù)據(jù)生態(tài)打通工作，包括Spark、Flink、ES、Hive、Kafka 的直接連通，使得 Doris 不再成為數(shù)據(jù)孤島；
- 在明細數(shù)據(jù)上擴展了預(yù)聚合模型，完成了明細、聚合模型的數(shù)據(jù)統(tǒng)一訪問；
- 全新的向量化執(zhí)行引擎和資源隔離方案也即將發(fā)布，將進一步提升 Doris的數(shù)據(jù)分析性能和業(yè)務(wù)應(yīng)用場景；
- 還有其他非常多的穩(wěn)定性和易用性的提升，也是得益于開源后社區(qū)用戶的不斷打磨和反饋。
InfoQ：Apache Doris 和數(shù)據(jù)湖架構(gòu)之間有哪些區(qū)別和聯(lián)系？
Apache Doris 團隊：Doris 最初設(shè)計是存算一體化的 MPP 數(shù)據(jù)倉庫，偏在線分析。而數(shù)據(jù)湖架構(gòu)的分析，主要是存算分離，偏離線或者交互式分析，存儲引擎一般是 HDFS 或者對象存儲，而分析引擎類似 Spark/Hive/Presto。
從去年開始，大家已經(jīng)開始廣泛地推進 Data Warehouse 和 Data Lake 架構(gòu)的融合，即是所謂的湖倉一體，Lakehouse 的架構(gòu)。Doris 也正在從數(shù)倉架構(gòu)向 Lakehouse 演進。
InfoQ：在周邊生態(tài)上，最近幾年有了一個什么樣的變化？
Apache Doris 團隊：最大的變化就是 SQL 的取勝，實時的取勝，云原生的取勝。
- SQL 的取勝：從使用 Java 寫 MapReduce、Pig，用 Scala 寫 Spark 程序到 PySpark，最終還是 SQL笑到了最后，SQL 占據(jù)了數(shù)據(jù)分析的 80%；
- 實時的取勝：人們對于速度的追求是無止境的，一個事情不能做，希望可以做到，這個事情可以做到了，希望能越快越好。數(shù)據(jù)分析領(lǐng)域正在全面擁抱實時化的需求，希望實時的數(shù)據(jù)導(dǎo)入，希望實時的數(shù)據(jù)產(chǎn)出。從離線做起的 Hive、Spark 正在不斷優(yōu)化查詢性能，而那些直接從實時性能切入的 MPP 數(shù)倉和實時湖分析，比如 Presto，正在全面攻占在線實時市場；
- 云原生的取勝：云原生已經(jīng)不再是噱頭，而是正在成為關(guān)鍵賦能技術(shù)，Snowflake 的大賣，讓云原生成為每個數(shù)據(jù)分析產(chǎn)品都繞不開的領(lǐng)域。
基礎(chǔ)設(shè)施軟件必然要開源
InfoQ：您們當初是如何選擇開源的時機的？Doris 加入 Apache 經(jīng)過了一個什么樣的流程？
Apache Doris 團隊：Doris 從 13 年設(shè)計新版時，就考慮到了未來會開源出去，所以，我們在 13 年設(shè)計時，就沒有依賴百度內(nèi)部任何一個庫，并且整個系統(tǒng)也不依賴百度任何服務(wù)就可以獨自運作。
百度很多系統(tǒng)難以開源，主要是開始設(shè)計時，對百度內(nèi)部閉源庫和內(nèi)部系統(tǒng)的依賴較多，導(dǎo)致開源的時候需要大量重寫，最終使得開源難度非常大。Doris 沒有這個問題。
Doris 從 13 年就堅信未來基礎(chǔ)設(shè)施軟件必然是開源的，只有開源才能保持活力和持續(xù)迭代。并且像 Doris 這種基礎(chǔ)軟件，需要較大投入，如果不開源，不尋找其它價值點，是很難讓一個大公司持續(xù)投入資源來維持其不斷發(fā)展的。
Apache 是對開源極其友好的基金會，在大數(shù)據(jù)領(lǐng)域，Apache 軟件基金會的項目都極具影響力，比如 Hadoop 和 Spark 都是 Apache 軟件基金會的項目，所以 Doris 開源時也選擇了 Apache 軟件基金會。
InfoQ：您們認為什么樣的開源軟件可以稱之為是開源成功的？
Apache Doris 團隊： 我們認為衡量開源的成功與否關(guān)鍵在于以下三點：
- 被廣泛認可的產(chǎn)品價值
- 繁榮、自治、良性發(fā)展的社區(qū)生態(tài)
- 開源與商業(yè)化的平衡與共存
InfoQ：您們怎么看開源文化？您們團隊是如何構(gòu)建開源文化的？
Apache Doris 團隊： 作為任何一個技術(shù)人員，開源已經(jīng)成為了一種信仰，一方面是解決更多人的問題所帶來的成就感，另一方面就是社區(qū)的廣泛參與必定為項目帶來更好的活力，所以我們非常鼓勵團隊成員參與開源。
InfoQ：在參與開源的過程中，您們有什么樣的經(jīng)驗可以和大家分享？
Apache Doris 團隊： 開源社區(qū)不是只有維護團隊，每一個開源產(chǎn)品的使用者其實都是開源社區(qū)的一份子。在使用開源產(chǎn)品的同時，也可以多多回饋社區(qū)，這樣開源產(chǎn)品才能有更旺盛的生命力。
這里引用我們社區(qū)里一些用戶的話 “在開源過程中，你會結(jié)識志同道合的朋友，獲得朋友的認可與支持，甚至能夠與自己崇拜的業(yè)界大佬共同交流?！?、“我們每個人都有能力讓社區(qū)變得更好，在社區(qū)幫助我們成功支持業(yè)務(wù)的同時，我們也應(yīng)該盡自己所能，去回饋社區(qū)、幫助社區(qū)，哪怕只是一個文檔的修復(fù)，也是幫助。”
上面其實也是我們想傳達的理念，參與開源其實沒有什么門檻，我們希望能有更多的小伙伴參與到社區(qū)建設(shè)中來。不論是提交 Issue 或參與討論、幫助我們打磨產(chǎn)品和豐富功能，或者是修改和完善系統(tǒng)文檔，或者是貢獻應(yīng)用案例、讓我們知道 Apache Doris 在真實業(yè)務(wù)場景中還能發(fā)揮出超出我們想象的能力，亦或是口碑相傳、讓 Apache Doris 被更多人知曉，都是幫助 Apache Doris 在成長道路上更進一步！
InfoQ：您們?nèi)绾慰创_源項目社區(qū)之間的競爭與合作？面對中國開源市場，您有什么好的建議、寄語與大家分享么？
Apache Doris 團隊：開源社區(qū)之間其實不存在競爭一說，倒是有非常大的合作空間。
代碼和社區(qū)其實不用一概而論，代碼是代碼，社區(qū)是社區(qū)。 使用代碼的人是用戶，這些用戶是完全自由的，如何選擇一款開源產(chǎn)品及其代碼是由用戶自己的技術(shù)認知和業(yè)務(wù)需求來決定的，這里的競爭是存在于代碼層面的。而開源社區(qū)其實在代碼之上，也就是 Apache 理念的 Community Over Code，每個人都可以參與到社區(qū)，不管是不是用戶，不管有沒有需求，都可以作為獨立的身份加入到社區(qū)里來。
社區(qū)的發(fā)展有先后之分，社區(qū)間的合作可以幫助社區(qū)在更大范圍的人群中得到傳播，也能幫助新興社區(qū)更快成長，還可以讓開源代碼汲取到更豐富的養(yǎng)分。
對于中國開源市場，希望能有更多的開源項目可以蓬勃發(fā)展，這也會讓每一個人從中受益。
開源與商業(yè)化協(xié)同
InfoQ：您們?nèi)绾卫斫忾_源和商業(yè)化之間的關(guān)系？
Apache Doris 團隊： 當前大量底層技術(shù)產(chǎn)品都采用開源模式，客戶也愿意采用開源產(chǎn)品，所以大環(huán)境也會逼著你去開源；另外，在商業(yè)市場中存在著 2/8 原則，即 80% 的收入來自 20% 的付費用戶，而另外 80% 的用戶貢獻收入并不高，然而前者無論開源與否，都可能付費；而后者則更喜歡開源產(chǎn)品；但是，其中最重要的一條規(guī)律是，前面 20% 付費用戶的選擇會參考后面 80% 用戶的選擇。因此從商業(yè)上來看，讓產(chǎn)品開源，讓 80% 的用戶免費使用你的產(chǎn)品，必然會帶來很好的口碑，這直接會影響到那 20% 的高付費用戶，20% 的這群高付費用戶更多地關(guān)注服務(wù)。
所以，對于未來的技術(shù)產(chǎn)品，開源可能成為必須，這個“必須”不一定損害商業(yè)模式，反而會促進商業(yè)上的成功。 最近一兩年我們也跟很多面向開源軟件領(lǐng)域的投資人有過多次溝通，開源和商業(yè)化的之間必定是相互成就的。
但開源與商業(yè)化如何協(xié)同是當前和未來開源面臨的問題。開源與商業(yè)化需要找到一個良性并存的方式，才能將開源推向另一個高度。
當前開源與商業(yè)化如何協(xié)同，業(yè)內(nèi)都在探索，還在苦苦尋求中。付費技術(shù)支持、Open Core、SaaS 模式仍然是三個主要的商業(yè)化模式，但是在實際操作中都有其大的問題。
但是，我相信，隨著各類基于開源的商業(yè)化公司的不斷探索，成功與失敗，最終一定會探索出比較好的商業(yè)模式。
InfoQ：Doris 的商業(yè)化路徑是怎么規(guī)劃的？目前已經(jīng)有哪些商業(yè)客戶？
Apache Doris 團隊： 商業(yè)化路徑方面，我們認為云上才是未來，因此我們數(shù)年前就在百度智能云上推出了基于 Apache Doris 的企業(yè)版產(chǎn)品 Palo 并提供了云端托管服務(wù)，通過云服務(wù)的優(yōu)勢（比如按需取用和更加可控的海量資源、從繁瑣的運維工作中解放人力等）去滿足更多企業(yè)上云的需求。我們 云上 Palo 的核心代碼與開源版完全一致，避免用戶可能擔心被公有云廠商強綁定。我們公有云托管服務(wù)的價格，比用戶購買物理機甚至云上虛機自行搭建的費用還要低。我們還基于 Palo 提供了管控運維平臺等一系列云上組件，通過豐富的外圍組件給用戶帶來體驗更加的云上服務(wù)，目前我們的自助分析平臺 Studio 和可視化運維監(jiān)控 Manager 已經(jīng)逐步成熟起來。
目前我們已經(jīng)拿下的商業(yè)化客戶大概有接近 50 家，包括銀聯(lián)商務(wù)、知乎、四川航空等，更具體的數(shù)字就不進一步展開了。
InfoQ：Doris 所在的市場或所覆蓋的應(yīng)用場景，市場潛力還有多大？
Apache Doris 團隊： 數(shù)據(jù)分析場景主要是三大塊：數(shù)據(jù)倉庫與商業(yè)智能、日志檢索與分析、數(shù)據(jù)科學(xué)與機器學(xué)習(xí)場景，這三大場景占據(jù)了客戶 80% 的數(shù)據(jù)分析需求。這三大場景的不斷發(fā)展，未來一定會將數(shù)據(jù)分析的需求推為企業(yè) No.1 的需求。從各大咨詢調(diào)研報告來看，數(shù)據(jù)分析產(chǎn)品的增長依舊位列各種軟件產(chǎn)品的第一位。
本文選自《中國卓越技術(shù)團隊訪談錄》（2021 年第五季）。
整理 | 蔡芳芳、Tina
采訪嘉賓：
百度 Apache Doris 主創(chuàng)團隊
馬如悅、張志強、陳明雨、武云峰、楊政國、繆翎、魯志敬等
點擊進入獲得更多技術(shù)信息~~
總結(jié)
以上是生活随笔為你收集整理的从NoSQL到Lakehouse，Apache Doris的13年技术演进之路的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 9年当上架构师，我的很多想法变了
- 下一篇： MySQL索引的坑，谁踩谁知道……