OceanBase刷新世界纪录,支付宝再闯“无人区”
一直以來,在信息技術最核心的三大件“芯片、操作系統、數據庫”上,市場格局穩定,由英特爾、微軟、甲骨文等科技巨頭推動行業和技術發展。
老牌巨頭優勢巨大,但在中國這個爆發式增長需求的市場,技術亟待更新突破。于是,以阿里為代表的科技公司,開始從零研發,走上這條極其艱辛的自研技術創新之路。這其中,數據庫領域尤為艱難,技術挑戰大,研發成本和不確定性風險高,面臨太多的困難挑戰。
專注分布式關系數據庫的 OceanBase 團隊,甚至一度瀕臨解散。
而在 2020 年 5 月 20 日這天,作為支付寶完全自主研發的金融級分布式關系數據庫,OceanBase 把名字赫然刻在了 TPC 組織的官網上,而緊隨其后的記錄還是自己(2019 年 10 月創造過新紀錄)。
這一次,OceanBase 再破世界記錄,性能分數首次突破億級大關達到 7.07 億 tpmC,相比去年提升近 11 倍。(雷鋒網注:tpmC 值在國內外被廣泛用于衡量計算機系統的事務處理能力,為"每分鐘內系統處理的新訂單個數"的英文縮寫)
這標志著 OceanBase 成為全球最快數據庫,實現了數據庫這一基礎技術的革命性突破,也是自研技術對世界 IT 技術作出的重要貢獻。
OceanBase 突破背后,一路艱辛,沒有捷徑。
一年二刷 TPC-C 榜單,OceanBase 顛覆了什么?
首先認識 TPC。TPC 是由數十家會員公司創建的非盈利組織,成立于 1988 年,總部設在美國,圖靈獎得主 Jim Gray 是奠基人。
TPC-C 是全球最具公信力的聯機交易處理數據庫的功能與性能結合的測試標準,金融、電信、政府等關鍵領域的客戶一般參照 TPC-C 結果來衡量各個數據庫廠商的事務處理能力。通俗來講,TPC-C 測試是對于商業數據庫想要證明自身實力的一個硬性門檻,被譽為“數據庫領域的世界杯”。
但是一直以來,TPC-C 榜單都是老牌巨頭在競爭,尤其是 Oracle、微軟和 IBM 為首的數據庫廠商和硬件廠商長期霸榜。
因為通過測試,確實太難了。無論是數據庫從業者還是高校教師,都夢想著排進這個榜單。
誕生于 2010 年的 OceanBase 最初是用在支付寶上,它又被稱為“超級會計師”,可以在一秒內同時記數萬筆帳,并且不出一點錯。經過長時間積累,2019 年 10 月,OceanBase 一舉打破 Oracle“壟斷”9 年之久的 TPC-C 評測的世界紀錄,tpmC 高達 6088 萬之后,自研數據庫首次在世界舞臺上有了自己的聲量。
支付寶 OceanBase 再次登頂 TPC-C 榜單
而此次通過最新測試,OceanBase 成為唯一超千個節點并通過 TPC-C 測試的分布式數據庫,成績較去年更勝一籌。更重磅的是,其性能分數首次突破億級大關達到 7.07 億 tpmC,相比去年提升近 11 倍。
從關系數據庫的角度看,在這么大體量下,通過測試已經非常困難,保持系統性能更加困難。1500 多個數據庫節點,5000 多萬個倉庫以及對應數量的客戶端,并進行 8 個多小時的持續壓測,對整個系統是極大的考驗。
而我們之所以說 OceanBase 實現了突破和顛覆,關鍵就在于其采用了新一代分布式設計技術,顛覆了傳統數據庫集中式處理技術架構。
如何理解?
一般而言,傳統數據庫只能通過提升單機性能來提升整體性能,難以滿足市場持續擴張的數據處理需求。OceanBase 通過分布式擴展集群實現擴展能力的大幅提升,并通過分布式選舉技術、事務技術充分保證業務場景的一致性,實現整體性能的數量級提升。
在本次測試時,數據庫機器規模擴大到 1557 臺且單機倉庫數增長到 3.6 萬,總數據規模達到了近 6PB,最大單表掃描數據總行數超過 20 萬億行(TPC-H 最大的測試是 100TB)。
除了性能優勢,在兼容性上,OceanBase 較傳統數據庫也有創新,其可高度兼容 Oracle 和 Mysql,支持一鍵快速遷移,并提供云上的完整生態服務,解決了授權費用貴、硬件成本高、架構與運維復雜、遷移難度大等傳統數據庫難題。
用 10 年,OceanBase 做到別人做不到的事
螞蟻金服高級研究員、OceanBase 創始人陽振坤始終認為:
“直到今天,生產系統中沒有一個商業數據庫有分布式,除了 OceanBase,這是我們做到了別人做不到的事。”
縱觀當今全球數據庫應用情況,關系數據庫依然是主流,而集中式系統依然大行其道,甲骨文、IBM、微軟源源不斷從中獲得收入。
此前,分布式數據庫長期存在于理論中并沒有在生產中實現,雖然成本可以降低,但缺點亦十分突出:普通 PC 機單個來看都達不到金融級別的穩定性,如果其中一臺機器罷工,容易產生多米諾骨牌效應般的坍塌效應(這個短板被視為世界級難題)。
而 OceanBase 解決分布式數據庫穩定性的方式之一,是將每一份數據同時備份三份,存放在三臺不同的機器上。其原理是,一臺 PC 機出故障的概率如果是千分之一,兩臺同時壞的概率可能就是百萬分之一,三臺同時壞的概率則是十億分之一。
早年,在阿里的眾多業務中,無論是淘寶還是支付寶,集中式的關系數據庫都扮演著十分關鍵的角色,不可能擺脫它。但是,市面上的商業數據庫在高擴展、高并發和低成本上遠遠無法滿足淘寶和支付寶的高成長速度,且遇到業務激增時 IOE 投資要放大幾百倍甚至幾千倍。
“誰都買不起了”。阿里勢必需要考慮切換軌道——在 2009 年啟動“去 IOE”。“去 IOE”工程的戰略價值何在?一般被認為有三點:架構靈活支撐業務飛速發展;基礎工程技術和人才的積累;大幅降低成本。
在數據庫領域,盡管彼時市面上非關系數據庫競相涌入,開源數據庫局限性比較大,兩者對巨頭的關系數據庫的沖擊可以用蚍蜉撼樹來形容——阿里決定走自研關系數據庫的道路。
盡管“自研”策略備受爭議,遇到各種反對,但一旦江河解凍,就會勢如劈竹,無法阻擋。OceanBase 沖在了最前面,做起了先鋒。2010 年 5 月,阿里邀請陽振坤加盟淘寶,由此拉開了 OceanBase 的自主研發之路。
-
2010 年:創始人陽振坤加入阿里巴巴,OceanBase 正式立項;
-
2014 年:OceanBase 0.5 版本發布,替代 Oracle 在支付寶交易系統上線,負擔“雙十一”10% 流量;
-
2015 年:網商銀行成立,OceanBase 成為全球首個應用于金融核心業務系統的分布式關系數據庫;
-
2016 年:OceanBase 1.0 版本在支付寶賬務系統上線,支撐 12 萬筆 / 秒支付峰值;
-
2017 年:支付寶首次把所有核心數據鏈路搬到 OceanBase 上。同年,OceanBase 在多家商業銀行上線;
-
2019 年:OceanBase 獲得 TPC-C 基準測試排名榜首;
-
2020 年:OceanBase 以 7.07 億 tpmC 的成績打破去年 TPC-C 基準測試紀錄。
據了解,OceanBase 早年第一個客戶是淘寶收藏夾。
當時的淘寶收藏夾業務高速發展,數據庫訪問量飛快增長,服務器數量需要翻一倍甚至幾倍才能應對業務需求。陽振坤主動提出可以用 OceanBase,把服務器的數量降低一個數量級。
很多年前 OceanBase 團隊的一張合影
在淘寶收藏夾吃完 OceanBase 這只螃蟹后,確實取得了不錯的效果,也由此,OceanBase 在內部獲得了更多信任。但由于找不到更多愿意使用的業務,陽振坤和他的伙伴們經歷了一段低谷期,用高德總裁劉振飛(2009 年組建淘寶技術保障部)的話來說,回想起來當時都是折磨、痛苦和眼淚,今天說起來可以算是傳奇和笑話了。
OceanBase 團隊在 2012 年走到了最困難的時候,數度瀕臨解散。
2012 年底,集團把 OceanBase 整個團隊調到了支付寶。支付寶屬于金融領域,面臨的數據庫挑戰會比其他業務更大,這相當于給了 OceanBase 團隊一次從頭開始的機會。
2013 年夏天,支付寶開始“去 IOE”,希望能夠把 Oracle 數據庫換掉。陽振坤主動向當時的螞蟻金服 CTO 程立推薦了 OceanBase,并得到了認可。此后 OceanBase 在阿里內部得到更多場景試煉,并逐步做到核心系統。
從“小我”到融入“海洋”
從瀕臨解散到浴火重生,OceanBase 走了快十年,它用了漫長的旅途進入了“無主之地”(自研分布式關系數據庫),沒有前人走過;它解決了自研信息技術三大軟肋(芯片、操作系統、數據庫)之一的數據庫難題,完全自主研發、安全可控。
它已經向所有人證明了通用的分布式關系數據庫是能夠做成的,而且能真正應用在生產系統中。
當我們從頭來看陽振坤跟 OceanBase 團隊定下的策略,不得不感嘆想法的“超前”:走標準化!做一個通用的關系數據庫產品!他們不僅僅要在公司內部使用它,還要實現外部商用——這帶來的挑戰就是投入更多人力和時間,以滿足市面上所有功能需求。
這就像“OceanBase”這個名字的寓意一樣:從一開始就立志做一個像海洋一樣的海量數據庫,征途就是星辰大海。
大音希聲大象無形,走向通用走向標準化,這件酷酷的事,支付寶做到了,而且把整個 TPC-C 測試變成了一種普惠的測試,為今后更廣泛應用打下基礎。
當然,OceanBase 早已經走出淘寶和支付寶的處女地,更多企業愿意擁抱它。
目前 OceanBase 已服務大量金融、電信等行業企業,如建設銀行、南京銀行、西安銀行、人保健康險、蘇州銀行、廣東農信、網商銀行等多家商業銀行和保險機構。全球前四名的支付平臺,兩家的核心系統都在使用 OceanBase 數據庫。
回首過往,之所以 OceanBase 能做成,能從當年的淘寶收藏夾走到支付寶,走進今天金融場景甚至更多領域,不僅是阿里,也是時代給了它一個好的發展機會。可以說,其高光有著行業和時代的必然性。
今天,阿里巴巴/支付寶內部有數以萬計的數據庫,總有一些業務由于數據量和自身業務需求等因素,可以先試用自研技術,再一步步地將數據庫做到關鍵系統。就是遵循這樣的邏輯,加之敢冒風險的勇氣,OceanBase 乃至阿里的云計算業務都能在阿里自然而然“長出來”,造就一段經典商業案例。
踩在過去的肩膀上,迎接未來的數據爆發,OceanBase 會摘到更豐盛的果實。讓中國數據庫技術服務全球,是 OceanBase 的初心,相信 OceanBase 未來會在更大海洋中發揮價值,與人類共享科技成果。
總結
以上是生活随笔為你收集整理的OceanBase刷新世界纪录,支付宝再闯“无人区”的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 求挑衅歌词。
- 下一篇: 苹果AirPods创意广告《Bounce