官方首次披露,TDSQL十年自主可控之路(附PDF)
3月12日,在北京,騰訊云發布了全新升級的金融業務支撐平臺,平臺集中整合騰訊云在云計算架構、分布式數據庫、大數據以及人工智能等方面的優勢技術能力,著力解決金融機構數字化轉型中關鍵技術自主可控問題,助力構建覆蓋核心架構及主要應用場景的自主可控技術體系,提升行業數字化技術安全應用水平。
騰訊分布式數據庫TDSQL負責人,TEG計費平臺部總監潘安群在發布會上做了題為《打造金融科技基石,騰訊云分布式數據庫TDSQL》主題分享,著力介紹了TDSQL在金融行業的實踐及自主可控之路。
演講人:騰訊分布式數據庫TDSQL負責人潘安群
大家下午好,下面由我給大家介紹騰訊云金融級分布式數據庫TDSQL。
去年12月份,央行聯合六部委發起了金融科技應用試點工作,在其通知里面提了14個要點,其中第一個要點就是要求“推動安全可靠金融級分布式數據庫研發應用”,具體又有三個要求:
1、要求組織產用聯合攻堅,研發具有自主知識產權,滿足金融應用需求的分布式數據庫。
2、參照監管沙箱思路,在風險可控前提下,穩妥有序開展試點應用。
3、以應用促創新,在試點中不斷更新迭代和優化完善產品功能,打造數據一致性強、可靠性高、安全性好的金融級分布式數據庫產品。
為何央行在這次的試點工作中,將金融級分布式數據庫放在一個如此重要的位置?我想這里主要是監管機構看到了當前金融行業在數據庫領域面臨到的諸多挑戰,也意識到了推進金融級分布式數據庫的自主可控勢在必行。具體來看,在數據庫方面面臨的挑戰有:
1、在當前的大環境下,國家對數據庫這樣一個核心基礎軟件,自主可控的訴求與當前現實情況下金融機構的數據庫幾乎被Oracle、DB2等國外數據庫產品所壟斷之間的矛盾。
2、在普惠金融大趨勢下,各家金融機構對于IT成本壓縮的訴求,跟原來由國外商業數據庫壟斷的機器昂貴的解決方案之間巨大的差距。
3、在互聯網沖擊下,像微信紅包,每秒發生二十幾萬筆的交易量,這種情況下,對于傳統的金融機構也產生了很大的沖擊。而傳統的集中式數據庫解決方案不能解決在海量用戶涌進來之后的擴展性要求,這也帶來了極大的運營風險。
從上面幾點看,當前中國金融行業在數據庫領域確實面臨著不得不動的局面。
????
其實騰訊金融云一直也在跟監管機構、金融機構積極深入的溝通,了解行業所遇到的痛點,積極參與國家相關機構的標準規范制定,比如在2017年,我們在中國支付清算協會以及工信部旗下信通院的組織下,,聯合包括多家商業銀行、支付機構、數據庫廠商等,共同起草了《金融級分布式交易數據庫白皮書》。在去年11月份,我們的數據庫產品也是以評測分第一的成績最終成為首批通過該規范認證的產品。
接下來我想重點講一下騰訊金融級分布式數據庫具體是如何去解決當前行業痛點的。我們這個數據庫產品叫TDSQL,它是一套完整的體系,不僅包括核心功能,還有運營配套在內的整套解決方案,它滿足當前金融行業里面對于數據的高一致性、高可用、分布式擴展、高安全的要求。目前已經為公有云和私有云上超過500家金融政企客戶提供數據庫服務。
數據庫作為三大基礎軟件之一,永遠無法一蹴而就。任何一款數據庫產品的成熟,必須經歷時間的打磨,以及大量客戶和業務場景的歷練。
TDSQL同樣如此。團隊的萌芽應該是在2002年左右,也是騰訊首次接觸計費業務,跟錢打交道,因為當時騰訊的計費產品還處于起步階段,技術團隊選擇完全基于開源MySQL構建數據庫體系。隨著開放戰略的興起,同時為了解決計費等公司級敏感業務高可用、核心數據的零流失、核心交易的零錯賬等問題,騰訊數據庫團隊從07年開始自研了一款數據庫產品,這也是TDSQL的前身,這款數據庫在當時很好的支撐了09年的開放平臺浪潮。
但是后來發現,這款數據庫在支持騰訊內部業務體系是很完美的,但是無法很好支持合作伙伴的一些特性。因此從2012年開始,騰訊基于“開源定制化+自研”策略構建更加通用的數據庫產品,正式命名為TDSQL。目標就是解決金融系統中高可用、數據一致性、水平伸縮問題。
可以說TDSQL的誕生,一開始就是為金融場景而生。
2014年對于TDSQL來說是極具重要意義的一年,第一家互聯網銀行微眾銀行籌建,在強調自主可控技術的前提下,他們技術團隊對當時國內諸多數據庫產品技術選型后,最終決定選擇TDSQL作為其核心系統的數據庫方案,這是全球首家采用分布式的數據庫解決方案的銀行。
2016年以后,TDSQL正式開啟自主可控之路,開放給更多的金融企業使用,得益于海量業務場景的錘煉,使得TDSQL成為一款產品化數據庫,具備一個完整的產品體系。截止到目前,我們為超過500+的公有云客戶和28+的私有云客戶提供數據庫服務。
?
經過這么多年的沉淀,我們認為在一款分布式數據庫要滿足金融的訴求,必須做到如下幾點,這也是TDSQL的六個核心特性。
第一個,金融行業里面最核心的兩個點:數據的強一致性和金融級高可用。強一致就是避免故障后導致數據錯亂和丟失,高可用就是確保99.999%以上高可用,跨區容災,同城雙活,故障自動恢復等。
第二個,在成本控制上面,會不斷提升數據庫本身的性能,盡量降低客戶在軟件、硬件以及人力等方面的成本。
第三個,就是水平擴展性,也就是分布式的特性。這是自然而然的東西,因為在海量用戶涌進來之后,我們需要能夠快速去做伸縮,尤其是在一些社交營銷場景例如說春節紅包,類似這樣的場景下我們能夠快速水平擴展。
第四個,是安全性。金融行業的數據安全是生命線,所以我們必須去支持SSL加密傳輸、透明加密、數據庫防火墻、審計等安全特性,實現從數據的全生命周期安全管理。
第五點,是智能化運維體系,這個也是很多國產數據庫所忽略的一點。
?
接下來我想就其中兩點展開一下:
第一個是高可用性。像傳統金融機構一般在銀保監的要求里面,要求兩地三中心的部署架構,在騰訊內部,在金融業務方面,很早就實現兩地四中心,就是同城三中心多活的架構,這種架構可用性更高,成本更低。
第二點是智能運營體系。首先是赤兔管理平臺,所有的運營操作基本上90%都能夠通過管理頁面完成。給我們帶來的好處是,客戶使用門檻低,可以快速的掌握基本的數據庫運營操作;同時,管理頁面的操作方式,也能夠避免因為人工操作所導致的誤操作風險,可以有效避免刪庫刪數據類似問題,極大提升運營安全性,這也是赤兔運營管理平臺的基本訴求。
第二個是我們的扁鵲智能DBA系統。智能DBA系統,也是我們過去十多年運營了那么多數據庫實例積累的處理經驗,都是血和淚的沉淀,逐漸形成了數據庫診斷的專家知識庫,今天我們將這些知識轉換為診斷策略,通過我們的智能DBA系統分享給大家。于是在使用我們數據庫產品的時候,出現各種問題不在慌,扁鵲可以為客戶快速定位問題,相對于我們很多競品出了故障兩眼一抹黑,無疑是一個巨大的進步。
其次依托于騰訊云上超過20萬+數據庫實例的運營數據,我們構建了一個機器學習模型,基于這個模型,我們預測潛在風險,提供優化建議,這也可以使得我們的客戶使用起來更加放心。
所以我們認為,整個運營配套體系的完善,也是當前數據庫自主可控并大規模使用起來的一個先決條件,是安全的基本保障。
?
接下來我想講兩個案例:
第一個,微眾銀行。2014年開始籌備,2015年上線,到目前為止運行了四年多,穩定無事故,這無論對于微眾來說,還是對于TDSQL來說,都是一個非常大的突破,他們最開始的數據庫架構體系,基于傳統的兩地三中心的架構。但是2017年的時候,他們就切換成為兩地四中心架構,也稱為同城三中心多活架構。同城三中心架構最大的一個好處就是服務成本更低,同時可用性更高,同城三中心中任何一個數據中心的故障都能自動切換,保證數據零丟失的前提下,切換只需要40秒。值得一提的是微眾銀行提出的兩地多中心多活架構,獲得了銀保監的2018年度銀行業信息科技風險管理課題研究一類成果獎。這種架構應該也是行業內首創。
第二個是保險行業解決方案。我們目前在保險行業有將近20多個客戶,涉及到全品類整個生態體系,像財險、壽險、互助保險、信用保證保險等。整個保險核心系統均在我們的數據庫上得到了充分的驗證。除了保險行業,還有前不久剛剛上市的富途證券,也是應用我們的TDSQL系統打造了他們的中臺系統。正是因為這些各個領域的客戶在使用我們的TDSQL,也使得TDSQL系統在自主可控的路上更加完善。這對于我們和金融行業來說,是一個多贏的局面,我們自主可控的數據庫產品日趨成熟,而金融機構也可以以更低成本提供金融服務,而監管機構也能在風險可控的基礎上實現國家層面的安全可控。相信經過我們的一起努力,一定可以為金融科技的創新奠定一個良好的基石。
????
謝謝大家!
后臺回復“TDSQL”,獲取本次演講的完整PDF。
總結
以上是生活随笔為你收集整理的官方首次披露,TDSQL十年自主可控之路(附PDF)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 实习生招聘 | TEG 2019年暑期实
- 下一篇: 算法工程师眼中的AI岗位