?

作者簡介：李海翔，網名“那海藍藍”，騰訊金融云數據庫技術專家。中國人民大學信息學院工程碩士企業導師。著有《數據庫事務處理的藝術：事務管理和并發訪問控制》、《數據庫查詢優化器的藝術：原理解析與SQL性能優化》，廣受好評。

?

2018年5月11日，騰訊TDSQL團隊為中國數據庫技術大會DTCC帶來了騰訊最新的數據庫核心技術：TDSQL原創的全態數據的概念和基于歷史態數據的可見性判斷算法。

騰訊專家工程師李海翔在DTCC上做了主題為“為數據賦能---騰訊TDSQL分布式金融級數據庫前沿技術”的技術內容分享。本次分享，基于數據庫事務處理的核心技術并發訪問控制技術，TDSQL原創性提出了全態數據的概念和基于歷史態數據的可見性判斷算法，并基于此實現了全時態數據庫。

如下是本次分享的主要內容。主要包括：TDSQL背景介紹、T-TDSQL原創技術出發點、T-TDSQL核心技術點、T-TDSQL典型應用、T-TDSQL核心理念、項目致謝六個部分。

一、?TDSQL概述

TDSQL是一個穩定運行了十年之久的分布式數據庫，不僅支撐了騰訊公司的計費業務，而且還在微眾銀行等金融單位的核心業務系統穩定、高效地運行了四年之久。這幾年，TDSQL在技術層面不斷進步，研發了很多新特性，諸如多級分區、熱點更新、隱含主鍵、分布式事務等，不僅有力的支撐了事務型的數據庫應用，而且在體系結構上也朝Spanner架構上邁進，是一個名副其實的NewSQL系統。

TDSQL分布式事務處理技術，有了長足進步，不僅表現在基于XA實現了2PC以支持分布式事務的原子提交，而且在MVCC技術的基礎上，做了創新，使得TDSQL的事務處理技術基于原創技術而不斷發展。

二、原創技術的出發點

TDSQL的原創技術，不是為技術而技術，而是基于業務的需求，為解決業務問題而進行的創新。

騰訊公司的計費業務系統，是世界上領先的金融云計費業務系統。這個系統包括SAAS、PAAS、IAAS三個層面。在SAAS層面，包括米大師、云商店、TDSQL等系統。

TDSQL托管賬戶近280億，米大師依托TDSQL進行金融交易,騰訊充值及其相關合作伙伴的日流水量超過150億條，每天處理的交易量超過100億筆。金融數據在TDSQL數據庫中進行結算、對賬、審計、風控數據分析、構建用戶畫像等業務。如王者榮耀游戲點券的對賬業務、用戶賬戶消費充值變化審計與風控業務等。

要進行諸如對賬、審計等業務，數據來源有兩部分。一部分數據來源是從不同系統（關系數據庫或NoSQL系統）的日志數據中來，稱為流水日志。但某個這樣的系統每天的日志流水數據近百G且從趨勢看增量數據遞增很快。另外，有些數據是在TDSQL中按時間分表，需在一段時間結束后對按時間分表的數據利用流水日志進行對賬計算。

對賬主要是解決幾種異常情況：

1.?? 系統存在BUG，或者在故障時，未表現出預期的情況。這可能導致發貨成功扣款不成功，或者扣款成功未發貨的情況。如騰訊視頻VIP管理系統的充值、發貨。

2.?? 規避黑客/內部風險。例如不法人員繞過業務系統去給自己充值等舞弊行為。

這樣的對賬業務種類很多，不同的應用其日志流水格式不完全相同，TDSQL托管的賬戶需要定時對多級數千種業務和賬戶做數據一致性對賬檢驗。

從技術的角度看，存在四個問題：

1.?? 應用開發復雜：使用業務日志，需要業務系統不斷產生日志信息，然后耗費計算資源對不同的日志格式進行解析，把日志信息存儲到分析系統。由此帶來了開發的負擔和資源的浪費。

2.?? 數據邏輯割裂：TDSQL中按時間分表，只能按確定的時間段進行結算，不能靈活、方便的計算。如計算任意時間段內的數據，按時間段的分表在物理上割裂了數據按時間的邏輯連續特性，需要指定若干個特定的分表才能進行計算。

3.?? 實時特性丟失：如上兩個問題，隱含地，意味著進行計算的數據需要導入到一個新的分析系統進行計算，導出/導入數據的過程也帶來了資源和時間的消耗、使得分析系統難以具備實時計算特性。

4.?? 數據管理復雜：另外，日志等信息，是歷史態數據，需要長期保存。在騰訊公司每日對不同格式的、超過150億條流水日志進行生成、存儲、解析與管理等，這成為一個巨大的挑戰。

現代的數據庫系統只保留有數據的當前值，而因存儲成本等原因，歷史態數據被丟棄。而數據作為重要的資產，不管是當前數據，還是歷史上曾經存在過的數據，都具有重要價值。因此，歷史態數據存儲、被分析、被挖掘、被反復使用，是當前互聯網等企業的需求。尤其是金融類歷史態數據，因為安全、需要被多次計算的原因，在騰訊公司的計費業務中，帶有時態屬性的數據被管理的需求日益旺盛。

基于上述原因，騰訊公司基于TDSQL關系型數據庫研發了時態數據庫 T-TDSQL，由數據庫系統統一管理海量的全時態數據、當前數據，解決了上述四個業務中的問題。

業務痛點的解決，是基于數據庫的特點和業務場景進行深入分析和思考而得以解決的。

因為數據有價值，所以TDSQL團隊認為：歷史數據富有價值。這是TDSQL時態數據庫T-TDSQL的核心價值觀。因此，我們給出了TDSQL對于數據的新的認識。

TDSQL認為：

數據的狀態屬性，標識數據的生命周期軌跡。數據的生命周期分為三個階段，每個階段刻畫數據的不同狀態屬性，以標識數據的生命周期軌跡中所處的狀態。

1.??當前態（Current State）：數據項的最新版本的數據，是處于當前階段的數據。處于當前階段的數據的狀態，稱為當前態。

2.??歷史態（Historical state）：數據項在歷史上的一個狀態，其值是舊值，不是當前值。處于歷史階段的數據的狀態，稱為歷史態。一個數據項的歷史態，可以有多個，反映了數據的狀態變遷的過程。處于歷史態的數據，只能被讀取不能再被修改或刪除。

3.??過渡態（Transitional State）：不是數據項的最新的版本也不是歷史態版本，處于從當前態向歷史態轉變的過程中。處于過渡態的數據，稱為半衰數據。

?

這三個狀態，涵蓋了一個數據項的生命周期，合稱為數據全態（full-state），或稱為全態數據。在MVCC機制下，數據的三種狀態均存在；在非MVCC機制下，數據只存在歷史態和當前態。

1.??當前態：MVCC或封鎖并發訪問控制機制下，事務提交后的數據的新值處于當前態。

2.??歷史態：MVCC機制下，當前活躍事務列表中最小的事務之前的事務生成的數據，其狀態處于歷史態。在封鎖并發訪問控制機制下，事務提交后，提交前的數據的值變為歷史態的值，即數據項的舊值處于歷史態。

3.??過渡態：MVCC機制下，被讀取的版本上尚有活躍事務（非最新相關事務）在使用，因最新相關事務修改了數據項的值，其最新值已經處于一個當前態，被讀取到的值相對當前態已經處于一個歷史狀態，故其數據狀態介于當前態和歷史態之間，所以稱為過渡態。

數據的雙時態屬性，分別為有效時間屬性、事務時間屬性。

有效時間屬性表示數據表示的對象在時間屬性上的情況。如Kate中學起止時間是2000-09-01到2003-07-30，而大學起止時間是2003-09-01到2007-07-30，這里的時間就是有效時間。

事務時間屬性表示數據的某個狀態的時間發生時刻。數據具有其時態屬性，即在何時數據庫系統進行了什么樣的操作。某項操作在數據庫系統內被封裝為事務，而事務具有原子性。因此，我們采用了事務標志來標識一個數據的事務時態屬性。

從形式上看，有效時間屬性和事務時間屬性，在數據模型中用普通的用戶自定義字段進行表示，只是用特定的關鍵字加以描述，供數據庫引擎進行約束檢查和賦值。

TDSQL團隊期望，構建一個數據庫系統，解決如上問題，新系統應該提供的特性如下：

?

因此，基于TDSQL的T-TDSQL時態數據庫，有了如下的特性，這些特性，能夠涵蓋雙時態的數據應用、數據安全、數據分析、簡化應用開發等四大方面的問題：

三、T-TDSQL的核心技術

T-TDSQL的核心技術之一，是數據模型的定義，全態數據模型和雙時態數據模型的結合，造就了T-TDSQL。

1.T-TDSQL的核心技術一，數據模型

在這個模型中，全態數據體現在了數據項的歷史版本上；時態數據不僅有事務時態、還有有效時間時態。而全態數據的歷史態數據，不僅可以追溯數據庫系統的操作發生時間，還可以追溯發生的操作類型，如下圖中的“Operation”列，可以知道在數據項上曾經發生的DML操作是UPDATE還是INSERT還是DELETE。這是一個非常酷的特性，這使得用戶在T-TDSQL系統中可以實現“一切過往兼可追溯”的夢想。

2.T-TDSQL的核心技術二，歷史數據轉儲時機

歷史數據的存儲時機，是T-TDSQL的另外一個核心技術。

T-TDSQL用全態的數據概念，巧妙地利用MySQL的回滾段和Purge機制，實現了歷史態數據的轉儲。一個原理圖如下：

3.T-TDSQL的核心技術二，一致性快照點

在PostgreSQL中，如果實現本技術，可以考慮結合多版本的存儲特點，實現當前態數據與歷史態、過渡態的存儲分離，這需要修改已有的數據可見性判斷算法、頁面存儲格式、數據的合并時機、緩沖區的讀寫和heap的構造方式等，更重要的是要實現新的數據一致性快照點。

而T-TDSQL基于MySQL實現了新的數據一致性快照點的構建，因而可以獲取任何時間段（包括歷史發生過的時間）上的任何狀態的數據。

作為原創技術，T-TDSQL的核心技術點及其思路，相關論文已經在World Wide Web journal上以題為《Efficienttime-interval data extraction in MVCC-based RDBMS》發表，詳情可參見：

https://link.springer.com/article/10.1007/s11280-018-0552-7

?

四、T-TDSQL的典型應用

時態信息處理已經成為許多新一代數據庫與信息系統的關鍵技術，特別是在金融領域 、電子商務、數據倉庫、地籍管理系統、土地利用規劃系統、地理信息系統中扮演著日益重要的角色。

電子商務、金融業務系統中，存在大量的收入、支出、余額等數據，并且隨著業務的推進，新數據源源不斷地產生，這些數據將在對賬、審計、用戶畫像等業務中發揮重要作用。通過實現事務時態功能，T-TDSQL能快速、精細、實時地獲取這些數據。

在互聯網金融業務中，對賬業務是一個經典的業務。

T-TDSQL為騰訊的計費對賬業務提供了完美的解決方案。

?

1.對賬業務

互聯網金融行業對數據的準確性要求極高，而在互聯網環境中，數據不一致或數據錯誤時有發生，因此，通過對賬來降低賬戶余額等數據錯誤造成的風險十分重要。

在騰訊計費業務中，采用將賬戶余額表(user)和賬戶流水表(water)按小時/天為周期進行比對的方式，來發現賬戶余額與交易流水的不一致現象，從而及時對錯誤交易進行修正。

傳統的對賬采用按固定時間段（如分鐘/小時/天）為單位進行對賬。如現對2018年4月11日的交易進行對賬，首先需要得到4月11日期初賬戶余額表和期末賬戶余額表，以及當天的交易流水表；然后對賬戶表通過按用戶ID分組，并計算每個用戶的期末余額減去期初余額，記為結果A，對流水表按用戶ID分組，并將交易金額分組求和，記為結果B；最后將每個用戶的結果A和結果B進行比對，如果A=B，則交易沒有問題，否則該用戶在當天的交易存在錯誤。

對于按固定時間段對賬，主要存在以下三個問題：

1.??時效性差：對于錯誤交易，不能立即發現并反饋，延遲了以固定時間段為單位的一段時間后才能發現錯誤。

2.??對賬不精準：定位錯誤交易較復雜。例如：如果用戶在一天內發生的多筆交易，其中一筆出現了錯誤，通過按天對賬的方式不能直接定位到具體的哪條交易出現錯誤，而只能定位到用戶級別，即仍然需要人工參與，將該錯誤用戶的當天交易都確認一遍，才能找到具體的錯誤交易。

3.??對賬不靈活：按固定時間段對賬，如以天為單位，則只能等這一天內的增量數據沉淀下來，才能進行對賬，如果有跨天對賬需求（如昨天下午至今天上午），對賬所用數據需要跨多個表才能執行，這可能改變對賬業務的流程。

2.對賬優化

基于本文提出的數據模型和增量計算方法，可以很好的解決按天對賬所存在的問題。結合3.1.2中的示例，我們給出在互聯網金融的對賬業務中，增量計算的實際應用。

T-TDSQL可以基于增量計算的功能將賬戶余額表(user)和賬戶流水表(water)進行精準比對，進行流水級別的細粒度對賬，從而即時發現交易錯誤，并可以立即定位到錯誤的那一條交易，省去繁雜的錯誤交易定位過程。

優化后的對賬的核心思想是：總賬算摘要、細賬筆筆精。

優化后的對賬的效果是：總賬快對、細賬精確、不受時限、任意對賬[1]。

對賬步驟1—總賬對賬：首先讀取給出對賬時間段[s_start,s_stop]內的所有賬戶表數據塊，對每個數據塊內數據采用與傳統對賬方式類似的公式來確認賬戶情況，即進行“總期末余額-總期初余額=總交易變動”試算[2]，總期初余額代表s_start時的總余額，總期末余額代表s_stop時的總余額，總交易變動代表每塊內賬戶對應產生的流水，如果有數據塊內的總賬不平，意味著有細賬錯誤，因此要進行步驟2、3所描述的精準對賬。

對賬步驟2—精準對賬—對賬過程：執行如下SQL，將賬戶余額塊和對應賬戶流水塊進行“快照差連接”，返回結果集中每條記錄將含有{交易前余額，交易后余額，交易變動}。對應的執行效果圖下圖所示：

精準對賬示意圖

?

對賬步驟3—精準對賬—精準之意：對步驟2結果里的每一條返回記錄進行“交易后余額-交易前余額=交易變動”的試算[3]（After-Before=Change），即可確認交易是否有誤。如果有不滿足此等式的情況存在，即為錯誤交易。

錯誤交易主要分為賬戶表錯誤和流水表錯誤兩種。例如，上圖中，結果集中第2條元組，不滿足試算公式，表明流水ID為2的交易進行了錯誤的帳戶余額更新或流水記錄的交易變動值出錯。結果集中的第4條元組，Change字段的值為NULL，代表該條交易的流水缺失。通過上圖中的表，我們對各種錯誤情況進行總結，這些錯誤，都需要在對賬過程中進行報警。

?

3.有效時間的時態類應用

基于T-TDSQL的全時態核心技術，本次分享還從雙時態的角度對典型應用做了介紹。如下圖所示。

4.數據安全類應用

基于歷史狀態查詢這一特性，T-TDSQL系統在數據訂正、歷史追蹤等方面，提供靈活強大的數據安全保障功能，可以大大簡化和加快審計、對賬等業務。

查詢時間段內插入的數據，用于數據統計和追蹤，如統計新開賬戶、異常記錄何時被添加等。

查詢時間段內刪除的數據，在安全保障和數據統計等方面作用顯著，如恢復誤刪的數據、統計銷戶人數等。

查詢時間段內更新的數據，能夠追蹤數據異常的發生時間和發生異常前的數據，用于數據異常的修復。

綜合查詢所有狀態的歷史態數據，在數據重演方面，可以輔助災后恢復，或用于線下演練；數據統計方面，因支持任意時空節點的數據計算，對對賬等業務大有裨益；安全保障方面，簡化了錯誤數據、誤刪數據的追蹤和恢復。

如下是一些安全方面的示例：

除此之外，基于全時態態數據，實現數據重演、更有價值的數據分析和挖掘、使用AI技術對系統自動調優等成為可能。

五、T-TDSQL的核心理念，為數據賦能

為什么T-TDSQL要去實現全時態數據庫？

原創技術的背后，是什么在驅動著T-TDSQL團隊做出這樣的一個全時態數據庫系統？

這些問題，其實更為重要。挖掘這些問題的原因，為倡導原創而努力，當是TDSQL團隊致力于技術分享時更看重的價值因素。

在TDSQL團隊看來，“數據富有價值，歷史數據富有價值”。在業務當中，挖掘數據的價值是非常重要的一環，這也是很多人在思考的內容，認為任何數據都有價值是很有意義的。

因此，T-TDSQL項目的思考之后的觀點是“Historical data are valuable. Business is a sword, Technology is only ashield.”。那么，什么是盾？什么是劍？盾和劍之間有什么關系呢？

在TDSQL看來，技術只是一個防守工具，用于把夢想變成現實。夢想是技術人想利用各種高大上、高精尖的技術解決現實問題的美好愿景，諸如分布式、一致性、快照、RDMA、NVM、AI、全數據挖掘等各種技術的炫酷使用。業務只是一個進攻的工具，用于發現夢想。TDSQL并不倡導業務為王的觀點，而是左手盾右手劍，兩手都要硬。但僅是左手盾右手劍，行走在技術的江湖，這只能成就技術人行俠仗義的夢想。其背后，還缺少靈魂的支柱。

而歷史數據富有價值，在（金融/騰訊/互聯網/一切…）業務中，挖掘數據的價值，更是富有意義。

但是，百尺竿頭更進一步。

數據的創造是由用戶和其業務決定的，他們是創造數據的甲方。數據庫承載了數據的管理職責，是否數據庫系統也可以參與到數據的創造環節中來呢？

在TDSQL團隊看來，全時態這一概念，正是數據庫系統參與到數據創造環節的最佳契機。數據庫系統為數據賦于了事務時態、賦于了DML操作過程中的事件源，甚至可能為數據之間賦于關聯關系（如下圖中的5W、Lineage），這使得數據庫系統也成為了數據的創造者。

這就是我們、TDSQL團隊在技術和業務背后的驅動要素：“為數據賦能”的理念。

在“為數據賦能”這個理念的支撐下，基于TDSQL的T-TDSQL因此而誕生。為數據賦能，因而能讓數據擁有更多的價值，讓數據庫變成數據的生產者，參與數據的創造。下圖表明，為數據賦能，T-TDSQL從5W角度，讓數據擁有了時間（雙時態，WHEN）、地點（存儲的歷史表，WHERE）、人物（用戶ID，WHO）、對象（全態數據，WHAT）、原因（DML等操作，WHY）等要素，使得數據不再僅僅是用戶使用CREATETABLE語句所創建的數據，而是包含了多種由數據庫系統所創造的數據、且在數據的生命周期中融入了數據歷史使其富有縱深的有價值的全部數據。

有了這些，數據庫系統能夠更加主動地追溯數據的歷史，推演數據的變遷，預測數據（世界）的未來。

?

六、致謝

本項目在騰訊立項，研究內容和實現過程得到中國人民大學教育部數據工程和知識工程重點實驗室和騰訊公司的參與和支持，特別向項目參與人、支持者致謝。

為從思維、理念、技術等多個角度為本項目做出貢獻的人致敬！

[1]不受時限、任意對賬：對賬的SQL語句中指定快照差即可，FROM子句中涉及的表名等不發生變化，即對賬使用的數據源沒有改變，故不影響對賬流程。

[2]試算(Spreadsheet)為會計程序中其中的一個流程，它簡單的定義就是在檢查日記簿的所有交易分錄的借方、貸方金額是否有錯誤之情形。但是在做試算檢查時，應每筆交易分錄紀錄后即做此一動作。

[3]試算(Spreadsheet)為會計程序中其中的一個流程，它簡單的定義就是在檢查日記簿的所有交易分錄的借方、貸方金額是否有錯誤之情形。但是在做試算檢查時，應每筆交易分錄紀錄后即做此一動作。

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的为数据赋能:腾讯TDSQL分布式金融级数据库前沿技术的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。