携程基于大数据分析的实时风控体系
攜程反欺詐體系經過超過10年的發展和積累，在大數據實時并行計算和實時多維關聯分析方面已經非常成熟，是整個體系穩定高效運行的基礎。
近兩年來，我們在大數據和人工智能方向投入研發資源，產出了設備指紋、CDNA、實時復雜變量計算引擎等一系列創新項目，取得到很好的應用效果。2017年整體卡BP降低50%以上，遠低于同行平均水平，為攜程業務的發展以及全球化化進程提供了有利條件。
一、性能和復雜度可以兼得
攜程的風控系統，和大部分第三方支付平臺一樣，也是以實時風控系統為主：
給大家看一些數據：
一筆支付請求背后，攜程風控的規則計算復雜度：
期間計算生成的變量個數接近2000個，90%以上的變量是Velocity和Ratio類型的變量，甚至較大一部分是精確到當筆交易的；執行完整個規則校驗，風控返回給支付系統通過或拒絕的指令，平均耗時不到150ms，99.9%線也只有500ms左右。
二、攜程風控架構變遷簡史
攜程自建風控系統開始于2011年左右，直到2015年正好趕上公司技術棧從.Net往Java平臺轉變，風控系統也迎來了一次完全的重寫。
新系統的架構、設計復雜度、預計的處理能力也充分考慮了公司的業務發展預期，第一次讓技術走在了業務到來之前。經過每年一個大版本的迭代，到目前為止，攜程風控的技術水平已經處于行業第一梯隊。
三、架構概述及核心服務
下面我們看看攜程風控的架構實現：
上圖可能有點抽象，我們看一個具體的例子：
概念：登錄／注冊、下單、支付、支付結果通知、出票等等這些我們稱之為風控接入點。
有些接入點是做實時校驗用的、有些是收集數據用的，在攜程整個大系統內一共有超過400個風控接入點，審核或監控攜程交易的每一個環節，保障著每一筆交易的安全和用戶的利益。
每天風控收集上來的數據超過50億條，其中超過1億左右的請求需要風控實時校驗風險并返回給業務系統當前操作是否可以繼續。
用戶從登錄開始風控就已經開始在介入，在用戶瀏覽、下單的過程中，對這個用戶的風險評估和計算一直在持續，等到用戶發起支付請求時，風控的熱數據里已經有了完整的關于這個用戶畫像數據，風控引擎可以在這些數據的基礎上實時計算和衍生出規則和模型需要的變量。
支撐風控系統的高可用、高性能，離不開強大的基礎設施，下面我向大家展示一下攜程風控的幾個核心服務和組件：
風控引擎：
我們給他起了一個名字叫 Matrix，意思是像魔方一樣靈活多變。 數以千計的規則是分布式并行執行的、以保證規則數量和執行耗時沒有明顯的正相關性；并且風控引擎可以按業務動態分組，既保證了業務之間良好計算資源的隔離性、也提供了足夠的靈活性。
規則引擎：
初始版本基于drools實現，不過經過兩個版本的迭代優化后，已經完全替換成自主研發的引擎，新引擎兼容drools的腳本，遷移到新引擎幾乎零成本。遷移后規則執行性能提升一個數量級以上且具有更好的穩定性。
模型執行引擎：
風控引擎支持把SAS或SPARK等工具訓練出來的模型直接在風控系統中部署，支持DOT和PMML等多種格式。
我們自主實現了DOT模型文件的解釋器，執行效率相對于Python執行提升20倍以上。
實時流量服務：
內部稱為Counter Server，負責衍生計算所有Velocity變量和Ratio變量，重要性不言而喻，Counter的性能直接影響到整筆交易的耗時和準確性。
我們基于Redis集群構建了一個Slide window，實現上其實很輕量，但確是很好用，把時間窗口的刻度映射到了redis的key上，目前支持秒、分鐘、小時、日、月等的精度。可以根據變量的要求靈活、動態的配置各類實時統計項。目前集群容量在2-5TB之間。
Counter服務每天支撐了超過100億次查詢，單次流量查詢的平均耗時僅1ms左右，保證了變量衍生的可靠性。
設備指紋：
傳統上都用IP來標識一個設備，但是隨著移動網絡的普及，IP基本已經失去這個功能了，你取到的很多都是基站IP、出口IP，封掉一個IP可能會誤殺一片。
在APP里可以使用IMEI或IDFA硬件ID來識別設備，但在PC和H5需要一個比IP更準確的設備識別標識。已經有一些公司走在了前面，比如業內知名的ThreatMetrix、國內也有幾家專業做設備指紋的服務商。
設備指紋是風控識別欺詐交易的關鍵技術，此類核心技術要掌握在自己手里，攜程風控研發的設備指紋服務，已經在攜程全站部署以及攜程集團旗下的多個站點部署，應用后規則抓取準確性提升非常明顯。
設備指紋的架構及關鍵指標：
CDNA：
我們需要完整且深入的了解對于同一個人或同一類欺詐團伙在攜程“一生”的行為以及“足跡”。
基于此目標，研發了CDNA服務，通過對所有流經風控的數據進行多維度的無限極收斂關聯，把同一個人的數據聚合在了一起；CDNA服務每天處理超過100TB的數據。
通過CDNA對于發現新的欺詐特征很有幫助，讓規則抓取更準確。
代理和模擬器識別：
欺詐分子的技術也在不斷的演進，作案的隱匿性更強，代理服務器和模擬器是非常好的隱匿手段，在交易刷單、信用卡欺詐等很多場景都會見到。
我們研究了TCP Signature、Time Gap、用戶行為、針對各類模擬器的實驗數據等，有了一套自己的方法論和識別方案。
四、人工規則vs模型
模型對于規則的補充意義是非常顯著的，可以彌補人工規則的盲區，模型可以很好的覆蓋歷史欺詐特征、可以大大減少規則數量。
不管是規則還是模型，都需要建立在對業務上下文充分理解的基礎之上。脫離業務上下文、僅針對數據本身的分析而提取出的特征往往是有偏頗的、不全面的，實際上線效果必然也不會很理想。
簡單介紹我們的特征變量提取方法：
變量衍生方法：
五、結束語
“Make the Travel More Freely and Securely”，是攜程風控的內部文化和使命。隨著攜程全球化步伐的不斷推進，交易量日益增長的情況下，國內外的黑產技術也日趨成熟，欺詐形勢越來越嚴峻。
攜程是OTA行業的領導者，攜程反欺詐技術團隊也將引領反欺詐領域的技術進步，提前研究并掌握大數據和人工智能等先進工具的應用，以應對未來更大的挑戰，給用戶提供更好的服務。
【作者簡介】劉江，攜程金融風險管理總監，負責攜程集團的全面風險管理工作。擁有近15年風險管理經驗，先后在廣發銀行、OperaSolutions、阿里巴巴和騰訊等公司任重要管理崗位，一直從事風控政策、風控模型、大數據征信等相關工作。
更多來自攜程技術人的一手干貨，歡迎搜索關注“攜程技術中心”微信公號。
https://zhuanlan.zhihu.com/p/36998512
總結
以上是生活随笔為你收集整理的携程基于大数据分析的实时风控体系的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Android工程模块化平台的设计
- 下一篇： 从知识图谱到事理图谱 | CNCC 20