小米風(fēng)控實(shí)踐

時(shí)間?2016-07-01 09:50:07 代碼說 原文? http://h2ex.com/1180 主題 小米

鄧文俊，小米高級(jí)研發(fā)工程師，2013 年加入小米，參與了數(shù)據(jù)后臺(tái)，風(fēng)控系統(tǒng)，支付等系統(tǒng)的研發(fā)工作。

我來自小米支付，今天分享的主題是小米風(fēng)控實(shí)踐。為什么選風(fēng)控這個(gè)題目？其實(shí)在我看來風(fēng)控對(duì)互聯(lián)網(wǎng)金融來說，風(fēng)控就像是內(nèi)褲，每個(gè)人都有，但是不會(huì)把它秀給別人看。對(duì)其他人來說風(fēng)控是很神秘，今天帶給大家看看小米我們?cè)趺词且徊讲阶哌^來，在風(fēng)控方面做了哪些工作。 小米風(fēng)控可以分為三個(gè)歷程，嘗試、發(fā)展和擴(kuò)展。

一、嘗試

2014 年的時(shí)候我們發(fā)行我們米幣短信充值渠道壞賬率非常高，高到我們幾乎賺不到錢。米幣像 QQ 一樣，是虛擬幣，用米幣可以在小米生態(tài)圈內(nèi)購買所有服務(wù)。短信什么渠道呢？用戶用短信發(fā)一條短信給運(yùn)營(yíng)商，運(yùn)營(yíng)商就會(huì)從它的帳戶里面扣錢轉(zhuǎn)給我們。運(yùn)營(yíng)商每個(gè)月給我們結(jié)一次錢，他會(huì)告訴我們有一些帳是壞賬，他不會(huì)把錢給我們。他也不會(huì)告訴你哪些是壞賬，哪些是好帳。我們要自己想辦法解決壞賬問題，讓自己有錢可賺。

我們?cè)O(shè)定兩種風(fēng)控規(guī)則，這是第一種規(guī)則，我們叫限額、限次、限頻規(guī)則。設(shè)備、帳戶、手機(jī)號(hào)是一個(gè)標(biāo)識(shí)類。另外一個(gè)緯度是限制類，限制交易范圍，比如時(shí)間、業(yè)務(wù)、渠道等等。最后還有限制方法。我們的版本里面一個(gè)規(guī)則包括三個(gè)部分，一個(gè)是標(biāo)識(shí)，一個(gè)是范圍，一個(gè)是限制方法。

一個(gè)帳戶一天之內(nèi)他的消費(fèi)金額上限是 100 米幣。還有一種情況是策略，大家支付都是用手機(jī)，這個(gè)設(shè)備每小時(shí)某個(gè)業(yè)務(wù)交易次數(shù)可以限制。還有交易的頻率，比如一個(gè)帳戶這次交易跟上次交易要超過，不然很可能是機(jī)器行為。一般用戶不會(huì)頻繁交易，除非你是玩游戲非常上癮，一般不會(huì)出現(xiàn)這樣情況。

第二類規(guī)則限制是標(biāo)識(shí)屬性之間的關(guān)系，比如我們一般認(rèn)為一個(gè)帳戶只會(huì)登錄到有限幾個(gè)設(shè)備，不會(huì)登錄太多。反過來能夠登錄設(shè)備也是有性質(zhì)，要排除測(cè)試情況。有了這兩個(gè)規(guī)則之后，我們迅速開始開發(fā)，以互聯(lián)網(wǎng)的模式用了四周就迅速開發(fā)，完成了這樣的規(guī)則引擎在控制臺(tái)，控制臺(tái)可以修改規(guī)則也可以看到實(shí)時(shí)效果。開發(fā)完了之后我們沒有立刻上線，先試運(yùn)行 2 周，過程是什么？

試運(yùn)行過程中規(guī)則并沒有真正的生效。只記錄一些交易，會(huì)被哪些攔截不成功，有了這些數(shù)據(jù)之后，我們可以條件規(guī)則這些順序以及閾值，使我們的規(guī)則達(dá)到最佳效果。運(yùn)行兩周之后有信心，才能真正起來。

上線之后的效果，首先上線一個(gè)月之后，運(yùn)營(yíng)商一個(gè)月之后給我們結(jié)錢。一個(gè)月之后我們才知道我們的風(fēng)控效果。上線之后我們發(fā)現(xiàn)我們的壞賬率比之前最高峰的時(shí)候低 1/3。比歷史上的壞賬率低 1/2。我們渠道成本占到 1/2，我們可以賺錢了。我們一個(gè)月的收入多了 50% 左右的增長(zhǎng)。

通過這次風(fēng)控實(shí)踐嘗試，我們有一些經(jīng)驗(yàn)。第一不要小看簡(jiǎn)單規(guī)則，我們開始的時(shí)候我們認(rèn)為最簡(jiǎn)單，效果相當(dāng)好。風(fēng)控是平衡的，我們目標(biāo)是達(dá)到一種平衡。我們的交易額和我們壞賬率之間達(dá)到平衡，使我們收益率是最高的。為了達(dá)到這個(gè)平衡，我們需要不斷的利用云的手段，分析數(shù)據(jù)，調(diào)整規(guī)則，這是我們決定風(fēng)控成敗很重要的關(guān)鍵。

2014 年底，我們有很多小米用戶，如何給小米用戶打分，可以是信用分，風(fēng)險(xiǎn)分。信用分可以用于信貸，風(fēng)險(xiǎn)分可以用交易時(shí)風(fēng)險(xiǎn)控制。數(shù)據(jù)有限，我們用米幣的形式做模型。

我們用三個(gè)緯度建立模型：

還款能力 ，包括用戶最近三個(gè)月的消費(fèi)額、消費(fèi)次數(shù)以及累計(jì)消費(fèi)次數(shù)還有他的消費(fèi)情況。比如他在游戲、閱讀、視頻等不同業(yè)務(wù)說消費(fèi)情況怎么樣。

依賴性 ，對(duì)小米生態(tài)圈多么依賴，會(huì)不會(huì)上癮，如果走了會(huì)不會(huì)很痛苦。我們?cè)谝蕾囆苑矫孢x取他的注冊(cè)時(shí)間，活躍度，每天花多長(zhǎng)時(shí)間，還有他使用 App 的情況，最長(zhǎng)使用 App 有哪些，頻率怎么樣。

正常度 ，我們看這個(gè)人絕大部分正常，也有不正常。我們用之前積累，使用等待充值頻率，等待有風(fēng)險(xiǎn)。類似這樣的屬性，我們給用戶進(jìn)行打分，這個(gè)是打分的圖，橫軸是依賴性，縱軸往上是它的還款能力。X 軸是依賴性，Y 軸是還款能力，Z 軸是正常度。

（點(diǎn)擊圖片全屏縮放）

大家可以看到用戶分布是非常集中的。我們本來想通過這個(gè)圖能不能發(fā)現(xiàn)一批還款能力、依賴性和正常度都比較高的用戶，最后可以做我們的優(yōu)質(zhì)用戶，作為未來信貸基礎(chǔ)。但是很遺憾，我們數(shù)據(jù)有限，我們沒有找到這樣的用戶。我們只是發(fā)現(xiàn)一個(gè)事實(shí)，我們絕大多數(shù)的用戶都是還款能力和依賴度很高的正常用戶。

二、發(fā)展

我們?cè)倏?2015 年之后，我們開始了開發(fā)自己的第三方支付。我們?yōu)樾∶拙W(wǎng)、小米生活等小米生態(tài)內(nèi)的其他業(yè)務(wù)進(jìn)行金融服務(wù)。我介入服務(wù)越來越多，我們發(fā)現(xiàn)我們遇到的問題越來越多，我們有時(shí)候會(huì)遇到突發(fā)事件，有了方案之后我需要能夠迅速上線一些風(fēng)控規(guī)則。因?yàn)槲覀儼l(fā)現(xiàn)每晚一天可能我們的損失都是百萬級(jí)，希望快速創(chuàng)建風(fēng)控規(guī)則。

業(yè)務(wù)越來越多，規(guī)則越來越多，規(guī)則之間的次序都是有嚴(yán)格的要求。制定規(guī)則越來越麻煩，越來越容易出錯(cuò)，如何解決這兩個(gè)問題？我們最后選擇了一個(gè)開源 Drools，第一它是開源可以免費(fèi)使用，第二它是 Java 可以很方便擴(kuò)展，開發(fā)自如，進(jìn)入自己的系統(tǒng)，第三它非常齊全。

這是 Drools 的例子，規(guī)則分為三部分，第一是規(guī)則名稱和它的一些配置屬性。第二部分是描述什么事件下會(huì)觸發(fā)這個(gè)規(guī)則。第三是規(guī)則理由。

基于 Drools，我們重新搭建了我們的風(fēng)控系統(tǒng)，風(fēng)控系統(tǒng)分成了三個(gè)部分，普通規(guī)則、CEP 規(guī)則和管理后臺(tái)。

CEP 規(guī)則引擎和普通規(guī)則引擎區(qū)別是它是一種狀態(tài)，能夠緩存數(shù)據(jù)。剛才大家看到規(guī)則，數(shù)據(jù)實(shí)施同步到規(guī)則引擎中去。

使用了新的風(fēng)控系統(tǒng)以后，我們的開發(fā)效率和我們運(yùn)營(yíng)效率明顯提升。5 分鐘上線規(guī)則，迅速止損。新規(guī)則上線到上線調(diào)整一周到一天。現(xiàn)在規(guī)則非常簡(jiǎn)單，他們也可以來調(diào)整規(guī)則。業(yè)務(wù)同學(xué)可以調(diào)整規(guī)則。

當(dāng)然規(guī)則的調(diào)整變?nèi)菀字?#xff0c;也是把雙刃劍，帶來一些其他的問題，有時(shí)候規(guī)則上線，沒有經(jīng)過嚴(yán)格測(cè)試，也沒有注意觀察規(guī)則上的效果，只出現(xiàn)過一兩次的事故帶來一些小的損失。我們之后為了解決這個(gè)問題，我們重新搭建了一個(gè)灰度風(fēng)控系統(tǒng)，這個(gè)系統(tǒng)上上線新的規(guī)則，利用歷史訂單驗(yàn)證規(guī)則效果，驗(yàn)證成功測(cè)試再把放在上面去，這個(gè)效果非常好。

風(fēng)控打點(diǎn)，應(yīng)用系統(tǒng)要主動(dòng)調(diào)用風(fēng)控，所以風(fēng)控在業(yè)務(wù)系統(tǒng)中需要打點(diǎn)，打點(diǎn)多少位置有技巧，太多風(fēng)控系統(tǒng)有很多數(shù)據(jù)低于自己的分析，對(duì)業(yè)務(wù)系統(tǒng)來說非常麻煩。我們采取一般打兩個(gè)點(diǎn)夠了，第一是交易前創(chuàng)建訂單之前進(jìn)行第一次調(diào)用，第二次是訂單完成之后，只需要調(diào)用兩次就可以了。

雖然我們有了新的風(fēng)控系統(tǒng)之后，開發(fā)效率、研發(fā)效率提高，運(yùn)行效率沒有達(dá)到我們期望。我們因?yàn)轱L(fēng)控系統(tǒng)要為業(yè)務(wù)系統(tǒng)提供服務(wù)，風(fēng)控系統(tǒng)響應(yīng)時(shí)間過長(zhǎng)，會(huì)影響業(yè)務(wù)響應(yīng)時(shí)間，會(huì)影響用戶的體驗(yàn)。第二，我們現(xiàn)在專門的數(shù)據(jù)緩存，我們數(shù)據(jù)都放在 CEP 系統(tǒng)中，拿不出來，無法做后續(xù)分析。為了解決這兩個(gè)問題，替換 CEP 系統(tǒng)，自建一個(gè)數(shù)據(jù)累計(jì)服務(wù)搜集數(shù)據(jù)。并且對(duì)于非實(shí)時(shí)性其他數(shù)據(jù)，我們采用日志方式，離線去進(jìn)行分析。

上圖是我們之前的風(fēng)控系統(tǒng)，下圖是我們修改之后的風(fēng)控系統(tǒng)。同時(shí)在服務(wù)里面把數(shù)據(jù)導(dǎo)出來實(shí)時(shí)監(jiān)控每天每分鐘，我們整天的攔截率。

我們的風(fēng)控系統(tǒng)響應(yīng)時(shí)間縮短為以前的 1/4，并且能夠?qū)崟r(shí)監(jiān)控規(guī)則運(yùn)行效果。

（點(diǎn)擊圖片全屏縮放）

可以看到將數(shù)據(jù)和計(jì)算分離能夠解耦帶來巨大的好處，另外一方面數(shù)據(jù)應(yīng)該盡快用起來，不要只是放在那里，盡快用起來，迭代起來，能夠通過反饋搜集更高效的數(shù)據(jù)。

我們完成了風(fēng)控系統(tǒng)建立之后，我們回到問題的本質(zhì)，另外一個(gè)問題就是除了拍腦袋，還有其他的規(guī)則制定方法嗎？我們發(fā)現(xiàn)我們其實(shí)可以利用機(jī)器學(xué)習(xí)的方式，從案例庫中間學(xué)習(xí)模型，學(xué)習(xí)規(guī)律。同時(shí)對(duì)于案例庫中已知的壞人，我們通過關(guān)系找到它的同伙。

從案例庫學(xué)習(xí)方面，我們從案例庫中和線上正常交易庫中隨即挑選兩組數(shù)據(jù)。分別形成我們的訓(xùn)練集和測(cè)試集，選取交易數(shù)據(jù) 17 個(gè)交易特征：交易時(shí)間、交易者年齡、交易者所使用地理位置、注冊(cè)地理位置、手機(jī)號(hào)歸屬地是否一致等，尋求這些特征，用了四組分類器，在測(cè)試集、訓(xùn)練集上進(jìn)行訓(xùn)練，得到四組模型。最后再用測(cè)試集比較這四種模型優(yōu)劣，最終 我們選擇隨機(jī)森林模型 。

找關(guān)系，我們利用交易數(shù)據(jù)里面用戶、設(shè)備、手機(jī)之間關(guān)聯(lián)關(guān)系建立一個(gè)關(guān)聯(lián)圖，里面很多關(guān)聯(lián)子圖。

從案例庫中導(dǎo)入相關(guān)的壞人的用戶和設(shè)備，找到有關(guān)系的設(shè)備和用戶，找到之后，在檢查這些設(shè)備帳戶交易特征。如果發(fā)現(xiàn)是壞人就把它加入到黑名單。通過這種方式我們預(yù)防了盜刷案件。 在隨機(jī)森林模型上線五天之后，我們發(fā)現(xiàn)好幾筆盜刷，豐富了黑名單 。從損失和錯(cuò)誤中學(xué)習(xí)，把我們的損失變成我們財(cái)富。

隨著業(yè)務(wù)快速發(fā)展，我們的經(jīng)驗(yàn)越來越多，我們積累的案例庫越來越多。我們發(fā)現(xiàn)很多風(fēng)控問題一個(gè)很重要的問題本質(zhì)是我們的交易對(duì)手是誰？他是不是本人？是不是真人？還是一條狗。我們解決這個(gè)問題考慮到我們可以利用小米生態(tài)里面海量全面的各種各樣的用戶數(shù)據(jù)。我們這里面能夠知道一個(gè)小米帳號(hào)他是男是女，興趣愛好是什么，年齡，學(xué)歷等等這方面都是有一個(gè)畫像的。

（點(diǎn)擊圖片全屏縮放）

這是我們畫像組提供一個(gè)頁面，這里面他把用戶分成用戶畫像、設(shè)備畫像。設(shè)備畫像里面包含了 793 條各種關(guān)鍵屬性，我們利用其中設(shè)備屬性以及消費(fèi)屬性建立相應(yīng)的規(guī)則來檢查用戶的真實(shí)性。這樣做了以后，我們的 盜刷案件的比例近幾個(gè)月來下降 40% 。

三、擴(kuò)展

給我們的啟發(fā)是他山之石可以攻玉。最后 2016 年以來小米的業(yè)務(wù)不斷擴(kuò)充，除了之以外，我們還陸續(xù)開展貸款、理財(cái)、保險(xiǎn)、分期等等等等各種各樣的業(yè)務(wù)。這些業(yè)務(wù)都需要風(fēng)控，在小米體系下如何共享資源，建立風(fēng)控體系？

我們解決思路是 對(duì)內(nèi)共享所有數(shù)據(jù)，對(duì)外分享合作 。首先 CTO 牽頭下我們建立一個(gè)基礎(chǔ)風(fēng)控組，在小米內(nèi)部協(xié)調(diào)資源。如果我們需要建立服務(wù)的時(shí)候，我們建一份，實(shí)名認(rèn)證服務(wù)。一個(gè)組建立這個(gè)服務(wù)，分享給其他組使用。在外部合作方面，一個(gè)團(tuán)隊(duì)有同盾和前海，也可以分享給同事使用。

小米這幾年在金融方面擴(kuò)展非常快，我們陸續(xù)開發(fā)各種各樣業(yè)務(wù)，我們也希望這一方面牛人加入我們。謝謝大家。

Q&A

Q：做風(fēng)控，你們利用一些簡(jiǎn)單 Drools，這個(gè) Drools 包括什么？這個(gè) Drools 怎么定的？后續(xù)你們用的一個(gè)隨機(jī)森林框架，怎么把 Drools 放在這隨機(jī)森林里做的。效果提高了大概 40% 左右，您更詳細(xì)的介紹一下。如果不方面展開，能否簡(jiǎn)單舉兩個(gè)例子。

鄧文俊：比如盜刷，有地理位置，他交易的時(shí)候他有一個(gè)地理位置。我們知道他注冊(cè)的時(shí)候有地理位置，他手機(jī)號(hào)歸屬地有地理位置，他的身份證也是有地理位置。他最近三個(gè)月使用的設(shè)備在哪登錄過，這些都是可以做限制。

Q：你們是怎么在風(fēng)控模型中選用隨機(jī)森林這個(gè)模型，底層是不是用了什么開源技術(shù)或者一些開源學(xué)習(xí)框架？

鄧文俊：我們所有東西都是用開源的，怎么用隨機(jī)森林？現(xiàn)在所有東西是基于剛才看到框架叫風(fēng)控 Drools 框架，它的規(guī)則引擎可以調(diào)用外面服務(wù)或者外面資源。可以由隨機(jī)森林模型，可以由別的模型，把每個(gè)模型學(xué)到的東西都可以做成一個(gè)獨(dú)立的服務(wù)或者合到一個(gè)服務(wù)里面。在規(guī)則里面調(diào)用這個(gè)服務(wù)，把參數(shù)一些背景信息告訴這個(gè)服務(wù)，這個(gè)服務(wù)判斷或者是有多少的概率是危險(xiǎn)。再由規(guī)則本身來決定。我們是由規(guī)則引擎進(jìn)行推理，其他所有服務(wù)只提供一些參考，最后規(guī)則服務(wù)來最終決定。事先學(xué)習(xí)好之后，以服務(wù)形式加載起來，放到內(nèi)存起來，來調(diào)用。

Q：訓(xùn)練的時(shí)候這個(gè)有多少個(gè)？

鄧文俊：有 17 個(gè)。

Q：剛剛我看到你們規(guī)則引擎開發(fā)是四周就可以上線，你們團(tuán)隊(duì)規(guī)模以及你們現(xiàn)在運(yùn)營(yíng)團(tuán)隊(duì)是大概什么樣的配比？你們進(jìn)行開源技術(shù)選型的時(shí)候所考慮這些方面是什么？

鄧文俊：

當(dāng)時(shí)風(fēng)控就兩個(gè)人，我開發(fā)，還有一個(gè)定規(guī)則。

風(fēng)控分三個(gè)部門，研發(fā)、運(yùn)營(yíng)、數(shù)據(jù)，大概二三十人。到了第三方支付牌照之后可以為外部服務(wù)。支付寶據(jù)我所知至少一千人。

其實(shí)主要考慮方面就是一個(gè)，第一安全大家都用過，這是最重要。其次是不是很好用很好上手，文檔齊全不齊全。第一很重要，是不是用過，是可靠的。

Q：您剛才說一開始的模型和后來的模型，模擬的模型是一直在迭代嗎？

鄧文俊：可以調(diào)整閾值，沒有用高大上的東西。

Q：我看你之前模型一直在，后來走到機(jī)器學(xué)習(xí)，也是四種不同分類器，您選了隨機(jī)森林。機(jī)器學(xué)習(xí)里面有一個(gè)問題，過擬合的問題怎么解決？

鄧文俊：不解決，隨它去吧?？焖匍_發(fā)，快速上線，看迭代。

Q：您現(xiàn)在算法也是不斷迭代過程當(dāng)中，可能有一些問題沒有暫時(shí)解決是吧？

鄧文俊：說實(shí)話，我自己感覺我們沒有過擬合的問題。

Q：您采用機(jī)器學(xué)習(xí)算法，有一個(gè)問題機(jī)器學(xué)習(xí)如果你樣本集和訓(xùn)練集給到合適的劃分，劃分過程中、訓(xùn)練過程中，如果劃分不合適或者算法有時(shí)候像過擬合抖動(dòng)沒有到合適地步，可能就會(huì)慢慢繼續(xù)擬合，導(dǎo)致沒有沒有辦法恢復(fù)。您在機(jī)器算法上面現(xiàn)在走的方向上有什么和大家有一些在互聯(lián)網(wǎng)金融方向特殊的一些設(shè)計(jì)嗎？

鄧文俊：目前沒有，我們也是剛剛開使用機(jī)器學(xué)習(xí)的方法，摸著石頭過河，走一步看一步。如果我要回答你的問題的話，我給的建議是我們做的時(shí)候在企業(yè)里面其實(shí)不像高校管太多，設(shè)計(jì)那么完美或者會(huì)考慮那么多過擬合方面的科研問題、學(xué)術(shù)問題。我們先上再說，看效果，適者生存。我們并沒有太關(guān)注過擬合的情況，算出什么結(jié)果就拿來用，有效，我們發(fā)現(xiàn)盜刷，發(fā)現(xiàn)有用，可以再調(diào)整。

Q：您剛剛說您樣本的這些特征都是通過小米生態(tài)平臺(tái)獲得，包括地理位置，可能是一些帳單信息。現(xiàn)在有一個(gè)比較爭(zhēng)議的問題，您獲得這些緯度和用戶隱私政策上咱們有什么思路？

鄧文俊：小米已成為國(guó)內(nèi)首家和 TRUSTe 公司就用戶隱私保護(hù)展開合作的手機(jī)廠商。我們有兩個(gè)原則， 第一、收集數(shù)據(jù)時(shí)，收集任何用戶隱私數(shù)據(jù)都是要獲得用戶允許 ，默認(rèn)是不許可的，需要用戶明確授權(quán)。 第二、使用數(shù)據(jù)時(shí)，數(shù)據(jù)平臺(tái)保證用戶數(shù)據(jù)是機(jī)器可讀，人不可讀。 我們做分析的時(shí)候我們有一個(gè)樣本的數(shù)據(jù)做模型，做測(cè)試。做完了以后，我們把我們的系統(tǒng)代碼或者服務(wù)掉到線上跑得時(shí)候才是跑的真實(shí)的數(shù)據(jù)庫。原來都是看不到，只有機(jī)器可以讀，人是不可以讀。

Q：我本身是做大數(shù)據(jù)研發(fā)，我對(duì)金融這方面感興趣，我又讀了金融 MBA。您說研發(fā)風(fēng)控有一些系統(tǒng)，開始的時(shí)候是一個(gè)風(fēng)控機(jī)組給你說一個(gè)業(yè)務(wù)去做。是不是一個(gè)人把金融和 IT 技術(shù)都掌握的比較好，把這個(gè)系統(tǒng)研發(fā)好一些，一個(gè)人就專業(yè)就建立一個(gè)好的團(tuán)隊(duì)，大家去合作比較好一些？

鄧文俊：這個(gè)問題超出技術(shù)范疇，從我的角度我自己的體驗(yàn)，我覺得首先應(yīng)該把自己的事情做好，你有余力可以了解其他人的合作。

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的小米风控实践的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。