“刺激的”2017双11 阿里安全工程师首度揭秘智能风控平台MTEE3
摘要: “太刺激了,太刺激了!如果那個(gè)48%真出問(wèn)題,整個(gè)安全部的雙11就可能是3.25!”
“太刺激了,太刺激了!如果那個(gè)48%真出問(wèn)題,整個(gè)安全部的雙11就可能是3.25!”知命推了推眼鏡,語(yǔ)速明顯快了一些。伴隨著肢體語(yǔ)言,知命表現(xiàn)出來(lái)的是程序員解除了重大Bug時(shí)的那種興奮與激動(dòng)。
用這部IMDB評(píng)分最高的電影向阿里安全的工程師致敬
MTEE3是什么?那個(gè)48%又是什么鬼?
知命,阿里安全業(yè)務(wù)安全產(chǎn)品技術(shù)高級(jí)專家,智能風(fēng)控平臺(tái)MTEE3的技術(shù)負(fù)責(zé)人。這一切,他向我們和盤托出。
MTEE3,性能、智能雙重加持
MTEE3的中文名稱叫業(yè)務(wù)安全智能風(fēng)控平臺(tái),最后面的3代表這是全新一代的3.0系統(tǒng)。這套系統(tǒng)的功用是為阿里經(jīng)濟(jì)體的各類核心業(yè)務(wù)提供賬號(hào)安全、黃牛刷單、活動(dòng)反作弊、內(nèi)容安全、人機(jī)識(shí)別等幾十種風(fēng)險(xiǎn)的防護(hù)與保障。據(jù)悉,在2017天貓雙11當(dāng)天,MTEE3處理了超過(guò)300億次的業(yè)務(wù)風(fēng)險(xiǎn)掃描,掃描峰值超過(guò)200萬(wàn)次/秒,這組數(shù)據(jù)在全球來(lái)看也是獨(dú)一無(wú)二的,同時(shí)也證明了系統(tǒng)的性能非常強(qiáng)悍。
為了便于我們更了解,知命先做了業(yè)務(wù)安全的概念普及。
“MTEE3是業(yè)務(wù)層的安全防控平臺(tái)。”知命向筆者解釋道。據(jù)知命介紹,從業(yè)務(wù)層來(lái)看,傳統(tǒng)的安全威脅,如盜號(hào)、垃圾賬號(hào)(通過(guò)機(jī)器批量申請(qǐng)的帳號(hào))等,對(duì)于網(wǎng)站的正常運(yùn)營(yíng)是有影響的。黑灰產(chǎn)利用這些賬號(hào)來(lái)?yè)尲t包、薅羊毛。
“防羊毛黨,我們叫營(yíng)銷反作弊;還有就是黃牛黨,我們的平臺(tái)有很多熱銷產(chǎn)品,比如酒水、手機(jī)等;還有識(shí)別機(jī)器行為的人機(jī)防控;還有就是內(nèi)容方面的防控。這些都是在網(wǎng)絡(luò)層以上的,我們叫業(yè)務(wù)安全。”知命說(shuō)。
據(jù)介紹,阿里的業(yè)務(wù)安全,基于大數(shù)據(jù)實(shí)時(shí)分析建模技術(shù),通過(guò)每個(gè)用戶行為背后數(shù)千個(gè)數(shù)據(jù)指標(biāo)的實(shí)時(shí)計(jì)算,利用規(guī)則引擎、模型引擎、關(guān)系網(wǎng)絡(luò)、團(tuán)伙分析、設(shè)備畫(huà)像、語(yǔ)義分析、機(jī)器視覺(jué)等技術(shù)對(duì)風(fēng)險(xiǎn)進(jìn)行快速有效的防控,而運(yùn)行的平臺(tái)就叫MTEE3。MTEE3上部署了大量的規(guī)則和模型,為阿里經(jīng)濟(jì)體多個(gè)業(yè)務(wù)提供防護(hù)。“我們將用戶的行為稱為‘事件’,比如用戶的注冊(cè)、登錄、修改基礎(chǔ)信息、聊天、下單、支付、發(fā)貨、收貨、評(píng)價(jià)等等,每個(gè)行為點(diǎn)上我們都會(huì)去進(jìn)行防控。”知命告訴筆者,正是因?yàn)檫M(jìn)行全鏈路的防控,所以MTEE3能夠“輕易地”識(shí)別出惡意賬號(hào)等。
MTEE3的“輕易地”還包含了其毫秒級(jí)的響應(yīng)能力,今年雙11,MTEE3將下單環(huán)節(jié)的風(fēng)險(xiǎn)掃描控制在10毫秒左右,用戶幾乎無(wú)感知。
綜上所述,MTEE3的性能是非常強(qiáng)大的,但除此之外,它還具備了智能的特性。對(duì)此,知命也進(jìn)行了詳細(xì)的解釋。
對(duì)于正常的用戶、機(jī)器賬號(hào),抑或是黃牛,MTEE3會(huì)分析很多的變量(指標(biāo)),然后綜合進(jìn)行判斷。這些變量有多個(gè)維度,這些維度包括有賬號(hào)、設(shè)備、環(huán)境、內(nèi)容以及用戶的行為等。
“MTEE3對(duì)這些信息進(jìn)行實(shí)時(shí)的計(jì)算和分析,而且這個(gè)過(guò)程需要在極短的時(shí)間內(nèi)完成。”知命說(shuō)。
知命表示,MTEE3都是基于信息流的計(jì)算,它并不是將所有的數(shù)據(jù)保存下來(lái),然后再通過(guò)數(shù)據(jù)庫(kù)去查詢,因?yàn)檫@樣效率會(huì)非常低。阿里安全的工程師賦予MTEE3的是一邊計(jì)算一邊存儲(chǔ)的模式,經(jīng)過(guò)計(jì)算后,得出結(jié)論,然后將結(jié)果返回給交易,最后再存下來(lái)。“MTEE3其實(shí)具備的是流式計(jì)算的能力。”知命說(shuō)。
知命告訴筆者,基于規(guī)則和模型的安全防控,基本上歷年都在用。而今年安全策略中心團(tuán)隊(duì)在雙11智能化上的突破,是全新啟用了決策天平,利用機(jī)器學(xué)習(xí)算法進(jìn)行智能化決策,并在雙11中使用,首戰(zhàn)告捷。決策天平綜合考慮風(fēng)險(xiǎn)防控、用戶體驗(yàn)、商業(yè)考量等多方面因素,利用全局尋優(yōu)算法計(jì)算當(dāng)前最優(yōu)解,并考慮到風(fēng)險(xiǎn)分布的變化,利用強(qiáng)化學(xué)習(xí)對(duì)最優(yōu)解進(jìn)行修正,產(chǎn)出下一時(shí)刻的風(fēng)險(xiǎn)處置決策,通過(guò)系統(tǒng)自動(dòng)化執(zhí)行決策,同時(shí)利用實(shí)時(shí)計(jì)算做到了秒級(jí)的決策方案更新。決策天平打造了未來(lái)風(fēng)控模式的雛形。
“刺激的”2017雙11
對(duì)于知命和他的團(tuán)隊(duì)來(lái)說(shuō),2017年的雙11是相當(dāng)“刺激”的。
首先,他們要解決性能的問(wèn)題。如果只是簡(jiǎn)單地疊加資源,比如增加服務(wù)器數(shù)量,這個(gè)問(wèn)題看上去似乎也不是那么的難。然而,事實(shí)卻是,知命面對(duì)的是資源的增長(zhǎng)只有那么一點(diǎn)點(diǎn),但要求的指標(biāo),比如交易峰值,卻是要比去年雙11翻倍。
這個(gè)問(wèn)題怎么解?
阿里安全的工程師對(duì)計(jì)算引擎進(jìn)行了完全重寫方式的改造,目的就是讓它算得更快,性能提升100%有余;同時(shí),對(duì)策略體系的部署進(jìn)行優(yōu)化;而與其他安全防護(hù)層,比如網(wǎng)絡(luò)層,進(jìn)行實(shí)時(shí)聯(lián)動(dòng),提升整體的效率。
另外,2017雙11,安全策略中心團(tuán)隊(duì)和產(chǎn)品技術(shù)團(tuán)隊(duì)一起針對(duì)策略體系也進(jìn)行了重構(gòu)改造,建立起層次化、體系化的策略架構(gòu),去除策略孤島,規(guī)則和機(jī)器學(xué)習(xí)模型有機(jī)組合,筑起全新的防控大壩,提升對(duì)風(fēng)險(xiǎn)的覆蓋率和精準(zhǔn)度。
知命告訴筆者,由于補(bǔ)貼方案到最后兩天都還會(huì)有變更,因此相應(yīng)的策略、模型和規(guī)則等都會(huì)產(chǎn)生實(shí)時(shí)的變化,同時(shí),黑產(chǎn)從哪里來(lái),這個(gè)也無(wú)法確定。這三方面的“不確定”,讓阿里安全的技術(shù)團(tuán)隊(duì)承受著極大的壓力。
然而,知命和他的團(tuán)隊(duì)還是提出了解決方案。“由于這些不確定性,所以我們今年決定要容忍一些變化。特別是計(jì)算引擎,我們希望在策略變化的前提下,系統(tǒng)的性能是能保證的,資源消耗要在同一量級(jí),而不是說(shuō)線性增長(zhǎng)。”知命說(shuō)。據(jù)介紹,MTEE3項(xiàng)目團(tuán)隊(duì)做了相當(dāng)多的工作,比如,將規(guī)則引擎、模型引擎進(jìn)行重構(gòu)改造,特別是規(guī)則引擎全部重寫。經(jīng)過(guò)改造之后,MTEE3的性能成倍增長(zhǎng)。
“我們做這個(gè)項(xiàng)目,雙11是個(gè)重要的節(jié)點(diǎn),但并不是只為了它,更是要為未來(lái)做準(zhǔn)備,是為了策略的重構(gòu)做升級(jí)。計(jì)算引擎一直在運(yùn)行,運(yùn)行過(guò)程中進(jìn)行升級(jí),相當(dāng)于是給飛行中的飛機(jī)換引擎,這是相當(dāng)大的挑戰(zhàn)。”知命說(shuō)。
實(shí)際上,MTEE3是2017年3月份才上線的。但是,到618的時(shí)候并沒(méi)有被應(yīng)用,而99酒水節(jié)才是真正意義上的實(shí)戰(zhàn)檢驗(yàn)。而這次之后,就是雙11了。
我們非常好奇,雙11前夕,知命和他的團(tuán)隊(duì)是怎樣的狀態(tài)和節(jié)奏?
11月8日,MTEE3接到最后一個(gè)需求變更。這個(gè)時(shí)間點(diǎn),原本是不再允許接受新的需求變更了,但經(jīng)過(guò)各個(gè)Leader的綜合判斷,這個(gè)變更必須進(jìn)行。
11月9日晚上十點(diǎn)的時(shí)候,知命和小伙伴們還在反復(fù)地測(cè)試MTEE3。到了11月10日早上七點(diǎn),反復(fù)測(cè)試多輪,所有功能點(diǎn)終于全部驗(yàn)證完畢。
一切看上去似乎風(fēng)平浪靜。
然而,早11月10日零點(diǎn)的時(shí)候,又發(fā)現(xiàn)了一個(gè)“大問(wèn)題”。“安全策略工程師發(fā)現(xiàn):下單場(chǎng)景下,安全防控策略存在48%的防控?cái)r截失敗?最大的挑戰(zhàn)在于阿里安全的工程師不確定究竟是所有策略出了問(wèn)題,還是只有一條策略是這樣。但此時(shí),距離2017雙11已經(jīng)不足24小時(shí)。”知命說(shuō)。
“本來(lái)大戰(zhàn)前1天是希望大家休息一下了,但還是趕緊把所有人叫起,排查這個(gè)問(wèn)題。”知命說(shuō),“最后搞到11月10日凌晨三點(diǎn)多,幸好最終查證是虛驚一場(chǎng)。這個(gè)是真的非常刺激!”
MTEE3保護(hù)著上億的資金,如果雙11當(dāng)天,這48%攔截失敗,后果無(wú)法想象。“今年跟以前不一樣,今年是前期的準(zhǔn)備壓力特別大。特別是那個(gè)48%,太刺激了,太刺激了。如果這個(gè)沒(méi)防住,整個(gè)安全部的雙11就可能是3.25!”知命說(shuō)。
直到11月10日晚上,知命還在和策略中心團(tuán)隊(duì)對(duì)焦重點(diǎn)防控人群的問(wèn)題,而最終敲定具體的策略已經(jīng)是當(dāng)晚八點(diǎn)多鐘。
但真正到了11月11日零點(diǎn)的時(shí)候,負(fù)責(zé)MTEE3系統(tǒng)的工程師反而放松下來(lái)。“去年,我們整整待了36個(gè)小時(shí),加上跨境,一共是38個(gè)小時(shí)。今年,待到晚上2點(diǎn)多,很多同學(xué)就已經(jīng)可以回去睡覺(jué)了。”知命淡淡地說(shuō)到。
作者:華蒙
總結(jié)
以上是生活随笔為你收集整理的“刺激的”2017双11 阿里安全工程师首度揭秘智能风控平台MTEE3的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: Redis 究竟适不适合当队列来用?
- 下一篇: 匿名提问:rm -rf了怎么办?