作者| 邊際實驗室

異常檢測是當今金融企業(yè)的當務(wù)之急，但在內(nèi)部設(shè)計和構(gòu)建一個真正有效的監(jiān)測預(yù)警系統(tǒng)是一項復(fù)雜的任務(wù)。

對于金融企業(yè)的數(shù)據(jù)業(yè)務(wù)來說，對市場數(shù)據(jù)、客戶交易數(shù)據(jù)、營銷數(shù)據(jù)等進行分析，并尋找可能的異常情況已經(jīng)成為一種業(yè)務(wù)需求。大多數(shù)金融企業(yè)已經(jīng)使用數(shù)據(jù)分析業(yè)務(wù)的進展、發(fā)現(xiàn)數(shù)據(jù)中的異常，以節(jié)省成本或創(chuàng)造新的業(yè)務(wù)機會。這是當前技術(shù)的一種發(fā)展方向：通過數(shù)據(jù)和指標驅(qū)動來衡量當前的業(yè)務(wù)狀態(tài)。

自動異常檢測是一種較為復(fù)雜的機器學習技術(shù)。可能有成百上千甚至上百萬的標準可以幫助金融企業(yè)確定現(xiàn)在正在發(fā)生的情景，并且與它過去所看到的或者它期望在未來看到的情景相比較。使用正確預(yù)警監(jiān)測模型的企業(yè)甚至可以發(fā)現(xiàn)最細微的異常，但是沒有使用正確模型的公司可能會遭遇“誤報風暴”。如果無法發(fā)現(xiàn)大量的異常情況，往往會出現(xiàn)大規(guī)模的收入損失、客戶投訴、機器故障或商機錯失。

為什么金融企業(yè)需要異常檢測

在上億條數(shù)據(jù)中進行異常檢測十分復(fù)雜并充滿技術(shù)挑戰(zhàn)，那么為什么我們還要這樣做呢？

在金融市場高速運轉(zhuǎn)的業(yè)務(wù)中，許多事情在同時發(fā)生，不同的人或角色負責監(jiān)視這些活動。例如，在系統(tǒng)后臺，IT團隊仔細監(jiān)視網(wǎng)絡(luò)、服務(wù)器、通信鏈接等的操作和性能。在應(yīng)用層級，一個完全不同的監(jiān)控小組監(jiān)視其他的類別因素，如市場數(shù)據(jù)傳輸速度、達成交易時間或用戶體驗等。在業(yè)務(wù)層級，相關(guān)業(yè)務(wù)人員根據(jù)客戶交易的特征來分析產(chǎn)品。

某一領(lǐng)域的異常可能會影響到其他領(lǐng)域，但如果不從整體層面分析這些指標，就可能永遠不會產(chǎn)生關(guān)聯(lián)。這就是大型異常檢測系統(tǒng)應(yīng)該做的。

我們拿一個電子商務(wù)公司銷售禮品卡得到事件作為說明。我們可以看到，在紅框內(nèi)，禮品卡的銷量發(fā)生了增加，但禮品卡的預(yù)期收入?yún)s相應(yīng)發(fā)生了下降。造成這個結(jié)果的原因是定價發(fā)生了錯誤。如果不把這兩個指標放在一起看，就很難理解，如果不及時發(fā)現(xiàn)并處理業(yè)務(wù)事故，可能會讓公司損失很多錢。這兩個指標之間的關(guān)系如下圖所示。

隨著業(yè)務(wù)的增長，越來越多的事件無法被檢測到，除非有一個異常檢測系統(tǒng)來分析金融企業(yè)每個業(yè)務(wù)可以使用的指標。

如今，大多數(shù)金融企業(yè)更加依賴于手工檢測異常事件。這有兩種主要的方法:其一是創(chuàng)建儀表板,創(chuàng)建每日/每周市場或交易報告,專人關(guān)注這些指標的上升或下降。然后他們調(diào)查任何看起來不正常的數(shù)據(jù)。顯然，這種方法所覆蓋的不能超過十幾個關(guān)鍵指標。這會是金融企業(yè)方便地發(fā)現(xiàn)重大異常，但會錯過許多較小的事件。此外，這需要監(jiān)控人員知道自己要尋找什么，這樣他們就會錯過那些他們沒有想過要跟蹤或分析的東西。第二種方法是使用一個自動化系統(tǒng),為每個指標設(shè)置上、下閾值。如果數(shù)據(jù)超出這些閾值，就會生成警報。這種方法的缺點是，設(shè)置這些閾值非常復(fù)雜，因為必須為每個指標設(shè)置閾值，如果有成千上萬個指標，則很難設(shè)置閾值。設(shè)置閾值需要對每個指標隨時間變化的行為有一個復(fù)雜的理解。此外，如果閾值過高或過低，可能會出現(xiàn)大量的假警報，或者相反，出現(xiàn)大量漏掉的異常值。總之，通過設(shè)置閾值來發(fā)現(xiàn)異常是一項不切實際的工作。

因此，解決方案是自動異常檢測，即計算機查看這些數(shù)據(jù)，自動、快速地篩選這些數(shù)據(jù)，指出異常行為，并對其發(fā)出警報。這說起來容易做起來難，因為計算機需要被告知，與正常活動相比，異常是什么。這就是機器學習的用武之地。

本文為邊際實驗室原創(chuàng)，如需轉(zhuǎn)載請務(wù)必注明出處，否則必將追究法律責任。

總結(jié)

以上是生活随笔為你收集整理的自动阈值检测_金融科技讲堂之三｜金融企业如何在大数据中进行异常检测（一）...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。