今天和大家聊聊常見的場(chǎng)景：異常數(shù)據(jù)的識(shí)別，以及預(yù)警相關(guān)功能的產(chǎn)品化設(shè)計(jì)。

01

—

場(chǎng)景概述

我們?cè)谧鰯?shù)據(jù)分析的時(shí)候，有一個(gè)重要的環(huán)節(jié)，就是發(fā)現(xiàn)目前運(yùn)行數(shù)據(jù)的異常，然后基于異常尋找原因、提出意見和建議。

如果是人工判斷異常數(shù)據(jù)的話，往往通過恰當(dāng)?shù)目梢暬瘓D形就能很好地發(fā)現(xiàn)，比如下面數(shù)據(jù)走勢(shì)的異常：

或者下面的數(shù)據(jù)關(guān)系的異常，通過回歸曲線很容易發(fā)現(xiàn)右下角的異常點(diǎn)。

但是對(duì)于機(jī)器而言，想要識(shí)別異常數(shù)據(jù)，就比較麻煩了。這就是咱們今天將重點(diǎn)展開討論的內(nèi)容：如何通過系統(tǒng)化的規(guī)則或者算法，識(shí)別異常數(shù)據(jù)。

由于數(shù)據(jù)的類型多種多樣，我們針對(duì)不同數(shù)據(jù)類型分別展開。

02

—

時(shí)序異常數(shù)據(jù)識(shí)別

時(shí)間序列相關(guān)的異常判定，應(yīng)該是我們最常見的異常識(shí)別情景。尤其是在數(shù)據(jù)產(chǎn)品中，我們關(guān)注的大部分內(nèi)容都是和時(shí)間序列有關(guān)系。

大家可以仔細(xì)回想一下你平時(shí)看到的數(shù)據(jù)監(jiān)控看板等等，無論形態(tài)如何，基本都涉及了時(shí)間維度。但凡涉及時(shí)間維度，那么異常的識(shí)別都是基于時(shí)間來識(shí)別的，且識(shí)別的是最新一段時(shí)間是否異常（用最新數(shù)據(jù)鑒定歷史數(shù)據(jù)異常并沒有任何業(yè)務(wù)意義）。

了解了上面的內(nèi)容，下面我們聊聊都有哪些時(shí)序異常數(shù)據(jù)的識(shí)別方法。

（1）基于固定數(shù)值

這個(gè)比較好理解，就是直接按照固定的數(shù)值進(jìn)行異常判定。邏輯簡(jiǎn)單、容易實(shí)現(xiàn)與理解。

比如上圖中，我們?cè)O(shè)定固定數(shù)值是[3800-5600]，在這個(gè)區(qū)間范圍內(nèi)的數(shù)據(jù)，我們認(rèn)為是正常數(shù)據(jù)；低于或者高于該區(qū)間的數(shù)據(jù)，認(rèn)為是異常數(shù)據(jù)。

固定數(shù)值判斷異常的方法，核心在于如何取合理區(qū)間的上下限。如果有明確的業(yè)務(wù)紅線，可以將業(yè)務(wù)紅線設(shè)為上下限；如果沒有業(yè)務(wù)限制，可以使用分位數(shù)進(jìn)行取值，比如歷史5%-95%分位認(rèn)為是正常的。

對(duì)于一個(gè)發(fā)展比較穩(wěn)定業(yè)務(wù)而言，設(shè)定固定的絕對(duì)數(shù)值是沒啥問題的。但是對(duì)于一個(gè)快速發(fā)展期的業(yè)務(wù)，很明顯，固定數(shù)值并不適用。

隨著時(shí)間的變化，合理的區(qū)間也相應(yīng)發(fā)生了變化。這種情況不適合用固定數(shù)值進(jìn)行異常判定，而是需要相對(duì)值。

（2）基于相對(duì)數(shù)值

上面講到了固定數(shù)值方法的缺點(diǎn)。因此，我們考慮相對(duì)數(shù)值的方法。提到相對(duì)值，主要就是同比和環(huán)比（關(guān)于同比和環(huán)比可參考?xì)v史文章）。

由于同比通常的定義指的是與去年同期比較，因此針對(duì)單天，我們往往是與上周進(jìn)行對(duì)比。如此，上周的數(shù)值就是基準(zhǔn)值，再增加一個(gè)波動(dòng)區(qū)間范圍即可。比如上周二的新增用戶數(shù)200，波動(dòng)范圍設(shè)定[-10%，10%]，那么本周二如果新增用戶數(shù)在180-220則認(rèn)為是正常的；超出該范圍則判定異常。

該方法也有明顯的缺點(diǎn)。如果上周二就是一個(gè)異常值（假設(shè)數(shù)值異常低），而本周二數(shù)據(jù)是恢復(fù)正常了。那么根據(jù)相對(duì)值得判定邏輯，很容易把本周二判定為「異常高」。這是點(diǎn)對(duì)點(diǎn)對(duì)比的缺點(diǎn)。

（3）基于統(tǒng)計(jì)分布

如何能避免單個(gè)異常點(diǎn)對(duì)后續(xù)判斷的影響呢？這里就可以基于統(tǒng)計(jì)分布進(jìn)行規(guī)則建立。

這里我們可以采取 均值±標(biāo)準(zhǔn)差×3?的方式。這里的均值可以采取當(dāng)天之前一段時(shí)間的均值，比如90天、30天；標(biāo)準(zhǔn)差也選取相應(yīng)時(shí)間段的標(biāo)準(zhǔn)差；倍數(shù)可以基于情況設(shè)置。

由于均值是一段時(shí)間內(nèi)的均值，不是某一個(gè)具體點(diǎn)。因此通過這種方式，能消除異常數(shù)據(jù)對(duì)于后續(xù)的異常判定。

（4）基于時(shí)序模型

最后，還可以基于時(shí)間序列模型進(jìn)行異常判定。

在統(tǒng)計(jì)模型中，有一類模型是專門針對(duì)時(shí)間序列進(jìn)行建模的，用以預(yù)測(cè)未來一段時(shí)間的數(shù)據(jù)走勢(shì)。我們可以建立相應(yīng)的ARMA模型等，基于實(shí)際值和預(yù)測(cè)值的差異，判定是否異常。

關(guān)于時(shí)間序列模型，我們這里就不展開了，后續(xù)會(huì)專門針對(duì)時(shí)間序列統(tǒng)計(jì)模型詳細(xì)分享相關(guān)基礎(chǔ)知識(shí)。

03

—

預(yù)警功能產(chǎn)品化設(shè)計(jì)

最后，我們一起看看預(yù)警功能的產(chǎn)品設(shè)計(jì)，這里主要以神策為例，看看預(yù)警功能的設(shè)計(jì)思路。

（1）預(yù)警設(shè)置

神策將預(yù)警功能和事件分析進(jìn)行了結(jié)合，在做事件分析相關(guān)功能時(shí)，可以直接添加「預(yù)警」，進(jìn)行預(yù)警配置。

下面是點(diǎn)擊「預(yù)警」后的配置界面：

配置基本信息中包括了規(guī)則名稱、監(jiān)控指標(biāo)、維度等；預(yù)警設(shè)置中包括監(jiān)控時(shí)間粒度、監(jiān)控時(shí)間、預(yù)警方式、觸發(fā)規(guī)則、通知方式等。

（2）預(yù)警觸發(fā)規(guī)則

預(yù)警配置中，最核心的一步就是進(jìn)行預(yù)警規(guī)則的設(shè)置了。神策支持了兩種預(yù)警方式：智能預(yù)警和自定義預(yù)警。

這里的智能預(yù)警并未明示具體的邏輯，我猜主要就是基于統(tǒng)計(jì)分布和時(shí)序模型進(jìn)行的所謂智能預(yù)警。而自定義預(yù)警主要包括了對(duì)比特定值（即固定值）以及歷史某期（即相對(duì)值）進(jìn)行預(yù)警規(guī)則設(shè)置。

當(dāng)然，自定義預(yù)警的閾值是用戶自行填寫的，沒有給出提示。

（3）預(yù)警通知

預(yù)警的通知配置，也是整個(gè)預(yù)警功能中必不可少的一部分。這里主要支持三種方式：系統(tǒng)通知、企業(yè)群通知、郵件通知。

關(guān)于時(shí)序預(yù)警相關(guān)的方法，以及產(chǎn)品化的介紹，就分享這些。這里強(qiáng)調(diào)一點(diǎn)，雖然數(shù)據(jù)看板的時(shí)序數(shù)據(jù)占了大多數(shù)，但是仍然有非時(shí)序的數(shù)據(jù)呈現(xiàn)。關(guān)于非時(shí)序的異常數(shù)據(jù)該如何鑒定異常呢？這個(gè)我們后面找時(shí)間再詳細(xì)分享。

另外，后面有機(jī)會(huì)聊聊，BI系統(tǒng)如何在異常判斷的基礎(chǔ)上，進(jìn)行智能化分析。

-?END -

對(duì)比Excel系列圖書累積銷量達(dá)15w冊(cè)，讓你輕松掌握數(shù)據(jù)分析技能，可以在全網(wǎng)搜索書名進(jìn)行了解：

總結(jié)

以上是生活随笔為你收集整理的如何自动化识别异常数据？达到智能预警？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。