指标波动多大才算是异常?
指標(biāo)波動(dòng)不可怕,指標(biāo)波動(dòng)代表的業(yè)務(wù)場景才可怕!脫離業(yè)務(wù)場景談指標(biāo)波動(dòng)就是耍流氓。
指標(biāo)波動(dòng)分類
第一類:硬指標(biāo)波動(dòng)。
有一些指標(biāo)是剛性考核業(yè)務(wù)部門的。比如
考核銷售:業(yè)績、回款
考核商品:庫存、毛利
考核客服:接聽、投訴
這些指標(biāo)是剛性考核業(yè)務(wù)結(jié)果,意味著:必須達(dá)成指定數(shù)量,否則即使差1%都是問題。因此,常把它們稱為:硬指標(biāo)。
第二類:軟指標(biāo)波動(dòng)。
諸如注冊用戶數(shù)、用戶點(diǎn)擊率、轉(zhuǎn)化率這類指標(biāo)。
軟指標(biāo)上升下降不見得是問題,有可能是一種新的業(yè)務(wù)形態(tài),有可能是偶然發(fā)生的變化。因此,軟指標(biāo)的變化不會(huì)直接引發(fā)業(yè)務(wù)動(dòng)作。人們更多關(guān)心:這種變化到底是好是壞,會(huì)不會(huì)對硬指標(biāo)有潛在的影響。因此過程指標(biāo)只是個(gè)參考,不能直接判定好壞,需要和一個(gè)關(guān)鍵結(jié)果指標(biāo)掛鉤。
注意:硬指標(biāo)和軟指標(biāo)的區(qū)分,不是一成不變的。比如很多互聯(lián)網(wǎng)公司會(huì)考察“用戶增長”,這時(shí)候注冊用戶數(shù)就是個(gè)硬指標(biāo),逼著推廣部門完成。因此區(qū)分硬指標(biāo)和軟指標(biāo),要看部門具體KPI要求。
第三類:邊緣指標(biāo)波動(dòng)。
諸如滿意度、知名度等指標(biāo)。這些指標(biāo)有共同特點(diǎn):
1、本身是抽樣調(diào)查得來的,非全量統(tǒng)計(jì)。意味著抽樣方法、問卷方法、調(diào)查時(shí)間等非業(yè)務(wù)動(dòng)作,也可能影響到結(jié)果。它不能直接反應(yīng)業(yè)務(wù)問題。
2、與硬指標(biāo)、過程指標(biāo)關(guān)系不大,或難以直接驗(yàn)證結(jié)果。比如滿意度,滿意度高是不是意味著100%購買,不見得;滿意度低,是不是意味著不買?也不見得。
3、人為操作影響大。比如換一種抽樣方式,立馬結(jié)果變化。比如硬砸一波廣告/優(yōu)惠,數(shù)值立馬提高。
硬指標(biāo)>軟指標(biāo)>邊緣指標(biāo),按這個(gè)順序抓重點(diǎn),不要面對一屏幕指標(biāo)高了低了,急的直撓頭。
指標(biāo)波動(dòng)情形
一次性波動(dòng)
偶發(fā)的、突然性的波動(dòng)。一般是由于短期、突發(fā)的事件而影響的指標(biāo)的波動(dòng),包括快速上升/下降。比如說主播帶貨,天氣突然變化。
這樣的波動(dòng)影響時(shí)間短,往往幾天的時(shí)間便會(huì)恢復(fù)正常波動(dòng)。舉個(gè)單量的例子,在大促期間都是單量的爆發(fā)期,大促即為一次“偶發(fā)事件”,此時(shí)單量的波動(dòng)即為一次性波動(dòng)。其具有如下的特征圖:

下降
1、指標(biāo)短期快速下降通常指三天內(nèi),快速下降通常指環(huán)比10%以上的下降;短期快速下降原因通常是比較嚴(yán)重的事故或者發(fā)生了重大的事件。如果是事故能及時(shí)修復(fù)的話指 標(biāo)可以快速恢復(fù),效果是來的也快去的也快。但是要引以為戒,盡量避免同類事故放生。
2、指標(biāo)長期快速下降通常指持續(xù)時(shí)間超過7天,指標(biāo)環(huán)比30%以上的下降;長期快速下降的場景并不典型,短期快速下降如果發(fā)現(xiàn)問題就并及時(shí)解決就不會(huì)導(dǎo)致長期的快速下降。通常除 非收到惡意攻擊沒能快速修復(fù)或者產(chǎn)品被戰(zhàn)略性放棄,不會(huì)出現(xiàn)長期快速下降的情況。
3、指標(biāo)長期緩慢下降通常指持續(xù)時(shí)間超過7天,指標(biāo)環(huán)比30%以內(nèi)的下降;長期緩慢下降的原因通常是最難追蹤,結(jié)果也最為致命的,如果不能及時(shí)發(fā)現(xiàn)問題,運(yùn)營人員常常會(huì)溫水煮青蛙放棄問題追蹤,最后給產(chǎn)品埋下隱患,導(dǎo)致一連串的連鎖坑。
上升
1、指標(biāo)短期快速上升通常是由于重大事件引起的,有時(shí)候也能覓得良機(jī),如某個(gè)熱門事件 如果能快速地在平臺(tái)上展現(xiàn)、傳播并二次發(fā)酵,就能在短時(shí)間內(nèi)給平臺(tái)帶來大量的流量。最典型的場景就是 微博,一旦明星有些爆炸新聞,微博的流量就會(huì)立即上幾個(gè)臺(tái)階。
2、指標(biāo)長期快速上升通常是產(chǎn)品處于上升期或者有什么長時(shí)間的大型活動(dòng),典型場景就是愛奇藝有新的大劇和綜藝上線,流量就會(huì)迅速躥升。長期快速上升是可遇而不可求的。
3、指標(biāo)長期緩慢上升通常是因?yàn)樽鲗α四臣?#xff0c;使得產(chǎn)品體驗(yàn)得到持續(xù)而穩(wěn)定的改善,比 如引進(jìn)了優(yōu)質(zhì)的內(nèi)容,推薦模型有新的優(yōu)化等等。一旦發(fā)現(xiàn)這樣的趨勢就應(yīng)該挖掘出原因,知其然也知其所 以然。然后加以復(fù)制和放大,力求更上一層樓。
周期性波動(dòng)
這種波動(dòng)和時(shí)間節(jié)點(diǎn)強(qiáng)相關(guān),且經(jīng)常以周或者季、年為循環(huán)節(jié)點(diǎn)。如羽絨服秋冬季節(jié)賣的比較好,到了春天銷量就下降,夏天幾乎沒有銷量,且每年幾乎都是這樣。

持續(xù)性波動(dòng)
從某一時(shí)間開始,指標(biāo)一直呈現(xiàn)上漲/下降趨勢。如從今年4月開始,浴室香氛品類的銷售量一直呈現(xiàn)上漲趨勢,這就屬于持續(xù)性波動(dòng)。而持續(xù)性波動(dòng)背后的原因往往是更深刻的,如訂單結(jié)構(gòu)的變化、環(huán)境因素的影響,從而出現(xiàn)了這種持續(xù)性趨勢。

異常識(shí)別
什么樣的異常才能叫異常呢?
絕對值預(yù)警
絕對值預(yù)警,即通過設(shè)定一定的閾值,當(dāng)指標(biāo)低于/高于閾值的時(shí)候,就認(rèn)為此時(shí)指標(biāo)波動(dòng)為異常,并進(jìn)行預(yù)警。
舉個(gè)例子,菜多多作為一個(gè)品牌,毛利是其核心的一個(gè)指標(biāo)。對毛利可設(shè)置絕對值預(yù)警:當(dāng)毛利為負(fù)時(shí),就認(rèn)為此時(shí)是異常的情況,需要探究其發(fā)生的原因,并解釋這種異常的波動(dòng)。通過對毛利的絕對值預(yù)警,及時(shí)發(fā)現(xiàn)了部分用戶利用一元活動(dòng)進(jìn)行薅羊毛、從而導(dǎo)致多個(gè)客戶毛利為負(fù)的行為,并完善了規(guī)則減少了品牌的損失。
不僅可以設(shè)置低于某一個(gè)定值,也可以當(dāng)指標(biāo)高于某一定值的時(shí)候進(jìn)行預(yù)警,比如在供應(yīng)鏈中,某個(gè)大倉的分倉比高于40%,就會(huì)導(dǎo)致倉庫負(fù)荷過重從而影響生產(chǎn)。
絕對值預(yù)警往往是一次性的波動(dòng),這樣的異常判定比較簡單,只需要設(shè)定對應(yīng)的閾值即可。而閾值的設(shè)定可以根據(jù)具體的業(yè)務(wù)的不同和規(guī)則而變化。
相對值預(yù)警
然而實(shí)際業(yè)務(wù)中,絕對的閾值只能提供一個(gè)“底線”。除了一些非常確定性的業(yè)務(wù)場景外,在其他情況下,過高的“底線”就會(huì)導(dǎo)致誤報(bào),過低的“底線”可能會(huì)漏掉很多需要預(yù)警的情況。于是作為絕對值預(yù)警的補(bǔ)充,相對值預(yù)警可以根據(jù)歷史數(shù)據(jù)及波動(dòng)情況,來判斷當(dāng)前的波動(dòng)是否為異常。
(1)同比環(huán)比
同比環(huán)比是業(yè)務(wù)場景中比較常用的一種異常檢測方式,利用當(dāng)前時(shí)間周期與前一個(gè)時(shí)間周期(同比)和過去的同一個(gè)時(shí)間周期(同比)比較,超過一定的閾值即認(rèn)為該點(diǎn)是異常的。實(shí)際中常用周/日環(huán)比、年同比來進(jìn)行比較。

根據(jù)值得正負(fù)來判斷是上漲還是下降。通過與上周/昨天和去年同期的數(shù)據(jù)表現(xiàn)進(jìn)行對比,計(jì)算波動(dòng)值,再將波動(dòng)值和閾值進(jìn)行對比,從而得到當(dāng)前時(shí)刻數(shù)值是否在正常的波動(dòng)中。
如在上述的周期性波動(dòng)的例子中,在11月環(huán)比波動(dòng)都會(huì)較大,這時(shí)設(shè)置同比波動(dòng)預(yù)警會(huì)比設(shè)置環(huán)比波動(dòng)預(yù)警更為合理。于是在波動(dòng)判別中,需要注意業(yè)務(wù)實(shí)際背景。

周期平滑
同比/環(huán)比僅使用1~2個(gè)時(shí)間點(diǎn)的數(shù)據(jù),容易受到數(shù)據(jù)本身質(zhì)量的影響:當(dāng)歷史同期或上個(gè)周期的數(shù)據(jù)本身就是“異常”的時(shí)候,用“異常”的數(shù)據(jù)來判斷是否“異常”就不太合適。
一個(gè)很自然的想法就是將所參考的時(shí)間點(diǎn)拓展,利用多個(gè)時(shí)間點(diǎn)的周期數(shù)據(jù)進(jìn)行平滑,得到當(dāng)前時(shí)刻指標(biāo)的對比值。如:

則比較值:


其中為平滑系數(shù),當(dāng)都為相同的值的時(shí)候,此時(shí)即為平均值。也可越靠近所研究時(shí)間點(diǎn),賦予更高的平滑系數(shù)。所選的時(shí)間點(diǎn)可以根據(jù)業(yè)務(wù)需求自行定義。
利用比較值b和所研究的值(1)對比,超過一定的閾值即可認(rèn)為是“異常”,其波動(dòng)需要關(guān)注。
假設(shè)檢驗(yàn)(3σ原則)
前面提到比較值需要和所研究的值進(jìn)行對比,通過閾值來判斷波動(dòng)是否異常。閾值的定義方法和預(yù)警方法類似,分為絕對值閾值和自適應(yīng)(相對值)閾值。
- 絕對值閾值:根據(jù)歷史正常情況下的數(shù)據(jù)波動(dòng)情況,計(jì)算比較值和所研究的值之間的差異情況,從而定義一個(gè)上/下限值,即為閾值。
- 自適應(yīng)閾值:根據(jù)數(shù)據(jù)波動(dòng)情況而變化的閾值,其理論基礎(chǔ)為假設(shè)檢驗(yàn)和大數(shù)定律,來判斷是否為異常。
不妨假設(shè)當(dāng)前時(shí)間點(diǎn)的指標(biāo)數(shù)據(jù)為b,歷史用于對比的指標(biāo)數(shù)據(jù)為:

其中:

分別表示對比數(shù)據(jù)的平均水平和波動(dòng)情況。則根據(jù)大數(shù)定律和假設(shè)檢驗(yàn),當(dāng)

即可認(rèn)為當(dāng)前時(shí)間點(diǎn)的指標(biāo)數(shù)據(jù)為異常波動(dòng)。其中z為置信水平所對應(yīng)的值,如當(dāng)z=1.96時(shí),置信水平為95%,即可認(rèn)為在100次的波動(dòng)下,有95次是在正常范圍內(nèi)波動(dòng)的(置信水平及其對應(yīng)的值可參考標(biāo)準(zhǔn)正態(tài)分布表)。當(dāng)z=2.58,置信水平為99%,即為著名的“3σ原則”。
其他方法
除了以上所介紹的一些常用的、便捷的方法外,也可以通過時(shí)間序列、算法模型等來判斷異常值。異常值判別是比較常見的研究場景,但由于實(shí)操的復(fù)雜性,這里僅做一個(gè)介紹。
時(shí)間序列
業(yè)務(wù)上的數(shù)據(jù)往往具有時(shí)間屬性,如單量隨時(shí)間的變化、GMV隨時(shí)間的變化等。那么在時(shí)間序列中,通過異常檢測的方法,也可以對當(dāng)前波動(dòng)是否異常做出判斷。常用的方法有:
- 平均法:移動(dòng)平均、加權(quán)移動(dòng)平均、指數(shù)加權(quán)移動(dòng)平均、累加移動(dòng)平均等。和上述的“周期平均”的方法類似,可自定義窗口大小和加權(quán)系數(shù)。
- ARIMA模型:自回歸移動(dòng)平均模型(ARIMA)是時(shí)間序列中一個(gè)基礎(chǔ)模型,利用過去的幾個(gè)數(shù)據(jù)點(diǎn)來生成下一個(gè)數(shù)據(jù)點(diǎn)的預(yù)測,并在過程中加入一些隨機(jī)變量。使用該模型需要確定ARIMA所需的參數(shù),即需要對數(shù)據(jù)點(diǎn)進(jìn)行擬合。利用擬合后的方程確定下一個(gè)時(shí)間點(diǎn)的數(shù)據(jù)的區(qū)間,從而判斷當(dāng)前波動(dòng)是否為異常。
- 此外還有ESD、S-ESD、S-H-ESD、STL分解等算法,來檢測異常點(diǎn)。
算法模型
- 基于分類方法:根據(jù)歷史已有的數(shù)據(jù),將其分為正常、異常的兩類,之后產(chǎn)生的新的觀測值,就可以使用分類的方法去判斷新的觀測值是否為異常。如使用距離判別的K-means算法、SVM算法等。
- 神經(jīng)網(wǎng)絡(luò)方法:可以對具有時(shí)間特性進(jìn)行建模的LSTM算法、用卷積神經(jīng)網(wǎng)絡(luò)來做時(shí)間序列分類的Time Le-Net,以及各種的監(jiān)督式模型,都是能夠?qū)Ξ惓?shù)據(jù)進(jìn)行識(shí)別的算法。
異動(dòng)歸因
確定指標(biāo)波動(dòng)區(qū)間
定位指標(biāo)波動(dòng)的原因最首要的是找到指標(biāo)波動(dòng)區(qū)間,只有明確了時(shí)間點(diǎn)才能過濾掉是是 而非的線索,直擊重點(diǎn)。在確定區(qū)間后就要開始追蹤可能的線索。
流程Check
1、首先要確認(rèn)數(shù)據(jù)的源頭是否正確
- 客戶端or服務(wù)端是否有變動(dòng)(如上線、壓測等),如果有,變動(dòng)時(shí)間是否能match數(shù)據(jù)變化時(shí)間點(diǎn)?
- ETL層是否有修改,整體流程是否有依賴?整體流程運(yùn)行是否完成?
2、細(xì)分時(shí)間維度
如果時(shí)間拆分后,時(shí)間維度上,數(shù)據(jù)無誤,那么,我們走到第二步:維度拆分;如果時(shí)間拆分后,時(shí)間維度上有明顯差異,那我們走到第三步:業(yè)務(wù)確認(rèn)
是否是季節(jié)性因素?上月同期or去年同期是否有同樣情況?
分解成可追蹤的指標(biāo)
單一的指標(biāo)往往很難直接找到線索歸因,因此在分析的過程中往往需要不斷拆解大的 指標(biāo),直到當(dāng)前指標(biāo)可以被歸因?yàn)橹埂?br /> 三個(gè)原則:
1、要解釋50%以上的波動(dòng)原因(最好80%以上),否則,本次分析未結(jié)束
2、所有的維度拆分,都要落地到對應(yīng)的業(yè)務(wù)上,倒過來說,所有業(yè)務(wù)拆分都可以對應(yīng)到具體業(yè)務(wù)行為上
3、絕對指標(biāo)拆分層和業(yè)務(wù),算占比;相對指標(biāo),算絕對指標(biāo)的變化
業(yè)務(wù)確認(rèn)及歸納原因
**第一步:剔除偽波動(dòng)。**對于有規(guī)律性波動(dòng)的指標(biāo),是否符合規(guī)律,才是判斷波動(dòng)的標(biāo)準(zhǔn),不是看具體數(shù)值的大小。總結(jié)規(guī)律很重要。發(fā)現(xiàn)規(guī)律以后,只要符合規(guī)律的波動(dòng),一律是偽波動(dòng)!偽波動(dòng)即使波動(dòng)數(shù)值再大也不用慌,都是常事。但是逆規(guī)律而動(dòng)的,則是:**事出反常必有妖!**無論波動(dòng)大小,都是重大變化,都得小心觀察。
**第二步:量化主動(dòng)行為。**有很多波動(dòng)是業(yè)務(wù)主動(dòng)引發(fā)的。比如做促銷,拉一波銷量比如搞培訓(xùn),加強(qiáng)工作能力比如做清倉,把庫存盡快甩出去這些指標(biāo)的變化,本身是由業(yè)務(wù)引起的。對于業(yè)務(wù)主動(dòng)引發(fā)的指標(biāo)波動(dòng),是否達(dá)成了期望目標(biāo)才是最關(guān)鍵的判斷標(biāo)準(zhǔn),而不是絕對值大小。
?面對這種情況:
- 首先要收集清楚:到底業(yè)務(wù)在干啥。
- 其次,要收集清楚,每一個(gè)業(yè)務(wù)動(dòng)作的目標(biāo)和結(jié)果,這樣能方便評(píng)估**“指標(biāo)波動(dòng)是否達(dá)成業(yè)務(wù)預(yù)期”**。這是個(gè)重要的評(píng)價(jià)標(biāo)準(zhǔn),一定要標(biāo)紅加粗記下來。主動(dòng)行為且指標(biāo)波動(dòng)達(dá)成預(yù)期的情況下,業(yè)務(wù)是不會(huì)糾結(jié)的。達(dá)不成預(yù)期的時(shí)候,他們就會(huì)很想知道:“到底差在哪里?”這時(shí)候拿著業(yè)務(wù)期望值找差距,就很重要
對于達(dá)成業(yè)務(wù)期望的,無論波動(dòng)范圍多大,都屬于可接受。既然是主動(dòng)引起的增長/下跌,肯定是指標(biāo)變化越大越好。對于未達(dá)成期望的,要看期望值差距,差距部分才是要分析的波動(dòng)值。
**第三步:量化外部影響。**有很多波動(dòng)是可收集的外部行為導(dǎo)致的。比如政策限制、天氣、對手等等。注意:外部因素有很多不能收集到數(shù)據(jù),落實(shí)影響。也有很多,即使知道了影響,也沒法干啥事——總說下雨影響業(yè)績,那也不能燒香求龍王吧。因此,對外部影響,評(píng)估其波動(dòng)大小,不要看一天的絕對數(shù),而是要測算該影響預(yù)計(jì)持續(xù)時(shí)間,推算在這個(gè)時(shí)間內(nèi),總共產(chǎn)生的影響值,這個(gè)數(shù)值才是衡量波動(dòng)的標(biāo)準(zhǔn)。
第四步:其他意外波動(dòng)。 是否有既不符合規(guī)律,又沒有業(yè)務(wù)主動(dòng)動(dòng)作,又沒有外部因素,數(shù)據(jù)本身也沒有問題,但是就是發(fā)生波動(dòng)的情況??
有!這個(gè)時(shí)候應(yīng)首先定位波動(dòng)發(fā)生點(diǎn):
- 全局性波動(dòng),還是局部波動(dòng)
- 持續(xù)性的,還是突發(fā)性的
- 波動(dòng)數(shù)值,大還是小
判斷問題大小的標(biāo)準(zhǔn):
- 全局性>局部問題
- 持續(xù)性>短期問題
- 數(shù)字越大,問題越大
鎖定問題點(diǎn)后,可以結(jié)合指標(biāo)的屬性,思考對策
解決“問題”
就核心指標(biāo)下降的情況而言,在完全歸因之后我們會(huì)去解決問題。但是解決了問題之后并不是一勞永逸了,還需要持續(xù)觀察是不是歸因正確。假如我們正確地歸因并爭取地解決了問題,指標(biāo)異動(dòng)通常會(huì)恢復(fù),這樣也驗(yàn)證了歸因的 正確性。反之,我們的歸因錯(cuò)誤,指標(biāo)異動(dòng)就會(huì)持續(xù),這時(shí)候就需要重新歸因。
●? 針對硬指標(biāo)波動(dòng):只要硬指標(biāo)未達(dá)標(biāo),就是重大問題。考慮采取措施,保住指標(biāo)
●??針對軟指標(biāo)波動(dòng):只要關(guān)聯(lián)的硬指標(biāo)沒崩,就不是重大問題。不糾結(jié)一朝一夕的波動(dòng),集中精力發(fā)現(xiàn)深層原因。
●??針對邊緣指標(biāo)波動(dòng):不用害怕!想扭過來分分鐘的事。
應(yīng)對波動(dòng)總結(jié)
▌ 業(yè)務(wù)部門知道自己要做什么:
1、清楚哪些是硬指標(biāo)、軟指標(biāo),哪些是邊緣指標(biāo)
2、清楚自己的行為能對指標(biāo)影響到什么程度
3、清楚短期、中期、長期自己能干啥
4、清楚自己的短期做的事是否達(dá)成了效果
▌ 數(shù)據(jù)部門,要知道到底發(fā)生了什么:
1、哪些是業(yè)務(wù)主動(dòng)行為,他們想做到多少
2、哪些是規(guī)律性的變化,范圍在什么水平
3、哪些可量化外部因素,到底能帶來多大變化
4、哪些是異常變化,存在于什么位置
總結(jié)
以上是生活随笔為你收集整理的指标波动多大才算是异常?的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: sonarqube使用mysql_Son
- 下一篇: 天不知道地知道你不知道我知道谜底_温州这