0.文章系列鏈接

• SLS機(jī)器學(xué)習(xí)介紹（01）：時(shí)序統(tǒng)計(jì)建模
• SLS機(jī)器學(xué)習(xí)介紹（02）：時(shí)序聚類建模
• SLS機(jī)器學(xué)習(xí)介紹（03）：時(shí)序異常檢測(cè)建模
• SLS機(jī)器學(xué)習(xí)介紹（04）：規(guī)則模式挖掘
• SLS機(jī)器學(xué)習(xí)介紹（05）：時(shí)間序列預(yù)測(cè)

---

• 一眼看盡上億日志-SLS智能聚類(LogReduce)發(fā)布
• SLS機(jī)器學(xué)習(xí)最佳實(shí)戰(zhàn)：時(shí)序異常檢測(cè)和報(bào)警
• SLS機(jī)器學(xué)習(xí)最佳實(shí)戰(zhàn)：時(shí)序預(yù)測(cè)
• SLS機(jī)器學(xué)習(xí)最佳實(shí)戰(zhàn)：日志聚類+異常告警

---

1. 高頻檢測(cè)場(chǎng)景

1.1 場(chǎng)景一

集群中有N臺(tái)機(jī)器，每臺(tái)機(jī)器中有M個(gè)時(shí)序指標(biāo)（CPU、內(nèi)存、IO、流量等），若單獨(dú)的針對(duì)每條時(shí)序曲線做建模，要手寫(xiě)太多重復(fù)的SQL，且對(duì)平臺(tái)的計(jì)算消耗特別大。該如何更好的應(yīng)用SQL實(shí)現(xiàn)上述的場(chǎng)景需求？

1.2 場(chǎng)景二

針對(duì)系統(tǒng)中的N條時(shí)序曲線進(jìn)行異常檢測(cè)后，有要如何快速知道：這其中有哪些時(shí)序曲線是有異常的呢？

2. 平臺(tái)實(shí)驗(yàn)

2.1 解決一

針對(duì)場(chǎng)景一中描述的問(wèn)題，我們給出如下的數(shù)據(jù)約束。其中數(shù)據(jù)在日志服務(wù)的LogStore中按照如下結(jié)構(gòu)存儲(chǔ)：

timestamp : unix_time_stamp machine: name1 metricName: cpu0 metricValue: 50 --- timestamp : unix_time_stamp machine: name1 metricName: cpu1 metricValue: 50 --- timestamp : unix_time_stamp machine: name1 metricName: mem metricValue: 50 --- timestamp : unix_time_stamp machine: name2 metricName: mem metricValue: 60

在上述的LogStore中我們先獲取N個(gè)指標(biāo)的時(shí)序信息：

* | select timestamp - timestamp % 60 as time, machine, metricName, avg(metricValue) from log group by time, machine, metricName

現(xiàn)在我們針對(duì)上述結(jié)果做批量的時(shí)序異常檢測(cè)算法，并得到N個(gè)指標(biāo)的檢測(cè)結(jié)果：

* | select machine, metricName, ts_predicate_aram(time, value, 5, 1, 1) as res from ( selecttimestamp - timestamp % 60 as time, machine, metricName, avg(metricValue) as valuefrom log group by time, machine, metricName ) group by machine, metricName

通過(guò)上述SQL，我們得到的結(jié)果的結(jié)構(gòu)如下

| machine | metricName | [[time, src, pred, upper, lower, prob]] | | ------- | ---------- | --------------------------------------- |

針對(duì)上述結(jié)果，我們利用矩陣轉(zhuǎn)置操作，將結(jié)果轉(zhuǎn)換成如下格式，具體的SQL如下：

* | select machine, metricName, res[1] as ts, res[2] as ds, res[3] as preds, res[4] as uppers, res[5] as lowers, res[6] as probs from ( select machine, metricName, array_transpose(ts_predicate_aram(time, value, 5, 1, 1)) as res from ( selecttimestamp - timestamp % 60 as time, machine, metricName, avg(metricValue) as valuefrom log group by time, machine, metricName ) group by machine, metricName )

經(jīng)過(guò)對(duì)二維數(shù)組的轉(zhuǎn)換后，我們將每行的內(nèi)容拆分出來(lái)，得到符合預(yù)期的結(jié)果，具體格式如下：

| machine | metricName | ts | ds | preds | uppers | lowers | probs | | ------- | ---------- | -- | -- | ----- | ------ | ------ | ----- |

2.2 解決二

針對(duì)批量檢測(cè)的結(jié)果，我們?cè)撊绾慰焖俚膶⒋嬖谔囟ó惓５慕Y(jié)果過(guò)濾篩選出來(lái)呢？日志服務(wù)平臺(tái)提供了針對(duì)異常檢測(cè)結(jié)果的過(guò)濾操作。

select ts_anomaly_filter(lineName, ts, ds, preds, probs, nWatch, anomalyType)

其中，針對(duì)anomalyType有如下說(shuō)明：

• 0：表示關(guān)注全部異常
• 1：表示關(guān)注上升沿異常
• -1：表示下降沿異常

其中，針對(duì)nWatch有如下說(shuō)明：

• 表示從實(shí)際時(shí)序數(shù)據(jù)的最后一個(gè)有效的觀測(cè)點(diǎn)開(kāi)始到最近nWatch個(gè)觀測(cè)點(diǎn)的長(zhǎng)度。

具體使用如下所示：

* | select ts_anomaly_filter(lineName, ts, ds, preds, probs, cast(5 as bigint), cast(1 as bigint)) from ( select concat(machine, '-', metricName) as lineName, res[1] as ts, res[2] as ds, res[3] as preds, res[4] as uppers, res[5] as lowers, res[6] as probs from ( select machine, metricName, array_transpose(ts_predicate_aram(time, value, 5, 1, 1)) as res from ( selecttimestamp - timestamp % 60 as time, machine, metricName, avg(metricValue) as valuefrom log group by time, machine, metricName ) group by machine, metricName ) )

通過(guò)上述結(jié)果，我們拿到的是一個(gè)Row類型的數(shù)據(jù)，我們可以使用如下方式，將具體的結(jié)構(gòu)提煉出來(lái)：

* | select res.name, res.ts, res.ds, res.preds, res.probs from( select ts_anomaly_filter(lineName, ts, ds, preds, probs, cast(5 as bigint), cast(1 as bigint)) as resfrom( select concat(machine, '-', metricName) as lineName, res[1] as ts, res[2] as ds, res[3] as preds, res[4] as uppers, res[5] as lowers, res[6] as probsfrom ( select machine, metricName, array_transpose(ts_predicate_aram(time, value, 5, 1, 1)) as res from ( selecttimestamp - timestamp % 60 as time, machine, metricName, avg(metricValue) as valuefrom log group by time, machine, metricName )group by machine, metricName ) ) )

通過(guò)上述操作，就可以實(shí)現(xiàn)對(duì)批量異常檢測(cè)的結(jié)果進(jìn)行過(guò)濾處理操作，幫助用戶更好的批量設(shè)置告警。

---

3.硬廣時(shí)間

3.1 日志進(jìn)階

這里是日志服務(wù)的各種功能的演示?日志服務(wù)整體介紹，各種Demo

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的SLS机器学习最佳实战：批量时序异常检测的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。