最近參與了了一個日志和告警的數據挖掘項目，里面用到的一些思路在這里和大家做一個分享。

　　　　項目的需求是收集的客戶系統一個月300G左右的的日志和告警數據做一個整理，主要是歸類(Grouping)和關聯(Correlation)，從而得到告警和日志的一些統計關系，這些統計結果可以給一線支持人員參考。

　　　　得到的數據主要分為兩部分，一部分是告警的歷史數據，這部分數據很少，只有50M左右，剩下的全部都是日志數據。日志數據大概有50多種不同類型，對應系統中不同的模塊。每種類型的文件每天產生一個日志文件，所以總數大概是1500個左右的日志文件。文件大概都是這樣的：A_2016-04-15.log, B_2016-04-15.log, ..., A_2016-05-14.log, B_2016-05-14.log。每個文件在10M-1G之間不等。

1. 日志的模式挖掘

　　　　通過查看日志，發現所有的log每一行基本都是類似這樣的Pattern:

　　　　YYYY-MM-DD hh:mm:ss [模塊名] [具體日志]

　　　　每類日志的模塊名都是一樣的，基本可以忽略。有價值的就是時間戳和具體日志。

　　　　而且可以發現，很多日志只是極少部分動態內容不同，在代碼中屬于同一個位置的輸出，這些數據后面我們會分為一類數據。比如：

　　　　2016-04-26 00:30:38.795 55637   ResourceManager Free ram (MB): 244736

　　　　2016-04-26 00:34:38.795 55637   ResourceManager Free ram (MB): 244748

　　　　有某些類型日志每個時段都有出現，咨詢后得知基本沒有任何分析價值，這些日志后面我們會加入黑名單，不加分析。

總結

以上是生活随笔為你收集整理的日志和告警数据挖掘经验谈的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。