背景

日志系統(tǒng)接入的日志種類多、格式復(fù)雜多樣，主流的有以下幾種日志：

• filebeat采集到的文本日志，格式多樣

• winbeat采集到的操作系統(tǒng)日志

• 設(shè)備上報到logstash的syslog日志

• 接入到kafka的業(yè)務(wù)日志

以上通過各種渠道接入的日志，存在2個主要的問題：

• 格式不統(tǒng)一、不規(guī)范、標(biāo)準化不夠

• 如何從各類日志中提取出用戶關(guān)心的指標(biāo)，挖掘更多的業(yè)務(wù)價值

為了解決上面2個問題，我們基于flink和drools規(guī)則引擎做了實時的日志處理服務(wù)。

系統(tǒng)架構(gòu)

架構(gòu)比較簡單，架構(gòu)圖如下：

各類日志都是通過kafka匯總，做日志中轉(zhuǎn)。

flink消費kafka的數(shù)據(jù)，同時通過API調(diào)用拉取drools規(guī)則引擎&#

總結(jié)

以上是生活随笔為你收集整理的Flink从入门到精通100篇（四）-基于 Flink 和 Drools 的实时日志处理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。