文章目錄

• • • • • • 1. 傳統(tǒng)日志采集存在哪些優(yōu)缺點(diǎn)
          • 2. Elk采集日志的原理
          • 3. 為什么需要將日志存儲(chǔ)在ElasticSeach 而不是mysql中呢
          • 4. 為什么需要使用elk+kafka
          • 5. elk+kafka原理
          • 6. elk+kafka 環(huán)境的構(gòu)建
          • 7. SpingBoot 整合 kafka Elk

1.傳統(tǒng)日志采集存在哪些問題
2.分布式日志采集有哪些方案
3.ElasticSeach+Logstash+Kibana作用
4.ELK為何需要結(jié)合kafka
5.基于docker構(gòu)建ELK
6.springboot項(xiàng)目整合elk實(shí)現(xiàn)異步日志采集

1. 傳統(tǒng)日志采集存在哪些優(yōu)缺點(diǎn)

在傳統(tǒng)項(xiàng)目中，如果在生產(chǎn)環(huán)境中，有多臺(tái)不同的服務(wù)器集群，如果生產(chǎn)環(huán)境需要通過日志定位項(xiàng)目的Bug的話，需要在每臺(tái)節(jié)點(diǎn)上使用傳統(tǒng)的命令方式查詢，這樣效率非常低下。因此我們需要集中化的管理日志，ELK則應(yīng)運(yùn)而生。

2. Elk采集日志的原理

Elk
E=ElasticSeach（存儲(chǔ)日志信息）
l Logstash(搬運(yùn)工)
K Kibana連接到我們ElasticSeach圖形化界面查詢?nèi)罩?/p> Elk采集日志的原理： 1. 需要在每個(gè)服務(wù)器上安裝Logstash（搬運(yùn)工） 2. Logstash需要配置固定讀取某個(gè)日志文件 3. Logstash將我們的日志文件格式化為json的格式輸出到es中 4. 開發(fā)者使用Kibana連接到ElasticSeach 查詢存儲(chǔ)日志內(nèi)容。

ELK日志收集原理
ELK=ElasticSeach+Logstash+Kibana，日志收集原理如下所示。
1、每臺(tái)服務(wù)器集群節(jié)點(diǎn)安裝Logstash日志收集系統(tǒng)插件
2、每臺(tái)服務(wù)器節(jié)點(diǎn)將日志輸入到Logstash中
3、Logstash將該日志格式化為json格式，根據(jù)每天創(chuàng)建不同的索引，輸出到ElasticSearch中
4、瀏覽器使用安裝Kibana查詢?nèi)罩拘畔?br />

該方案的缺點(diǎn)：就是在每個(gè)服務(wù)器節(jié)點(diǎn)上都會(huì)安裝Logstash做讀寫日志IO操作，可能性能不是很好，而且比較冗余。

3. 為什么需要將日志存儲(chǔ)在ElasticSeach 而不是mysql中呢

ElasticSeach 底層使用到倒排索引 搜索日志效率高

4. 為什么需要使用elk+kafka

1.如果單純的使用elk的話，服務(wù)器節(jié)點(diǎn)擴(kuò)容 需要每個(gè)服務(wù)器上安裝我們Logstash
步驟比較冗余。
2. Logstash讀取本地日志文件，可能會(huì)對(duì)本地的磁盤io性能會(huì)有一定影響。

5. elk+kafka原理

springboot項(xiàng)目會(huì)基于aop的方式攔截系統(tǒng)中日志
日志（錯(cuò)誤日志）
錯(cuò)誤日志：異常通知
請(qǐng)求與響應(yīng)日志信息—前置或者環(huán)繞通知。

將該日志投遞到我們kafka中 注意該過程一定要是異步的形式。

Logstash 數(shù)據(jù)源—kafka 訂閱kafka的主題 獲取日志消息內(nèi)容

在將日志消息內(nèi)容輸出到es中存放
開發(fā)者使用Kibana連接到ElasticSeach 查詢存儲(chǔ)日志內(nèi)容。

6. elk+kafka 環(huán)境的構(gòu)建

https://gblfy.blog.csdn.net/article/details/123433995

7. SpingBoot 整合 kafka Elk

https://gblfy.blog.csdn.net/article/details/123434785

總結(jié)

以上是生活随笔為你收集整理的分布式ELK日志采集系统的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。