文章目錄

• • • • • • 1. 傳統日志采集存在哪些優缺點
          • 2. Elk采集日志的原理
          • 3. 為什么需要將日志存儲在ElasticSeach 而不是mysql中呢
          • 4. 為什么需要使用elk+kafka
          • 5. elk+kafka原理
          • 6. elk+kafka 環境的構建
          • 7. SpingBoot 整合 kafka Elk

1.傳統日志采集存在哪些問題
2.分布式日志采集有哪些方案
3.ElasticSeach+Logstash+Kibana作用
4.ELK為何需要結合kafka
5.基于docker構建ELK
6.springboot項目整合elk實現異步日志采集

1. 傳統日志采集存在哪些優缺點

在傳統項目中，如果在生產環境中，有多臺不同的服務器集群，如果生產環境需要通過日志定位項目的Bug的話，需要在每臺節點上使用傳統的命令方式查詢，這樣效率非常低下。因此我們需要集中化的管理日志，ELK則應運而生。

2. Elk采集日志的原理

Elk
E=ElasticSeach（存儲日志信息）
l Logstash(搬運工)
K Kibana連接到我們ElasticSeach圖形化界面查詢日志

Elk采集日志的原理： 1. 需要在每個服務器上安裝Logstash（搬運工） 2. Logstash需要配置固定讀取某個日志文件 3. Logstash將我們的日志文件格式化為json的格式輸出到es中 4. 開發者使用Kibana連接到ElasticSeach 查詢存儲日志內容。

ELK日志收集原理
ELK=ElasticSeach+Logstash+Kibana，日志收集原理如下所示。
1、每臺服務器集群節點安裝Logstash日志收集系統插件
2、每臺服務器節點將日志輸入到Logstash中
3、Logstash將該日志格式化為json格式，根據每天創建不同的索引，輸出到ElasticSearch中
4、瀏覽器使用安裝Kibana查詢日志信息

該方案的缺點：就是在每個服務器節點上都會安裝Logstash做讀寫日志IO操作，可能性能不是很好，而且比較冗余。

3. 為什么需要將日志存儲在ElasticSeach 而不是mysql中呢

ElasticSeach 底層使用到倒排索引 搜索日志效率高

4. 為什么需要使用elk+kafka

1.如果單純的使用elk的話，服務器節點擴容 需要每個服務器上安裝我們Logstash
步驟比較冗余。
2. Logstash讀取本地日志文件，可能會對本地的磁盤io性能會有一定影響。

5. elk+kafka原理

springboot項目會基于aop的方式攔截系統中日志
日志（錯誤日志）
錯誤日志：異常通知
請求與響應日志信息—前置或者環繞通知。

將該日志投遞到我們kafka中 注意該過程一定要是異步的形式。

Logstash 數據源—kafka 訂閱kafka的主題 獲取日志消息內容

在將日志消息內容輸出到es中存放
開發者使用Kibana連接到ElasticSeach 查詢存儲日志內容。

6. elk+kafka 環境的構建

https://gblfy.blog.csdn.net/article/details/123433995

7. SpingBoot 整合 kafka Elk

https://gblfy.blog.csdn.net/article/details/123434785

總結

以上是生活随笔為你收集整理的分布式ELK日志采集系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。