Logback 配置文件这么写,TPS 提高 10 倍!
作者:何甜甜在嗎
鏈接:juejin.im/post/5d4d61326fb9a06aff5e5ff5
通過閱讀本篇文章將了解到:
1.日志輸出到文件并根據LEVEL級別將日志分類保存到不同文件
2.通過異步輸出日志減少磁盤IO提高性能
3.異步輸出日志的原理
1、配置文件logback-spring.xml
Spring Boot工程自帶logback和slf4j的依賴,所以重點放在編寫配置文件上,需要引入什么依賴,日志依賴沖突統統都不需要我們管了。
logback框架會默認加載classpath下命名為logback-spring或logback的配置文件。
將所有日志都存儲在一個文件中文件大小也隨著應用的運行越來越大并且不好排查問題,正確的做法應該是將error日志和其他日志分開,并且不同級別的日志根據時間段進行記錄存儲。
<?xml version="1.0" encoding="utf-8"?> <configuration><property resource="logback.properties"/><appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender"><layout class="ch.qos.logback.classic.PatternLayout"><pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern></layout></appender><!--獲取比info級別高(包括info級別)但除error級別的日志--><appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender"><filter class="ch.qos.logback.classic.filter.LevelFilter"><level>ERROR</level><onMatch>DENY</onMatch><onMismatch>ACCEPT</onMismatch></filter><encoder><pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern></encoder><!--滾動策略--><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><!--路徑--><fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern><maxHistory>30</maxHistory></rollingPolicy></appender><appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender"><filter class="ch.qos.logback.classic.filter.ThresholdFilter"><level>ERROR</level></filter><encoder><pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern></encoder><!--滾動策略--><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><!--路徑--><fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern><maxHistory>30</maxHistory></rollingPolicy></appender><root level="info"><appender-ref ref="CONSOLE-LOG" /><appender-ref ref="INFO-LOG" /><appender-ref ref="ERROR-LOG" /></root> </configuration>部分標簽說明
-
<root>標簽,必填標簽,用來指定最基礎的日志輸出級別
-
<appender-ref>標簽,添加append
-
<append>標簽,通過使用該標簽指定日志的收集策略
-
name屬性指定appender命名
-
class屬性指定輸出策略,通常有兩種,控制臺輸出和文件輸出,文件輸出就是將日志進行一個持久化。ConsoleAppender將日志輸出到控制臺
-
<filter>標簽,通過使用該標簽指定過濾策略
-
<level>標簽指定過濾的類型
-
<encoder>標簽,使用該標簽下的<pattern>標簽指定日志輸出格式
-
<rollingPolicy>標簽指定收集策略,比如基于時間進行收集
-
<fileNamePattern>標簽指定生成日志保存地址 通過這樣配置已經實現了分類分天手機日志的目標了
2、logback 高級特性異步輸出日志
之前的日志配置方式是基于同步的,每次日志輸出到文件都會進行一次磁盤IO。采用異步寫日志的方式而不讓此次寫日志發生磁盤IO,阻塞線程從而造成不必要的性能損耗。關注微信公眾號Java技術棧在后臺回復Java可以獲取我整理的 N 篇 Java 多線程教程。
異步輸出日志的方式很簡單,添加一個基于異步寫日志的appender,并指向原先配置的appender即可。
<!-- 異步輸出 --> <appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender"><!-- 不丟失日志.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日志 --><discardingThreshold>0</discardingThreshold><!-- 更改默認的隊列的深度,該值會影響性能.默認值為256 --><queueSize>256</queueSize><!-- 添加附加的appender,最多只能添加一個 --><appender-ref ref="INFO-LOG"/> </appender><appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender"><!-- 不丟失日志.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日志 --><discardingThreshold>0</discardingThreshold><!-- 更改默認的隊列的深度,該值會影響性能.默認值為256 --><queueSize>256</queueSize><!-- 添加附加的appender,最多只能添加一個 --><appender-ref ref="ERROR-LOG"/> </appender>3、異步輸出日志性能測試
既然能提高性能的話,必須進行一次測試比對,同步和異步輸出日志性能到底能提升多少倍?
服務器硬件
-
CPU?六核
-
內存 8G
測試工具
Apache Jmeter
同步輸出日志
-
線程數:100
-
Ramp-Up Loop(可以理解為啟動線程所用時間) :0 可以理解為100個線程同時啟用
-
測試結果
重點關注指標Throughput【TPS】吞吐量:系統在單位時間內處理請求的數量,在同步輸出日志中TPS為44.2/sec。坑爹的日志無法按天切割問題,這個大家也得注意下。
異步輸出日志
-
線程數 100
-
Ramp-Up Loop:0
-
測試結果
TPS為497.5/sec,性能提升了10多倍!!!
4、異步日志輸出原理
從logback框架下的Logger.info方法開始追蹤。一路的方法調用路徑如下圖所示:
異步輸出日志中最關鍵的就是配置文件中ch.qos.logback.classic包下AsyncAppenderBase類中的append方法,查看該方法的源碼:
protected void append(E eventObject) {if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {this.preprocess(eventObject);this.put(eventObject);} }通過隊列情況判斷是否需要丟棄日志,不丟棄的話將它放到阻塞隊列中,通過查看代碼,這個阻塞隊列為ArrayBlockingQueueu,默認大小為256,可以通過配置文件進行修改。
Logger.info(...)到append(...)就結束了,只做了將日志塞入到阻塞隊列的事,然后繼續執行Logger.info(...)下面的語句了。在AsyncAppenderBase類中定義了一個Worker線程,run方法中的關鍵部分代碼如下:
E e = parent.blockingQueue.take();aai.appendLoopOnAppenders(e);從阻塞隊列中取出一個日志,并調用AppenderAttachableImpl類中的appendLoopOnAppenders方法維護一個Append列表。Worker線程中調用方法過程主要如下圖:
最主要的兩個方法就是encode和write方法,前一個法方會根據配置文件中encode指定的方式轉化為字節碼,后一個方法將轉化成的字節碼寫入到文件中去。
所以寫文件是通過新起一個線程去完成的,主線程將日志扔到阻塞隊列中,然后又去做其他事情了。
總結
以上是生活随笔為你收集整理的Logback 配置文件这么写,TPS 提高 10 倍!的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 救命,Linux正在吃掉我的内存!
- 下一篇: 程序员如何精确评估开发时间?