2019獨角獸企業重金招聘Python工程師標準>>>

logstash log出現

01:44:50.412 [[main]>worker14] INFO logstash.outputs.elasticsearch - retrying failed action with response code: 429 ({"type"=>"es_rejected_execution_exception", "reason"=>"rejected execution of org.elasticsearch.transport.TransportService$7@45d0f0be on EsThreadPoolExecutor[bulk, queue capacity = 100, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@6bf39a64[Running, pool size = 32, active threads = 32, queued tasks = 60, completed tasks = 7071143]]"})

說明

es 線程隊列已滿,不能再處理新請求了.

處理

我先修改了es的jvm參數 -Xss1m -> Xss10m

elasticsearch.yml修改bulk.queue大小 thread_pool.bulk.queue_size: 100 .從默認60修改為100.

未能解決.logstash繼續出log,這次的 queued tasks = 100.

再查詢資料.可能是logstash發送速度過快導致.

修改logstash.yml配置

默認

# pipeline: # batch: # size: 125 # delay: 5 #

改為

pipeline.batch.size: 1500 pipeline.batch.delay: 200

重啟logstash,沒有這樣日志出現了

參考資料: https://blog.csdn.net/u013613428/article/details/77963604

轉載于:https://my.oschina.net/superwen/blog/1808683

總結

以上是生活随笔為你收集整理的elk,logstash -elastcisearch 429的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。