日志系統的寫入優化

1. 日志集群優化的基本原則

對于日志收集系統來說，就是使用盡可能少的資源來存儲盡可能多的日志，所以需要結合日志集群的特點進行優化。這些優化一般可以分為兩個方面，一個方面是提升服務器配置，給更多的資源，比如加機器，上ssd等這種，這種優化會提升集群的寫入效率，但是不會有其他的損失，甚至其他方面也會有提升；還有一方面的優化則是帶有trade-off的，也就是犧牲一些其他方面的性能來提升寫入的效率（比如降低search的資源）。

2. 服務器配置優化

服務器的配置優化和搭建用于online搜索的集群類似

提升集群的節點數量

使用專用的master

給每個節點更多的內存和更多的cpu核數

節點要開啟memory-lock

jvm配置優化

使用ssd磁盤（這個實際上是可以對于高index專用的優化）

3.帶有trade-off的配置優化

1.索引的配置優化（要配置到index-teplate中，因為索引按天生成）

索引的shard數量合理設置，保證每個shard數據量大概為20-50g,可以減小對內存的使用,副本數最多設置為1即可

索引的refresh設置更大，來降低refresh的開銷，要配置到index-teplate中（因為索引按天生成）

"index.refresh_interval":"30s"

translog設置，減小translog對性能的消耗，這種在節點掛掉的時候有可能會發生丟數據的情況

"translog": {"flush_threshold_size": "1024mb","sync_interval": "600s","durability": "async"}

2.節點配置優化

對于日志集群，一般是寫多讀少，所以可以分配更多的內存來做index buffer

indices.memory.index_buffer_size: 30%

總結

以上是生活随笔為你收集整理的ELK日志系统的写入优化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。