elk-logstash时区问题
http://www.cnblogs.com/wangpei886/p/8043021.html
使用版本:elk6.0
配置文件:logstash.confg
output {elasticsearch {id => "logstash-%{+YYYY.MM.dd}"} }?
問(wèn)題:如圖14號(hào)的數(shù)據(jù),結(jié)果采集到了15號(hào),慢了8小時(shí),希望得到的結(jié)果,是凌晨0點(diǎn)索引自動(dòng)切換
?
原因: 原來(lái)Logstash用的UTC時(shí)間,?logstash在按每天輸出到elasticsearch時(shí),因?yàn)闀r(shí)區(qū)使用utc,造成每天8:00才創(chuàng)建當(dāng)天索引,而8:00以前數(shù)據(jù)則輸出到昨天的索引
? ? ? ? ?查看一些論壇,不建議更改源碼,因?yàn)閘ogstash和elasticsearch是按照UTC時(shí)間的,kibana卻是按照正常你所在的時(shí)區(qū)顯示的
解決:修改logstash配置
? ? ? ? ??
logstash在按每天輸出到elasticsearch時(shí),因?yàn)闀r(shí)區(qū)使用utc,造成每天8:00才創(chuàng)建當(dāng)天索引,而8:00以前數(shù)據(jù)則輸出到昨天的索引
在logstash filter 解決
1. 增加一個(gè)字段,計(jì)算timestamap+8小時(shí)
?
2. 用mutate插件先轉(zhuǎn)換為string類(lèi)型,gsub只處理string類(lèi)型的數(shù)據(jù),在用正則匹配,最終得到想要的日期
# 定義索引名時(shí)間
? ? ? 3.output配置
??
elasticsearch {hosts => ["localhost:9200"]index => "log1-%{index_date}"}?
?
* 這里是取系統(tǒng)時(shí)間,你可以取你日志里面的時(shí)間戳來(lái)做索引名
或許有其他更好的方案!請(qǐng)留言告知
轉(zhuǎn)載于:https://www.cnblogs.com/wangpei886/p/8043021.html
總結(jié)
以上是生活随笔為你收集整理的elk-logstash时区问题的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: Node,Document,HTMLDo
- 下一篇: wifi的基础知识及原理1