logstash mysql日期_logstash-input-jdbc取mysql数据日期格式处理
2018-03-23T04:18:33.000Z,因為想使用這個字段作為@timestamp,所以使用logstash的date 去match 。
date {
match => ["start_time","ISO8601"]
}
但實際發(fā)現(xiàn)每個document都會附帶一個[_dataparserfail]的標簽,百思不得姐
google一番后終于明白了,鏈接:https://discuss.elastic.co/t/trouble-matching-timestamp/83768/4
因為從mysql取到數(shù)據(jù)的時候start_time 已經是一個時間的數(shù)據(jù)類型了, 這時候再用date去處理自然失敗,如果想使用這個字段作為@timestamp ,老外給的解決方法如下:
In your SQL query, typecast the timestamp as a string.
Use a mutate filter‘s convert option to typecast the field to a string prior to the date filter.
Use a mutate filter to copy the timestamp into @timestamp and overwrite the existing value (use the replace option).
我使用的方法:
mutate {
add_field => {"temp_ts" => "%{start_time}"}
}
date {
match => ["temp_ts","ISO8601"]
remove_field => ["temp_ts"]
}
《新程序員》:云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作,文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的logstash mysql日期_logstash-input-jdbc取mysql数据日期格式处理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: java 百分比相加_2019年Java
- 下一篇: mysql istransient_由于