1. 概要

工作中，Elasticsearch有個(gè)索引是通過Logstash同步Oracle數(shù)據(jù)生成的。但是又需要根據(jù)一定的規(guī)則，過濾掉重復(fù)的數(shù)據(jù)，生成另一個(gè)索引。用一張圖來表示就是這樣：

• 數(shù)據(jù)源是Oracle數(shù)據(jù)庫
• Logstash Input插件使用Jdbc
• Logstash Filter插件使用FingerPrint（指紋過濾器）
• Logstash Output插件就是Elasticsearch，最終輸出就是ES

2. Logstash配置

話不多說，直接上配置Demo

input {stdin {}jdbc {type => "my_index"jdbc_driver

總結(jié)

以上是生活随笔為你收集整理的Logstash 使用fingerprint filter过滤重复数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。