實驗背景：
Kafka->Logstash->Elasticsearch實驗環境安裝完成；
Logstash的啟動文件設置有過濾機制；
Logstash啟動文件：
[html]?view plaincopy
input?{?? kafka?{?? ??zk_connect?=>?"10.10.16.252:2181,10.10.16.253:2181,10.10.16.249:2181"?? ??group_id?=>?"test-consumer-group"?? ??topic_id?=>?"MyPattern"?? ??reset_beginning?=>?false?#?boolean?(optional)，?default:?false?? ??consumer_threads?=>?5??#?number?(optional)，?default:?1?? ??decorate_events?=>?true?#?boolean?(optional)，?default:?false?? ??}?? }?? filter{?? ???? ??grok{?? ???? ?????patterns_dir?=>?"./patterns"?? ?????match?=>?{?"message"?=>?["#字段內容#"]}?? ??}?? ?? }?? ?? ?? output?{?? ????? ???if?"jsonparsefailure"?not?in?[tags]{?? ?????? ??????elasticsearch{?? ??? ?????????host?=>?"localhost"?? ?????}?? ???}?? }??
發送數據的代碼如下所示：
[java]?view plaincopy
package?com.test.kafka;?? ?? import?java.util.Properties;?? import?kafka.javaapi.producer.Producer;?? import?kafka.producer.KeyedMessage;?? import?kafka.producer.ProducerConfig;?? ?? public?class?KafkaProduce?{?? ?? ????public?static?void?main(String[]?args)?{?? ?? ?????????Properties?props?=?new?Properties();?? ?????????props.setProperty("metadata.broker.list","10.10.16.253:9092,10.10.16.252:9092,10.10.16.249:9092");????? ?????????props.setProperty("serializer.class","kafka.serializer.StringEncoder");?? ?????????props.put("request.required.acks","-1");??????????? ?????????ProducerConfig?config?=?new?ProducerConfig(props);??? ??????????? ?????????Producer<String,String>?producer?=?new?Producer<String,?String>(config);?? ?????????KeyedMessage<String,?String>?data?=?new?KeyedMessage<String,String>("MyPattern","數據內容");?? ??????????????????????????? ?????????producer.send(data);?? ??????????? ?????????producer.close();?? ????}?? }??
發送給Logstash后，使用ES搜索，開始時，報一下錯誤：
發送第一個紅框內的數據，結果報第二個紅框內的錯誤。
尋找錯誤，經過對比，發現，代碼中“數據內容”的字段比配置文件中“數據內容”中的字段少一個，所以報錯。
改正，重新進行實驗，結果正確。
進行驗證：
字段對應，則正確；代碼中少一個字段，則報上面的錯。
來源:http://blog.csdn.net/wang_zhenwei/article/details/49755599
總結
以上是生活随笔為你收集整理的ELK错误1_Kafka-Logstash-Elasticsearch过程，Elasticsearch报grokparsefailure错误的全部內容，希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。
