數(shù)據(jù)流傳輸過程描述：

使用Java程序，讀取本地的.csv文件；

發(fā)送給集群中的Kafka；

Kafka將數(shù)據(jù)傳給Logstash，這個過程中，Logstash中設(shè)置有filter，對字符串進(jìn)行匹配或過濾；

ES對數(shù)據(jù)進(jìn)行檢索。

問題一：

Filter會對Logstash處理數(shù)據(jù)的速度產(chǎn)生影響。

如果對所有字段進(jìn)行匹配，并將格式轉(zhuǎn)換為需要的，處理時間會很長，很可能每秒只能處理幾條。

問題二：

節(jié)點(diǎn)狀態(tài)有三種，green、yellow、red，單個節(jié)點(diǎn)下，不同的存儲內(nèi)容也有這三種情況，如果某個文件變?yōu)閞ed狀態(tài)，應(yīng)該怎樣操作。

問題三：

Logstash啟動后，可能只有一臺機(jī)器在接收數(shù)據(jù)，其他兩臺只是在起備份的作用，尋找原因所在，現(xiàn)在猜測可能和Kafka有關(guān)，即Kafka集群中，也只有一臺機(jī)器在給Logstash發(fā)送數(shù)據(jù)。

問題四：

Logstash啟動問題

Logstash的filter中加上新設(shè)定的字段，方便ES進(jìn)行檢索，新字段的定義在conf目錄下，故以后啟動時，也應(yīng)該在conf目錄下啟動，否則會報錯：

pattern %{ MYPATTERN:新定義的字段名} not defined

（已經(jīng)解決）

問題五：

Logstash停止問題

Logstash使用新的啟動文件進(jìn)行啟動時，會先使用“Ctrl”+“C”鍵停止現(xiàn)在運(yùn)行的Logstash，此時，會先顯示以下信息：

SIGINT received. ?Shutting down the pipeline. {:level=>:warn}

接下來是一堆紅色信息，信息的開始部分是已發(fā)送數(shù)據(jù)的一條。

再使用“Ctrl”+“C”鍵，會報以下信息：

SIGINT received. ?Terminating immediately.?{:level=>:fata}

原因暫時未知。

來源:http://blog.csdn.net/wang_zhenwei/article/details/49895341

總結(jié)

以上是生活随笔為你收集整理的ELK学习8_ELK数据流传输过程_问题总结1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。