數據流傳輸過程描述：

使用Java程序，讀取本地的.csv文件；

發送給集群中的Kafka；

Kafka將數據傳給Logstash，這個過程中，Logstash中設置有filter，對字符串進行匹配或過濾；

ES對數據進行檢索。

問題一：

Filter會對Logstash處理數據的速度產生影響。

如果對所有字段進行匹配，并將格式轉換為需要的，處理時間會很長，很可能每秒只能處理幾條。

問題二：

節點狀態有三種，green、yellow、red，單個節點下，不同的存儲內容也有這三種情況，如果某個文件變為red狀態，應該怎樣操作。

問題三：

Logstash啟動后，可能只有一臺機器在接收數據，其他兩臺只是在起備份的作用，尋找原因所在，現在猜測可能和Kafka有關，即Kafka集群中，也只有一臺機器在給Logstash發送數據。

問題四：

Logstash啟動問題

Logstash的filter中加上新設定的字段，方便ES進行檢索，新字段的定義在conf目錄下，故以后啟動時，也應該在conf目錄下啟動，否則會報錯：

pattern %{ MYPATTERN:新定義的字段名} not defined

（已經解決）

問題五：

Logstash停止問題

Logstash使用新的啟動文件進行啟動時，會先使用“Ctrl”+“C”鍵停止現在運行的Logstash，此時，會先顯示以下信息：

SIGINT received. ?Shutting down the pipeline. {:level=>:warn}

接下來是一堆紅色信息，信息的開始部分是已發送數據的一條。

再使用“Ctrl”+“C”鍵，會報以下信息：

SIGINT received. ?Terminating immediately.?{:level=>:fata}

原因暫時未知。

來源:http://blog.csdn.net/wang_zhenwei/article/details/49895341

總結

以上是生活随笔為你收集整理的ELK学习8_ELK数据流传输过程_问题总结1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。