by:linshao

前述：

????????mysql由于鎖機制等等對于大量數據里查找某幾條的操作是非常耗時的，索引雖然能大大加快查詢的速度，但是需要新增一些內存用于存放索引，

????????ELK是一款主流的日志平臺架構，分布式，毫秒級響應的特性適用于大量數據的篩查,支持api接口訪問,但是其缺點在于會使用源文件約2.5倍的空間（以空間換時間了）

目錄：

????????1.什么是ELK

????????2.簡單的ELK架構

????????3.部署安裝

1.什么是ELK：

ELK 不是一款軟件，而是 Elasticsearch、Logstash 和 Kibana 三種軟件產品的首字母縮寫。這三者都是開源軟件，通常配合使用，而且又先后歸于 Elastic.co 公司名下，所以被簡稱為 ELK Stack。根據 Google Trend 的信息顯示，ELK Stack 已經成為目前最流行的集中式日志解決方案。

• Elasticsearch：分布式搜索和分析引擎，具有高可伸縮、高可靠和易管理等特點。基于 Apache Lucene 構建，能對大容量的數據進行接近實時的存儲、搜索和分析操作。通常被用作某些應用的基礎搜索引擎，使其具有復雜的搜索功能；

• Logstash：數據收集引擎。它支持動態的從各種數據源搜集數據，并對數據進行過濾、分析、豐富、統一格式等操作，然后存儲到用戶指定的位置；

• Kibana：數據分析和可視化平臺。通常與 Elasticsearch 配合使用，對其中數據進行搜索、分析和以統計圖表的方式展示；

2.簡單的ELK架構

ELK最簡單的架構只需要一臺機器即可架設

多臺服務器分布式的日志搜集： 多臺設備通過logstash搜集日志信息，發送到ElasticSearch服務器進行存儲，再使用Kibana平臺進行可視化分析

3.安裝部署

1).環境準備：

????????java7環境以上

????????elasticsearch-6.5.4

???????下載地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.zip

????????kibana-6.5.4

????下載地址：https://artifacts.elastic.co/downloads/kibana/kibana-6.5.4-windows-x86_64.zip

????????logstash-8.0.1

???下載地址：https://artifacts.elastic.co/downloads/logstash/logstash-8.0.1-windows-x86_64.zip

2).開始安裝

解壓三個壓縮包

進入/elasticsearch-6.5.4/bin/ ，運行elasticsearch.bat,瀏覽器訪問127.0.0.1:9200如下即成功:

接下來進入kibana-6.5.4-windows-x86_64\bin\ ，運行kibana.bat

瀏覽器訪問http://127.0.0.1:5601端口看到以下界面說明kibana運行成功：

使用py生成一批測試賬號密碼

進入\logstash-8.0.1\bin目錄，新建編寫配置文件test.conf

input { #輸入file{path=>"E:/TEST/test/cs2.txt" #輸入源文件,注意此處不能使用反斜杠start_position=>beginning #定義開頭} } ? filter { #過濾csv{ columns=>["qq","password"] #存儲的字段名字separator=>"---" #分割符}mutate{ #移除默認的一些輸出信息remove_field=>["message","path","host","@timestamp","@version","original","event","log"]} } ? output { #輸出elasticsearch{ #對elasticsearch進行配置hosts=>["127.0.0.1:9200"] #host地址index=>"wb" #庫名document_type=>"qq" #類型名}stdout{codec=>rubydebug} }

進入\logstash-8.0.1\bin，執行命令：logstash.bat -f test.conf如圖下即開始寫入數據

瀏覽器打開http://127.0.0.1:9200/_cat/indices?v可以看到任務存在了

打開http://127.0.0.1:5601/在managerment->qq->可以看到導入了82萬條數據

打開http://127.0.0.1:5601/創建一個模式（Managerment->index pattern->create也可以創建），一路下一步確定

再次點擊discover查找輸入如qq:12345*(星號為通配符)，響應速度非常快，秒出結果，幾億條大概響應時間為5-10s

結語：

心之所向，必是遠方

linshaoSec (linshao) · GitHub

總結

以上是生活随笔為你收集整理的ELK搭建毫秒级响应社工裤的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。