by:linshao

前述：

????????mysql由于鎖機(jī)制等等對(duì)于大量數(shù)據(jù)里查找某幾條的操作是非常耗時(shí)的，索引雖然能大大加快查詢(xún)的速度，但是需要新增一些內(nèi)存用于存放索引，

????????ELK是一款主流的日志平臺(tái)架構(gòu)，分布式，毫秒級(jí)響應(yīng)的特性適用于大量數(shù)據(jù)的篩查,支持api接口訪(fǎng)問(wèn),但是其缺點(diǎn)在于會(huì)使用源文件約2.5倍的空間（以空間換時(shí)間了）

目錄：

????????1.什么是ELK

????????2.簡(jiǎn)單的ELK架構(gòu)

????????3.部署安裝

1.什么是ELK：

ELK 不是一款軟件，而是 Elasticsearch、Logstash 和 Kibana 三種軟件產(chǎn)品的首字母縮寫(xiě)。這三者都是開(kāi)源軟件，通常配合使用，而且又先后歸于 Elastic.co 公司名下，所以被簡(jiǎn)稱(chēng)為 ELK Stack。根據(jù) Google Trend 的信息顯示，ELK Stack 已經(jīng)成為目前最流行的集中式日志解決方案。

• Elasticsearch：分布式搜索和分析引擎，具有高可伸縮、高可靠和易管理等特點(diǎn)。基于 Apache Lucene 構(gòu)建，能對(duì)大容量的數(shù)據(jù)進(jìn)行接近實(shí)時(shí)的存儲(chǔ)、搜索和分析操作。通常被用作某些應(yīng)用的基礎(chǔ)搜索引擎，使其具有復(fù)雜的搜索功能；

• Logstash：數(shù)據(jù)收集引擎。它支持動(dòng)態(tài)的從各種數(shù)據(jù)源搜集數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行過(guò)濾、分析、豐富、統(tǒng)一格式等操作，然后存儲(chǔ)到用戶(hù)指定的位置；

• Kibana：數(shù)據(jù)分析和可視化平臺(tái)。通常與 Elasticsearch 配合使用，對(duì)其中數(shù)據(jù)進(jìn)行搜索、分析和以統(tǒng)計(jì)圖表的方式展示；

2.簡(jiǎn)單的ELK架構(gòu)

ELK最簡(jiǎn)單的架構(gòu)只需要一臺(tái)機(jī)器即可架設(shè)

多臺(tái)服務(wù)器分布式的日志搜集： 多臺(tái)設(shè)備通過(guò)logstash搜集日志信息，發(fā)送到ElasticSearch服務(wù)器進(jìn)行存儲(chǔ)，再使用Kibana平臺(tái)進(jìn)行可視化分析

3.安裝部署

1).環(huán)境準(zhǔn)備：

????????java7環(huán)境以上

????????elasticsearch-6.5.4

???????下載地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.zip

????????kibana-6.5.4

????下載地址：https://artifacts.elastic.co/downloads/kibana/kibana-6.5.4-windows-x86_64.zip

????????logstash-8.0.1

???下載地址：https://artifacts.elastic.co/downloads/logstash/logstash-8.0.1-windows-x86_64.zip

2).開(kāi)始安裝

解壓三個(gè)壓縮包

進(jìn)入/elasticsearch-6.5.4/bin/ ，運(yùn)行elasticsearch.bat,瀏覽器訪(fǎng)問(wèn)127.0.0.1:9200如下即成功:

接下來(lái)進(jìn)入kibana-6.5.4-windows-x86_64\bin\ ，運(yùn)行kibana.bat

瀏覽器訪(fǎng)問(wèn)http://127.0.0.1:5601端口看到以下界面說(shuō)明kibana運(yùn)行成功：

使用py生成一批測(cè)試賬號(hào)密碼

進(jìn)入\logstash-8.0.1\bin目錄，新建編寫(xiě)配置文件test.conf

input { #輸入file{path=>"E:/TEST/test/cs2.txt" #輸入源文件,注意此處不能使用反斜杠start_position=>beginning #定義開(kāi)頭} } ? filter { #過(guò)濾csv{ columns=>["qq","password"] #存儲(chǔ)的字段名字separator=>"---" #分割符}mutate{ #移除默認(rèn)的一些輸出信息remove_field=>["message","path","host","@timestamp","@version","original","event","log"]} } ? output { #輸出elasticsearch{ #對(duì)elasticsearch進(jìn)行配置hosts=>["127.0.0.1:9200"] #host地址index=>"wb" #庫(kù)名document_type=>"qq" #類(lèi)型名}stdout{codec=>rubydebug} }

進(jìn)入\logstash-8.0.1\bin，執(zhí)行命令：logstash.bat -f test.conf如圖下即開(kāi)始寫(xiě)入數(shù)據(jù)

瀏覽器打開(kāi)http://127.0.0.1:9200/_cat/indices?v可以看到任務(wù)存在了

打開(kāi)http://127.0.0.1:5601/在managerment->qq->可以看到導(dǎo)入了82萬(wàn)條數(shù)據(jù)

打開(kāi)http://127.0.0.1:5601/創(chuàng)建一個(gè)模式（Managerment->index pattern->create也可以創(chuàng)建），一路下一步確定

再次點(diǎn)擊discover查找輸入如qq:12345*(星號(hào)為通配符)，響應(yīng)速度非常快，秒出結(jié)果，幾億條大概響應(yīng)時(shí)間為5-10s

結(jié)語(yǔ)：

心之所向，必是遠(yuǎn)方

linshaoSec (linshao) · GitHub

總結(jié)

以上是生活随笔為你收集整理的ELK搭建毫秒级响应社工裤的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。