目錄

• 一、ELK概述
• • 1、ELK日志分析系統(tǒng)
  • 2、ELK中日志處理步驟
• 二、Elasticsearch介紹
• • 1、Elasticsearch的基礎(chǔ)核心概念
  • 2、分片和副本
• 三、LogStash概述
• • 1、LogStash的主要組件
  • 2、LogStash主機(jī)分類
• 四、Kibana概述
• 五、部署ELK日志分析系統(tǒng)
• • 1、配置elasticsearch環(huán)境
  • 2、部署elasticsearch軟件
  • 3、安裝elasticsearch-head插件
  • 4、安裝logstash
  • 5、安裝kibana
• 總結(jié)
• • elk 是什么 ？
  • 為什么要用elk？

一、ELK概述

1、ELK日志分析系統(tǒng)

ELK是由Elasticsearch、Logstash、Kiban三個(gè)開源軟件的組合。在實(shí)時(shí)數(shù)據(jù)檢索和分析場(chǎng)合，三者通常是配合共用，而且又都先后歸于 Elastic.co 公司名下，故有此簡稱。

2、ELK中日志處理步驟

• 1、將日志進(jìn)行集中化管理（beats）
• 2、將日志格式化（Logstash），然后將格式化后的數(shù)據(jù)輸出到Elasticsearch
• 3、對(duì)格式化后的數(shù)據(jù)進(jìn)行索引和存儲(chǔ)（Elasticsearch）
• 4、前端數(shù)據(jù)的展示（Kibana）

二、Elasticsearch介紹

• Elasticsearch是一個(gè)基于Lucene的搜索服務(wù)器。它提供了一個(gè)分布式多用戶能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發(fā)的，并作為Apache許可條款下的開放源碼發(fā)布，是第二流行的企業(yè)搜索引擎。設(shè)計(jì)用于云計(jì)算能夠達(dá)到實(shí)時(shí)搜索，穩(wěn)定、可靠，快速，安裝使用方便。

1、Elasticsearch的基礎(chǔ)核心概念

• 1、接近實(shí)時(shí)（NRT）
• 2、集群（cluster）
• 3、節(jié)點(diǎn)（node）
• 4、索引（index） 索引相對(duì)于關(guān)系型數(shù)據(jù)庫的庫
• 類型（type） 類型相當(dāng)于關(guān)系型數(shù)據(jù)庫的表
• 文檔（document） 文檔相當(dāng)于關(guān)系型數(shù)據(jù)庫的列

2、分片和副本

在上述特性中，最重要的就是分片和副本，也是讓es數(shù)據(jù)庫（Elasticsearch）成為百度這些主流搜索引擎的主要原因，理論上能提升4倍的性能。
結(jié)合實(shí)際情況分析：索引存儲(chǔ)的數(shù)據(jù)可能超過單個(gè)節(jié)點(diǎn)的硬件限制，如一個(gè)10億文檔需1TB空間可能不適合存儲(chǔ)在單個(gè)節(jié)點(diǎn)的磁盤上，或者從單個(gè)節(jié)點(diǎn)搜索請(qǐng)求太慢了，為了解決這個(gè)問題，elasticsearch提供將索引分成多個(gè)分片的功能，當(dāng)在創(chuàng)建索引時(shí)，可以定義想要分片的數(shù)量。每個(gè)分片就是一個(gè)全功能的獨(dú)立索引，可以位于集群中任何節(jié)點(diǎn)上。

• 分片的最主要的原因：
  • 水平分割擴(kuò)展，增大存儲(chǔ)量
  • 分布式并行跨分片操作，提供性能和吞吐量

分布式分片的機(jī)制和搜索請(qǐng)求的文檔如何匯總完全是有elasticsearch控制的，這些對(duì)用戶而言是透明的。

網(wǎng)絡(luò)問題等等其他問題可以在任何時(shí)候不期而至，為了健壯性，強(qiáng)烈建議要有個(gè)故障切換機(jī)制，無論何種故障以防止分片或者節(jié)點(diǎn)不可用，為此，elasticsearch讓我們將索引分片復(fù)制一份或多份，稱為分片副本或副本

• 副本也有兩個(gè)最主要的原因：
  • 高可用性，以應(yīng)對(duì)分片或者節(jié)點(diǎn)故障，出于這個(gè)原因，分片副本要在不同的節(jié)點(diǎn)上
  • 性能加強(qiáng)，增加吞吐量，搜索可以并行在所有副本上執(zhí)行

總之，每個(gè)索引可以被分成多個(gè)分片。一個(gè)索引也可以被復(fù)制0次(意思是沒有復(fù)制)或多次。一旦復(fù)制了，每個(gè)索引就有了主分片(作為復(fù)制源的原來的分片）和復(fù)制分片(主分片的拷貝)之別。分片和副本的數(shù)量可以在索引創(chuàng)建的時(shí)候指定。在索引創(chuàng)建后，你可以在任何時(shí)候動(dòng)態(tài)地改變副本的數(shù)量，但是你事后不能改變分片的數(shù)量。
默認(rèn)情況下，Elasticsearch中的每個(gè)索引被分片5個(gè)主分片和1個(gè)副本，這意味著，如果你的集群中至少有兩個(gè)節(jié)點(diǎn)，你的索引將會(huì)有5個(gè)主分片和另外5個(gè)副本分片(1個(gè)完全拷貝)，這樣的話每個(gè)索引總共就有10個(gè)分片。

三、LogStash概述

• 一款強(qiáng)大的數(shù)據(jù)處理工具
• 可實(shí)現(xiàn)數(shù)據(jù)傳輸、格式處理、格式化輸出
• 數(shù)據(jù)輸入、數(shù)據(jù)加工（如過濾，改寫等）以及數(shù)據(jù)輸出
• 常用插件：Input、Filter Plugin、Output
  • Input：收集源數(shù)據(jù)（訪問日志、錯(cuò)誤日志等）
  • Filter Plugin：用于過濾日志和格式處理
  • Output：輸出日志

1、LogStash的主要組件

• shipper:日志收集者：負(fù)責(zé)監(jiān)控本地日志文件的變化，及時(shí)把日志文件的最新內(nèi)容收集起來。通常，遠(yuǎn)程代理瑞(agent〉只需要運(yùn)行這個(gè)組件即可;
• Indexer:日志存儲(chǔ)者。負(fù)責(zé)接收日志并寫入到本地文件。
• Broker:日志Hub。負(fù)責(zé)連接多個(gè)shipper和多個(gè)Indexer
• search and storage:允許對(duì)事件進(jìn)行搜索和存儲(chǔ);
• web Interface:基于web的展示界面

正是由于以上組件在Logstash架構(gòu)中可獨(dú)立部署，才提供了更好的集群擴(kuò)展性

2、LogStash主機(jī)分類

• 代理主機(jī)（agent host):作為事件的傳遞者（shipper)，將各種日志數(shù)據(jù)發(fā)送至中心主機(jī);只需運(yùn)行Logstash代理(agent）程序
• 中心主機(jī)(central host):可運(yùn)行包括中間轉(zhuǎn)發(fā)器(Broker)、索引器(Indexer)、搜索和存儲(chǔ)器(Search andstorage ) 、web界面端（web Interface）在內(nèi)的各個(gè)組件，以實(shí)現(xiàn)對(duì)日志數(shù)據(jù)的接收、處理和存儲(chǔ)

四、Kibana概述

• 一個(gè)針對(duì)Elasticsearch的開源分析及可視化平臺(tái)
• 搜索、查看存儲(chǔ)在Elasticsearch索引中的數(shù)據(jù)
• 通過各種圖表進(jìn)行高級(jí)數(shù)據(jù)分析及展示
• Kibana主要功能
  • Elasticsearch無縫之集成
    • Kibana架構(gòu)為Elasticsearch定制，可以將任何結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)加入Elasticsearch索引。Kibana還充分利用了Elasticsearch強(qiáng)大的搜索和分析功能。
  • 整合數(shù)據(jù)
    • Kibana能夠更好地處理海量數(shù)據(jù)，并據(jù)此創(chuàng)建柱形圖、折線圖、散點(diǎn)圖、直方圖、餅圖和地圖。
  • 復(fù)雜數(shù)據(jù)分析
    • Kibana提升了Elasticsearch分析能力，能夠更加智能地分析數(shù)據(jù)，執(zhí)行數(shù)學(xué)轉(zhuǎn)換并且根據(jù)要求對(duì)數(shù)據(jù)切割分塊。
  • 讓更多團(tuán)隊(duì)成員收益
    • 強(qiáng)大的數(shù)據(jù)庫可視化接口讓各業(yè)務(wù)崗位都能夠從數(shù)據(jù)集合受益。
  • 接口靈活，分享更容易
    • 使用Kibana可以更加方便地創(chuàng)建、保存、分享數(shù)據(jù)，并將可視化數(shù)據(jù)快速交流。
  • 配置簡單
    • Kibana的配置和啟用非常簡單，用戶體驗(yàn)非常友好。Kibana自帶Web服務(wù)器，可以快速啟動(dòng)運(yùn)行。
  • 可視化多數(shù)據(jù)源
    • Kibana可以非常方便地把來自Logstash、ES-Hadoop、Beats或第三方技術(shù)的數(shù)據(jù)整合到Elasticsearch，支持的第三方技術(shù)包括Apache flume、 Fluentd 等。
  • 簡單數(shù)據(jù)導(dǎo)出
    • Kibana可以方便地導(dǎo)出感興趣的數(shù)據(jù)，與其它數(shù)據(jù)集合并融合后快速建模分析，發(fā)現(xiàn)新結(jié)果。

五、部署ELK日志分析系統(tǒng)

• 配置ELK日志分析集群
• 使用Logstash收集日志
• 使用Kibana查看分析日志

案例環(huán)境

主機(jī)操作系統(tǒng)IP地址軟件

node1	CentOS7	192.168.172.10	Elasticsearch/Kibana
node2	CentOS7	192.168.172.20	Elasticsearch
apache	CentOS7	192.168.172.30	httpd / Logstash
客戶機(jī)（宿主機(jī)）	Windows10	192.168.172.1

關(guān)防火墻和系統(tǒng)安全機(jī)制
更改主機(jī)名

systemctl stop firewalld.service systemctl disable firewalld.service setenforce 0hostnamectl set-hostname 主機(jī)名

1、配置elasticsearch環(huán)境

node1（192.168.172.10）
node2（192.168.172.20）

echo '192.168.172.10 node1' >> /etc/hosts echo '192.168.172.20 node2' >> /etc/hostsjava -version #如果沒有安裝，yum -y install java

2、部署elasticsearch軟件

node1（192.168.172.10）
node2（192.168.172.20）
（1）安裝elasticsearch—rpm包
上傳elasticsearch-5.5.0.rpm到/opt目錄下

cd /opt rpm -ivh elasticsearch-5.5.0.rpm

（2）加載系統(tǒng)服務(wù)

systemctl daemon-reload systemctl enable elasticsearch.service

（3）更改elasticsearch主配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bakvim /etc/elasticsearch/elasticsearch.yml #17行；取消注釋，修改；集群名字 cluster.name: my-elk-cluster #23行；取消注釋，修改；節(jié)點(diǎn)名字（node2修改成node2） node.name: node1 #33行；取消注釋，修改；數(shù)據(jù)存放路徑 path.data: /data/elk_data #37行；取消注釋，修改；日志存放路徑 path.logs: /var/log/elasticsearch #43行；取消注釋，修改；不在啟動(dòng)的時(shí)候鎖定內(nèi)存 bootstrap.memory_lock: false #55行；取消注釋，修改；提供服務(wù)綁定的IP地址，0.0.0.0代表所有地址 network.host: 0.0.0.0 #59行；取消注釋；偵聽端口為9200（默認(rèn)） http.port: 9200 #68行；取消注釋，修改；集群發(fā)現(xiàn)通過單播實(shí)現(xiàn)，指定要發(fā)現(xiàn)的節(jié)點(diǎn) node1、node2 discovery.zen.ping.unicast.hosts: ["node1", "node2"]

檢查配置 grep -v "^#" /etc/elasticsearch/elasticsearch.yml

（4）創(chuàng)建數(shù)據(jù)存放路徑并授權(quán)

mkdir -p /data/elk_data chown elasticsearch:elasticsearch /data/elk_data/

（5）啟動(dòng)elasticsearch是否成功開啟

systemctl start elasticsearch netstat -antp |grep 9200

（6）查看節(jié)點(diǎn)信息
在宿主機(jī)192.168.172.1訪問

http://192.168.172.10:9200 http://192.168.172.20:9200

（7）檢驗(yàn)集群健康狀態(tài)
在宿主機(jī)192.168.172.1訪問

http://192.168.172.10:9200/_cluster/health?pretty http://192.168.172.20:9200/_cluster/health?pretty

（8）查看集群狀態(tài)
在宿主機(jī)192.168.172.1訪問

http://192.168.172.10:9200/_cluster/state?pretty http://192.168.172.20:9200/_cluster/state?pretty

3、安裝elasticsearch-head插件

• 上述查看集群的方式，及其不方便，我們可以通過安裝elasticsearch-head插件后，來管理集群
  （1）編譯安裝node組件依賴包
  node1（192.168.172.10）
  node2（192.168.172.20）

yum -y install gcc gcc-c++ make上傳軟件包 node-v8.2.1.tar.gz 到/opt cd /opt tar xzvf node-v8.2.1.tar.gz cd node-v8.2.1/ ./configure && make && make install

（2）安裝phantomjs（前端框架）
node1（192.168.172.10）
node2（192.168.172.20）

上傳軟件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt目錄下 cd /opt tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/ cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin

（3）安裝elasticsearch-head（數(shù)據(jù)可視化工具）
node1（192.168.172.10）
node2（192.168.172.20）

上傳軟件包 elasticsearch-head.tar.gz 到/opt cd /opt tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/ cd /usr/local/src/elasticsearch-head/ npm install

（4）修改主配置文件
node1（192.168.172.10）
node2（192.168.172.20）

vim /etc/elasticsearch/elasticsearch.yml ...... #-------末尾;添加以下內(nèi)容-------- http.cors.enabled: true http.cors.allow-origin: "*"#-----------參數(shù)解釋----------------------------- http.cors.enabled: true #開啟跨域訪問支持，默認(rèn)為 false http.cors.allow-origin: "*" #指定跨域訪問允許的域名地址為所有systemctl restart elasticsearch.service

（5）啟動(dòng)elasticsearch-head
node1（192.168.172.10）
node2（192.168.172.20）

必須在解壓后的 elasticsearch-head 目錄下啟動(dòng)服務(wù)，進(jìn)程會(huì)讀取該目錄下的 gruntfile.js 文件，否則可能啟動(dòng)失敗。 cd /usr/local/src/elasticsearch-head/ npm run start &> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head > grunt serverRunning "connect:server" (connect) task Waiting forever... Started connect web server on http://localhost:9100elasticsearch-head 監(jiān)聽的端口是 9100 netstat -natp |grep 9100

（6）使用elasticsearch-head插件查看集群狀態(tài)

http://192.168.172.10:9100 在Elasticsearch 后面的欄目中輸入 http://192.168.172.10:9200http://192.168.172.20:9100 在Elasticsearch 后面的欄目中輸入 http://192.168.172.20:9200

（7）創(chuàng)建索引
node1（192.168.172.10）
創(chuàng)建索引為index-demo,類型為test

curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

回到宿主機(jī)192.168.172.1

打開瀏覽器輸入地址，查看索引信息http://192.168.172.10:9100

• 下圖可以看見索引默認(rèn)被分片5個(gè)，并且有一個(gè)副本
  
  

4、安裝logstash

• 收集日志輸出到elasticsearch中
  （1）安裝Apahce服務(wù)（httpd）
  apache（192.168.172.30）

yum -y install httpd systemctl start httpd

（2）安裝Java環(huán)境
apache（192.168.172.30）

java -version ###如果沒有裝 安裝yum -y install java

（3）安裝logstash
apache（192.168.172.30）

上傳logstash-5.5.1.rpm到/opt目錄下 cd /opt rpm -ivh logstash-5.5.1.rpmsystemctl start logstash.service systemctl enable logstash.service#建立logstash軟連接 ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

（4）測(cè)試logstash命令
apache（192.168.172.30）

字段描述解釋： -f 通過這個(gè)選項(xiàng)可以指定logstash的配置文件，根據(jù)配置文件配置logstash -e 后面跟著字符串 該字符串可以被當(dāng)做logstash的配置（如果是” ”,則默認(rèn)使用stdin做為輸入、stdout作為輸出） -t 測(cè)試配置文件是否正確，然后退出

定義輸入和輸出流：
輸入采用標(biāo)準(zhǔn)輸入，輸出采用標(biāo)準(zhǔn)輸出（類似管道）

logstash -e 'input { stdin{} } output { stdout{} }'

使用rubydebug顯示詳細(xì)輸出，codec為一種編解碼器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

使用 Logstash 將信息寫入 Elasticsearch 中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.172.10:9200"] } }'

在宿主機(jī)192.168.172.1上訪問
查看索引信息

多出 logstash-日期 http://192.168.172.10:9100

（5）在Apache主機(jī)上做對(duì)接配置
apache（192.168.172.30）
Logstash配置文件主要由三部分組成：input、output、filter（根據(jù)需要）

chmod o+r /var/log/messages ll /var/log/messagesvim /etc/logstash/conf.d/system.conf input {file{path => "/var/log/messages"type => "system"start_position => "beginning"}} output {elasticsearch {hosts => ["192.168.172.10:9200"]index => "system-%{+YYYY.MM.dd}"}}systemctl restart logstash.service

在宿主機(jī)192.168.172.1上訪問
查看索引信息

多出 system-日期 http://192.168.172.10:9100

5、安裝kibana

node1（192.168.172.10）

上傳kibana-5.5.1-x86_64.rpm 到/opt目錄 cd /opt rpm -ivh kibana-5.5.1-x86_64.rpmcd /etc/kibana/ cp kibana.yml kibana.yml.bakvim kibana.yml #2行；取消注釋；kibana打開的端口（默認(rèn)5601） server.port: 5601 #7行；取消注釋，修改；kibana偵聽的地址 server.host: "0.0.0.0" #21行；取消注釋，修改；和elasticsearch建立聯(lián)系 elasticsearch.url: "http://192.168.172.10:9200" #30行;取消注釋；在elasticsearch中添加.kibana索引 kibana.index: ".kibana" systemctl start kibana.service systemctl enable kibana.service

在宿主機(jī)192.168.172.1上訪問

192.168.172.10:5601

首次登錄創(chuàng)建一個(gè)索引 名字：system-* （這是對(duì)接系統(tǒng)日志文件）
然后點(diǎn)最下面的出面的create 按鈕創(chuàng)建

然后點(diǎn)最左上角的Discover按鈕 會(huì)發(fā)現(xiàn)system-*信息

然后點(diǎn)下面的host旁邊的add 會(huì)發(fā)現(xiàn)右面的圖只有 Time 和host 選項(xiàng)了 這個(gè)比較友好
（6）對(duì)接Apache主機(jī)的Apache 日志文件（訪問日志、錯(cuò)誤日志）
apache（192.168.172.30）

cd /etc/logstash/conf.d/vim apache_log.conf input {file{path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"} } output {if [type] == "access" {elasticsearch {hosts => ["192.168.163.11:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["192.168.172.10:9200"]index => "apache_error-%{+YYYY.MM.dd}"}} }/usr/share/logstash/bin/logstash -f apache_log.conf

在宿主機(jī)192.168.172.1上訪問
打開輸入http://192.168.172.30，制造點(diǎn)訪問記錄
打開瀏覽器 輸入http://192.168.172.10:9100/ 查看索引信息
能發(fā)現(xiàn)apache_error-2021.05.11和apache_access-2021.05.11

打開瀏覽器 輸入http://192.168.172.10:5601點(diǎn)擊左下角有個(gè)management選項(xiàng)—index patterns—create index pattern
分別創(chuàng)建apache_error-* 和 apache_access-* 的索引

總結(jié)

elk 是什么 ？

Elastic Stack（舊稱ELK Stack），是一種能夠從任意數(shù)據(jù)源抽取數(shù)據(jù)，并實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行搜索、分析和可視化展現(xiàn)的數(shù)據(jù)分析框架。（hadoop同一個(gè)開發(fā)人員）ELK 其實(shí)并不是一款軟件，而是一整套解決方案，是三個(gè)軟件產(chǎn)品的首字母縮寫 Elasticsearch：負(fù)責(zé)日志檢索和儲(chǔ)存 Logstash：負(fù)責(zé)日志的收集和分析、處理 Kibana：負(fù)責(zé)日志的可視化 這三款軟件都是開源軟件，通常是配合使用，而且又先后歸于 Elastic.co 公司名下，故被簡稱為 ELK

為什么要用elk？

服務(wù)器眾多，組件眾多，日志眾多發(fā)現(xiàn)問題困難，技能要求高ELK組件在海量日志系統(tǒng)的運(yùn)維中，可用于解決： 分布式日志數(shù)據(jù)集中式查詢和管理 系統(tǒng)監(jiān)控，包含系統(tǒng)硬件和應(yīng)用各個(gè)組件的監(jiān)控 故障排查 安全信息和事件管理 報(bào)表功能業(yè)務(wù)場(chǎng)景：《實(shí)時(shí)日志分析展現(xiàn)》日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運(yùn)維和開發(fā)人員可以通過日志了解服務(wù)器軟硬件信息、檢查配置過程中的錯(cuò)誤及錯(cuò)誤發(fā)生的原因。經(jīng)常分析日志可以了解服務(wù)器的負(fù)荷，性能安全性，從而及時(shí)采取措施糾正錯(cuò)誤。通常，日志被分散的儲(chǔ)存不同的設(shè)備上。如果你管理數(shù)十上百臺(tái)服務(wù)器，你還在使用依次登錄每臺(tái)機(jī)器的傳統(tǒng)方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當(dāng)務(wù)之急我們使用集中化的日志管理，例如：開源的 syslog ，將所有服務(wù)器上的日志收集匯總。集中化管理日志后，日志的統(tǒng)計(jì)和檢索又成為一件比較麻煩的事情，一般我們使用 grep 、 awk和 wc 等 Linux 命令能實(shí)現(xiàn)檢索和統(tǒng)計(jì)，但是對(duì)于要求更高的查詢、排序和統(tǒng)計(jì)等要求和龐大的機(jī)器數(shù)量依然使用這樣的方法難免有點(diǎn)力不從心。開源實(shí)時(shí)日志分析 ELK 平臺(tái)能夠完美的解決我們上述的問題， ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三個(gè)開源工具組成。

總結(jié)

以上是生活随笔為你收集整理的企业日志分析ELK(Logstash+Elasticsearch+Kibana)介绍及搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。