十分鐘搭建和使用ELK日志分析系統(tǒng)

? ? 為滿(mǎn)足研發(fā)可視化查看測(cè)試環(huán)境日志的目的，準(zhǔn)備采用EK+filebeat實(shí)現(xiàn)日志可視化（ElasticSearch+Kibana+Filebeat）。題目為“十分鐘搭建和使用ELK日志分析系統(tǒng)”聽(tīng)起來(lái)有點(diǎn)唬人，其實(shí)如果單純滿(mǎn)足可視化要求，并且各軟件都已經(jīng)下載到本地，十分鐘是可以搭建一個(gè)ELK系統(tǒng)的。本文介紹如何快速安裝、配置、使用EK+FILEBEAT去實(shí)現(xiàn)日志搜集。本文中沒(méi)有使用LOGSTASH做日志搜集過(guò)濾,但為了后期需要先進(jìn)行了安裝。

工作原理

ElasticSearch：是一個(gè)開(kāi)源的分布式搜索引擎，其特點(diǎn)有：分布式，零配置，自動(dòng)發(fā)現(xiàn)，索引自動(dòng)分片，索引副本機(jī)制，Rest風(fēng)格接口，多數(shù)據(jù)源，自動(dòng)搜索負(fù)載等。
Logstash：是一個(gè)開(kāi)源的日志收集和分析工具，能夠?qū)⑷罩具M(jìn)行分析后，提供給ElasticSearch進(jìn)行使用。
Kibana：可以為ElasticSearch和Logstash提供一個(gè)進(jìn)行日志分析的友好Web界面，幫助匯總、分析、搜索重要日志。
Filebeat：是一個(gè)開(kāi)源的文件收集器，最初是基于Logstash-forward源碼的日志數(shù)據(jù)shipper，適合用于日志文件的收集。把Filebeat安裝在服務(wù)器上，作為代理來(lái)監(jiān)視日志目錄或特定的日志文件，然后把日志數(shù)據(jù)轉(zhuǎn)發(fā)到Logstash中進(jìn)行分析，或者是直接轉(zhuǎn)發(fā)到ElasticSearch中進(jìn)行搜索。

?

?

環(huán)境信息

IP	功能	軟件	安裝路徑	操作系統(tǒng)
192.168.9.11	ELK	openjdk1.8.0_171,elk6.3.2	rpm安裝缺省路徑	centos7.5
192.168.9.12	Filebeat	sonarqube-scanner3.2.0	rpm安裝缺省路徑	centos6.8

?

ELK下載地址：https://www.elastic.co/downloads/

搭建步驟

?1.系統(tǒng)基礎(chǔ)環(huán)境的準(zhǔn)備

?

#修改vm限制 vi?/etc/sysctl.conf? vm.max_map_count=655360!wq???保存退出 sysctl?-p#修改文件和線程限制 vi?/etc/security/limits.conf*?hard?nofile?65536*?soft?nofile?65536*?soft?nproc?2048*?hard?nproc?4096#修改非root用戶(hù)線程限制 vi?/etc/security/limits.d/20-nproc.conf???#(修改soft行，新增hard行）*?soft?nproc?65535

?

2.JDK及ELK的安裝

?

#安裝jdk yum?install?java-1.8.0-openjdk?-y?? #進(jìn)入rpm包所在路徑，進(jìn)行安裝 cd?/usr/local/src rpm?-ivh?elasticsearch-6.3.2.rpm rpm?-ivh?logstash-6.3.2.rpm rpm?-ivh?kibana-6.3.2-x86_64.rpm

?

3.配置文件配置（注意以上ELK安裝完后現(xiàn)不要重啟，先進(jìn)行基本配置）

?

#elasticsearch配置 vim?/etc/elasticsearch/elasticsearch.yml network.host:?0.0.0.0?#修改為0.0.0.0?允許外部所有主機(jī)訪問(wèn)#kib vim?/etc/kibana/kibana.yml? server.host:?"192.168.9.11"?#修改為本機(jī)IP，否則外部用戶(hù)將無(wú)法訪問(wèn)

?

4.服務(wù)啟動(dòng)及驗(yàn)證

#啟動(dòng)?elasticsearch service?elasticsearch?start#啟動(dòng)kibana service?kibana?start

在瀏覽器中打開(kāi)http://192.168.9.11:9200 驗(yàn)證elasticsearch是否啟動(dòng)，當(dāng)看到如下信息，說(shuō)明已正常啟動(dòng)。

打開(kāi)http://192.168.9.26:5601驗(yàn)證已kibana啟動(dòng)情況，當(dāng)看到如下界面說(shuō)明已啟動(dòng)（啟動(dòng)后要等待10秒左右至完全啟動(dòng)完成）

?

5.filebeat的安裝及配置及啟動(dòng)（在日志被搜集服務(wù)器上進(jìn)行）

?

/usr/local/-ivh?filebeat-.---?/usr/local/tomcat/logs/catalina.--?/usr/local/nodejs/workspace/saas_web/logs/saas-web*]#filebeat啟動(dòng) service?filebeat?start

?

?

以上ELK+Filebeat安裝完成后，就可以在Kinaba上進(jìn)行配置使用了，首次使用先在“discover”處進(jìn)行采集器添加，添加關(guān)鍵字為filebeat-*,(若是logstash則默認(rèn)為logstash*)，添加完成后就可以看到搜集到的日志。如下圖：

?

如上日志已經(jīng)被搜集到elasticsearch中，并通過(guò)kibana呈現(xiàn)，另外還可以通過(guò)點(diǎn)擊tags,分類(lèi)查看Tomcat或node的日志，如上filebeat中已經(jīng)通過(guò)tags進(jìn)行了分類(lèi)，至此在十分鐘內(nèi)日志系統(tǒng)已經(jīng)搭建完畢。這僅僅是一個(gè)滿(mǎn)足可視化的簡(jiǎn)單應(yīng)用，若日志量大、需要權(quán)限認(rèn)證、需要過(guò)濾等插件的復(fù)雜功能，就需要建立集群、增加緩沖、采用X-PACK,安裝對(duì)應(yīng)插件等。

可參考博客：https://www.cnblogs.com/frankdeng/p/9139035.html#4028638 和官方文檔。

總結(jié)

以上是生活随笔為你收集整理的十分钟搭建和使用ELK日志分析系统的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。