系統(tǒng)環(huán)境
為了安裝時不出錯，建議選擇這兩者選擇一樣的版本，本文全部選擇5.3版本。

System: Centos release 7.2
Java: openjdk version "1.8.0_144"
ElasticSearch: 5.5.1
Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發(fā)現(xiàn)，索引自動分片，索引副本機(jī)制，restful風(fēng)格接口，多數(shù)據(jù)源，自動搜索負(fù)載等。

Logstash: 5.5.1
Logstash是一個完全開源的工具，他可以對你的日志進(jìn)行收集、過濾，并將其存儲供以后使用（如，搜索）。

Kibana: 5.5.1
Kibana 也是一個開源和免費的工具，它Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。

ELK 關(guān)系:

LEK：logstatsh 收集日志，存到elasticserach （存儲，產(chǎn)生索引，搜索） 到kibana展現(xiàn)（view）

在官網(wǎng)首頁下載tar源碼包
將以上的源碼包上傳至centos服務(wù)器上/usr/local/src目錄下
tips： Logstash 的運行依賴于 Java 運行環(huán)境，在 Oracle 官方下載新版 jdk。

一、準(zhǔn)備

下載jdk-8u144-linux-x64.tar，上傳至CentOS上。

解壓源碼包
通過終端新建java文件夾，并解壓至/usr/local/java文件夾下
# mkdir -pv /usr/local/java
# tar -zxvf /usr/local/src/jdk-8u144-linux-x64.tar.gz -C /usr/local/java

設(shè)置jdk環(huán)境變量
這里采用全局設(shè)置方法，就是修改etc/profile，它是是所有用戶的共用的環(huán)境變量
# vi /etc/profile
在末尾添加如下：
export JAVA_HOME=/usr/local/java/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/dt.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

然后保存使profile生效
source /etc/profile

檢驗是否安裝成功
java -version

二、Elasticsearch安裝配置

解壓elasticsearch-5.5.1.tar源碼包

下載鏈接：https://artifacts.elastic.co/...
解壓至/usr/local/目錄下

tar -zxvf /usr/local/src/elasticsearch-5.5.1.tar.gz -C /usr/local/

修改配置文件
以下供參考配置，實際以需求為準(zhǔn)：
vi /usr/local/elasticsearch-5.5.1/config/elasticsearch.yml

# 這里指定的是集群名稱，需要修改為對應(yīng)的，開啟了自發(fā)現(xiàn)功能后，ES會按照此集群名稱進(jìn)行集群發(fā)現(xiàn)

cluster.name: skynet_es_cluster node.name: skynet_es_cluster_dev1 # 數(shù)據(jù)目錄 path.data: /data/elk/data# log 目錄 path.logs: /data/elk/logs# 修改一下ES的監(jiān)聽地址，這樣別的機(jī)器也可以訪問 network.host: 0.0.0.0# 默認(rèn)的端口號 http.port: 9200

修改系統(tǒng)參數(shù)
確保系統(tǒng)有足夠資源啟動ES
設(shè)置內(nèi)核參數(shù)
vi /etc/sysctl.conf

# 增加以下參數(shù)
vm.max_map_count=655360
執(zhí)行以下命令，確保生效配置生效：
sysctl -p
設(shè)置資源參數(shù)
vi /etc/security/limits.conf

# 修改

• soft nofile 65536

• hard nofile 131072

• soft nproc 65536

• hard nproc 131072
  設(shè)置用戶資源參數(shù)

vi /etc/security/limits.d/20-nproc.conf
# 設(shè)置elk用戶參數(shù)
elk soft nproc 65536

4.添加啟動用戶，設(shè)置權(quán)限
啟動ElasticSearch5版本要非root用戶，需要新建一個用戶來啟動ElasticSearch
useradd elk #創(chuàng)建用戶elk
groupadd elk #創(chuàng)建組elk
useradd elk -g elk #將用戶添加到組
mkdir -pv /data/elk/{data,logs} # 創(chuàng)建數(shù)據(jù)和日志目錄

修改文件所有者

chown -R elk:elk /data/elk/
chown -R elk:elk /usr/local/elasticsearch-5.5.1/

啟動ES

查看內(nèi)存剩余

free -g
使用elk用戶啟動elasticsearch服務(wù)
切換至elk用戶

su elk
/usr/local/elasticsearch-5.5.1/bin/elasticsearch
檢查elasticsearch服務(wù)，如下圖所示，即成功開啟服務(wù)了，這就意味著你現(xiàn)在已經(jīng)啟動并運行一個Elasticsearch節(jié)點了。

tips：

單個節(jié)點可以作為一個運行中的Elasticsearch的實例。而一個集群是一組擁有相同cluster.name的節(jié)點，（單獨的節(jié)點也可以組成一個集群）可以在elasticsearch.yml配置文件中修改cluster.name,該節(jié)點啟動時加載（需要重啟服務(wù)后才會生效）。

客戶端網(wǎng)頁訪問：
服務(wù)器要關(guān)閉防火墻

systemctl stop firewalld.service

三、安裝 Logstash
下載并安裝 Logstash ，安裝 logstash 只需將它解壓的對應(yīng)目錄即可，例如： /usr/local 下：
官網(wǎng)下載地址：https://artifacts.elastic.co/...

1.解壓源碼包

tar /usr/local/src/logstash-5.5.1.tar.gz -C /usr/local/
首先，我們通過運行最基本的Logstash管道來測試您的Logstash安裝。
Logstash管道有兩個必需的元素，input并且output，以及一個可選的元素，filter。輸入插件消耗來自源的數(shù)據(jù)，過濾器插件會按照您指定的方式修改數(shù)據(jù)，并且輸出插件將數(shù)據(jù)寫入到目的地。

2.安裝完成后運行如下命令：
/usr/local/logstash-5.5.1/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Sending Logstash's logs to /usr/local/logstash-5.5.1/logs which is now configured via log4j2.properties
2017-04-25T06:07:10,900[logstash.pipeline ] Starting pipeline {"id"=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>125}
The stdin plugin is now waiting for input:
2017-04-25T06:07:10,968[logstash.pipeline ] Pipeline main started
2017-04-25T06:07:11,064[logstash.agent ] Successfully started Logstash API endpoint {:port=>9600}
hello world
2017-04-25T10:07:41.447Z yyp hello world
我們可以看到，我們輸入什么內(nèi)容logstash按照某種格式輸出，其中-e參數(shù)參數(shù)允許Logstash直接通過命令行接受設(shè)置。這點尤其快速的幫助我們反復(fù)的測試配置是否正確而不用寫配置文件。使用ctrl-c命令可以退出之前運行的Logstash。

使用-e參數(shù)在命令行中指定配置是很常用的方式，不過如果需要配置更多設(shè)置則需要很長的內(nèi)容。這種情況，我們首先創(chuàng)建一個簡單的配置文件，并且指定logstash使用這個配置文件。 例如：在 logstash 安裝目錄下(/usr/local/logstash-5.5.1/config)創(chuàng)建一個“基本配置”測試文件 logstash-simple.conf。

3.創(chuàng)建配置文件
vi logstash-simple.conf

input { stdin { } } output {stdout { codec=> rubydebug } }

Logstash 使用 input 和 output 定義收集日志時的輸入和輸出的相關(guān)配置，本例中 input 定義了一個叫 "stdin" 的 input ， output 定義一個叫 "stdout" 的 output 。無論我們輸入什么字符， Logstash 都會按照某種格式來返回我們輸入的字符，其中 output 被定義為 "stdout" 并使用了 codec 參數(shù)來指定 logstash 輸出格式。

使用logstash的-f參數(shù)來讀取配置文件，執(zhí)行如下開始進(jìn)行測試：

4.啟動
/usr/local/logstash-5.5.1/bin/logstash -f /usr/local/logstash-5.5.1/config/logstash-simple.conf

Sending Logstash's logs to /usr/local/logstash-5.5.1/logs which is now configured via log4j2.properties
2017-04-25T06:18:43,294[logstash.pipeline ] Starting pipeline {"id"=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>125}
2017-04-25T06:18:43,939[logstash.pipeline ] Pipeline main started
The stdin plugin is now waiting for input:
2017-04-25T06:18:44,674[logstash.agent ] Successfully started Logstash API endpoint {:port=>9600}
hello world!
{
"@timestamp" => 2017-04-25T12:21:21.526Z,
"@version" => "1",
"host" => "yyp",
"message" => "hello world!"
}
如上顯示，說明成功了。

4.測試Elasticsearch 和 Logstash 來收集日志數(shù)據(jù)

接下來我們在 logstash 安裝目錄下創(chuàng)建一個用于測試 logstash 使用 elasticsearch 作為 logstash 的后端的測試文件 logstash-test.conf，該文件中定義了stdout和elasticsearch作為output，這樣的“多重輸出”即保證輸出結(jié)果顯示到屏幕上，同時也輸出到elastisearch中。
前提要保證elasticsearch和logstash都正常啟動（需要先啟動elasticsearch，再啟動logstash）

vi logstash-test.conf

input { stdin { } } output {elasticsearch {hosts => "192.168.30.132:9200" } #elasticsearch服務(wù)地址stdout { codec=> rubydebug } }

開啟服務(wù)，執(zhí)行如下命令：

/usr/local/logstash-5.5.1/bin/logstash -f /usr/local/logstash-5.5.1/config/logstash-test.conf
我們可以使用 curl 命令發(fā)送請求來查看 ES 是否接收到了數(shù)據(jù)：

curl 'http://192.168.30.132:9200/_s...'
返回結(jié)果：

{"took" : 13,"timed_out" : false,"_shards" : {"total" : 1,"successful" : 1,"failed" : 0},"hits" : {"total" : 1,"max_score" : 1.0,"hits" : [{"_index" : ".kibana","_type" : "config","_id" : "5.5.1","_score" : 1.0,"_source" : {"buildNum" : 14844}}]} }

至此，你已經(jīng)成功利用 Elasticsearch 和 Logstash 來收集日志數(shù)據(jù)了。

四、kibana的安裝

解壓kibana-5.5.1-linux-x86_64源碼包

下載地址：https://artifacts.elastic.co/...

解壓至/usr/local/下
tar -zxvf /usr/local/src/kibana-5.5.1-linux-x86_64.tar.gz -C /usr/local/
2.配置kibana

編輯kibana.yml配置文件
vi /usr/local/kibana-5.5.1-linux-x86_64/config/kibana.yml

修改以下參數(shù)：
server.port: 5601 #開啟默認(rèn)端口5601
server.host: “192.168.30.132” #站點地址
elasticsearch.url: http://192.168.30.132:9200 #指向elasticsearch服務(wù)的ip地址
kibana.index: “.kibana”
3.啟動

執(zhí)行以下命令啟動：
/usr/local/kibana-5.5.1-linux-x86_64/bin/kibana
4.測試瀏覽器訪問

訪問：http://192.168.30.132:5601
如下圖所示，說明成功訪問了

5.配置ES索引

kibana第一次使用時，會要求創(chuàng)建index，只要按照默認(rèn)值即可。

注意：
首次會提示沒有索引。。。。

首先需要加上我們剛剛建立的索引index => "logstash--%{+YYYY-MM}" 點擊setting->indices, 在這里我們可以Configure an index pattern, 也就是說可以配置 正則匹配的index,

vi logstash-simple.conf

input {stdin{} } output {elasticsearch {action => "index" # 在ES上操作indexhosts => "192.168.30.132:9200" # ES地址index => "logstash-%{+YYYY-MM}" #索引名} }

可以看到默認(rèn)的index是"logstash-*", 默認(rèn)是從logstash導(dǎo)出的數(shù)據(jù), 因為我們在logstash中配置的索引就是logstash開頭的，所以這里我們保持默認(rèn)不變.

下面還有一個Time-field name, 一般來說time都是一個必要的字段, 并且這個字段的類型是date類型! 不是string!!! 如果沒有時間字段, 那么將上面的" Index contains time-based events" 取消就OK.

問題
1、出現(xiàn)Configure an index pattern create是灰色的的問題

這個問題是配置文件的問題，修改logstash的配置文件，使其輸出到elasticsearch，其中的index選項配置為kibana上的index，比如我是index => "logstash-%{+YYYY-MM}" ，這個時候重啟logstash，kibana就保持默認(rèn)的logstash-*索引既可，應(yīng)該能夠看到Create按鈕了

總結(jié)

以上是生活随笔為你收集整理的CentOs 7.2下ELK日志分析系统搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。