一、使用背景

? ? 當生產環(huán)境有很多服務器、很多業(yè)務模塊的日志需要每時每刻查看時

二、環(huán)境

系統(tǒng)：centos 6.5

JDK：1.8

Elasticsearch-5.0.0

Logstash-5.0.0

kibana-5.0.0

三、安裝

1、安裝JDK

下載JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

本環(huán)境下載的是64位tar.gz包，將安裝包拷貝至安裝服務器/usr/local目錄

[root@localhost?~]# cd /usr/local/?
[root@localhost?local]# tar -xzvf jdk-8u111-linux-x64.tar.gz

配置環(huán)境變量

[root@localhost?local]# vim /etc/profile

將下面的內容添加至文件末尾（假如服務器需要多個JDK版本，為了ELK不影響其它系統(tǒng)，也可以將環(huán)境變量的內容稍后添加到ELK的啟動腳本中）

JAVA_HOME=/usr/local/jdk1.8.0_111
JRE_HOME=/usr/local/jdk1.8.0_111/jre
CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
export ?JAVA_HOME
export ?JRE_HOME

ulimit -u 4096

[root@localhost?local]# source /etc/profile

配置limit相關參數(shù)

[root@localhost?local]# vim /etc/security/limits.conf
添加以下內容

* soft nproc 65536
* hard nproc 65536
* soft nofile 65536
* hard nofile 65536

創(chuàng)建運行ELK的用戶

[root@localhost local]# groupadd elk

[root@localhost local]# useradd -g elk elk

創(chuàng)建ELK運行目錄

[root@localhost local]# mkdir /elk
[root@localhost local]# chown -R elk:elk /elk

關閉防火墻：

[root@localhost ~]# iptables -F

以上全部是root用戶完成

2、安裝ELK

以下由elk用戶操作

以elk用戶登錄服務器

下載ELK安裝包：https://www.elastic.co/downloads，并上傳到服務器且解壓，解壓命令：tar -xzvf 包名

配置Elasticsearch

修改如下內容：

保存退出

啟動Elasticsearch

查看是否啟動成功

用瀏覽器訪問：http://192.168.10.169:9200

Elasticsearch安裝完畢

安裝logstash

logstash是ELK中負責收集和過濾日志的

編寫配置文件如下：

解釋：

logstash的配置文件須包含三個內容：

input{}：此模塊是負責收集日志，可以從文件讀取、從redis讀取或者開啟端口讓產生日志的業(yè)務系統(tǒng)直接寫入到logstash

filter{}：此模塊是負責過濾收集到的日志，并根據(jù)過濾后對日志定義顯示字段

output{}：此模塊是負責將過濾后的日志輸出到elasticsearch或者文件、redis等

本環(huán)境采用從文件讀取日志，業(yè)務系統(tǒng)產生日志的格式如下：

[2016-11-05 00:00:03,731 ?INFO] [http-nio-8094-exec-10] [filter.LogRequestFilter] - /merchant/get-supply-detail.shtml, IP: 121.35.185.117, [device-dpi = 414*736, version = 3.6, device-os = iOS8.4.1, timestamp = 1478275204, bundle = APYQ9WATKK98V2EC, device-network = WiFi, token = 393E38694471483CB3686EC77BABB496, device-model = iPhone, device-cpu = , sequence = 1478275204980, device-uuid = C52FF568-A447-4AFE-8AE8-4C9A54CED10C, sign = 0966a15c090fa6725d8e3a14e9ef98dc, request = {
? "supply-id" : 192
}]
[2016-11-05 00:00:03,731 DEBUG] [http-nio-8094-exec-10] [filter.ValidateRequestFilter] - Unsigned: bundle=APYQ9WATKK98V2EC&device-cpu=&device-dpi=414*736&device-model=iPhone&device-network=WiFi&device-os=iOS8.4.1&device-uuid=C52FF568-A447-4AFE-8AE8-4C9A54CED10C&request={
? "supply-id" : 192

output直接輸出到Elasticsearch

本環(huán)境需處理兩套業(yè)務系統(tǒng)的日志

type：代表類型，其實就是將這個類型推送到Elasticsearch，方便后面的kibana進行分類搜索，一般直接命名業(yè)務系統(tǒng)的項目名

path：讀取文件的路徑

這個是代表日志報錯時，將報錯的換行歸屬于上一條message內容

start_position => "beginning"是代表從文件頭部開始讀取

filter{}中的grok是采用正則表達式來過濾日志，其中%{TIMESTAMP_ISO8601}代表一個內置獲取2016-11-05 00:00:03,731時間的正則表達式的函數(shù)，%{TIMESTAMP_ISO8601:date1}代表將獲取的值賦給date1，在kibana中可以體現(xiàn)出來

本環(huán)境有兩條grok是代表，第一條不符合將執(zhí)行第二條

其中index是定義將過濾后的日志推送到Elasticsearch后存儲的名字

%{type}是調用input中的type變量(函數(shù))

啟動logstash

代表啟動成功

安裝kibana

保存退出

啟動kibana

其中api-app-*和api-cxb-*從來的，*代表所有

代表實時收集的日志條數(shù)

紅色框內的就是在剛才filter過濾規(guī)則中定義的

每天進步一點點

來源:https://www.cnblogs.com/onetwo/p/6059231.html

總結

以上是生活随笔為你收集整理的ELK日志分析平台搭建全过程(自己做了测试，测试不完整因为原文章都是图片)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。