一，前言

人們常常說(shuō)數(shù)據(jù)如金，可是，能被利用起的數(shù)據(jù)，才是“金”。而互聯(lián)網(wǎng)的數(shù)據(jù)，常常以日志的媒介的形式存在，并需要從中提取其中的"數(shù)據(jù)"。

從這些數(shù)據(jù)中，我們可以做用戶(hù)畫(huà)像（每個(gè)用戶(hù)都點(diǎn)了什么廣告，對(duì)哪些開(kāi)源技術(shù)感興趣），安全審計(jì)，安全防護(hù)（如果1小時(shí)內(nèi)登錄請(qǐng)求數(shù)到達(dá)一定值就報(bào)警），業(yè)務(wù)數(shù)據(jù)統(tǒng)計(jì)（如開(kāi)源中國(guó)每天的博客數(shù)是多少，可視化編輯格式和markdown格式各占比例是多少）等等。

之所以能做這些，是因?yàn)橛脩?hù)的所有的行為，都將被記錄在nginx日志中或其它web服務(wù)器的日志中。日志分析要做的就是將這些日志進(jìn)行結(jié)構(gòu)化，方便我們的業(yè)務(wù)人員快速查詢(xún)。日志分析平臺(tái)要做的就是這些。

說(shuō)完這些，你是不是覺(jué)得日志分析平臺(tái)很難做，需要十人的團(tuán)隊(duì)加班幾個(gè)月才能完成？

自從有了Elasticsearch、Logstash、Kibana，俗稱(chēng)ELK，小公司也可以很輕松地做日志分析了。說(shuō)白了，1天幾G的日志，ELK完全可以吃得消。就像標(biāo)題說(shuō)的，只需要1個(gè)人半小時(shí)就可以搭建好了。

二，集中式日志分析平臺(tái)特點(diǎn)

• 收集－能夠采集多種來(lái)源的日志數(shù)據(jù)
• 傳輸－能夠穩(wěn)定的把日志數(shù)據(jù)傳輸?shù)街醒胂到y(tǒng)
• 存儲(chǔ)－如何存儲(chǔ)日志數(shù)據(jù)
• 分析－可以支持 UI 分析
• 警告－能夠提供錯(cuò)誤報(bào)告，監(jiān)控機(jī)制 ELK完美的解決上述場(chǎng)景。

三，ELK Stack 簡(jiǎn)介

ELK 不是一款軟件，而是 Elasticsearch、Logstash 和 Kibana 三種軟件產(chǎn)品的首字母縮寫(xiě)。這三者都是開(kāi)源軟件，通常配合使用，而且又先后歸于 Elastic.co 公司名下，所以被簡(jiǎn)稱(chēng)為 ELK Stack。根據(jù) Google Trend 的信息顯示，ELK Stack 已經(jīng)成為目前最流行的集中式日志解決方案。

?

• Elasticsearch：分布式搜索和分析引擎，具有高可伸縮、高可靠和易管理等特點(diǎn)。基于 Apache Lucene 構(gòu)建，能對(duì)大容量的數(shù)據(jù)進(jìn)行接近實(shí)時(shí)的存儲(chǔ)、搜索和分析操作。通常被用作某些應(yīng)用的基礎(chǔ)搜索引擎，使其具有復(fù)雜的搜索功能；
• Logstash：數(shù)據(jù)收集引擎。它支持動(dòng)態(tài)的從各種數(shù)據(jù)源搜集數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行過(guò)濾、分析、豐富、統(tǒng)一格式等操作，然后存儲(chǔ)到用戶(hù)指定的位置；
• Kibana：數(shù)據(jù)分析和可視化平臺(tái)。通常與 Elasticsearch 配合使用，對(duì)其中數(shù)據(jù)進(jìn)行搜索、分析和以統(tǒng)計(jì)圖表的方式展示；
• Filebeat：ELK 協(xié)議棧的新成員，一個(gè)輕量級(jí)開(kāi)源日志文件數(shù)據(jù)搜集器，基于 Logstash-Forwarder 源代碼開(kāi)發(fā)，是對(duì)它的替代。在需要采集日志數(shù)據(jù)的 server 上安裝 Filebeat，并指定日志目錄或日志文件后，Filebeat 就能讀取數(shù)據(jù)，迅速發(fā)送到 Logstash 進(jìn)行解析，亦或直接發(fā)送到 Elasticsearch 進(jìn)行集中式存儲(chǔ)和分析。

四，ELK 常用架構(gòu)及使用場(chǎng)景

最簡(jiǎn)單架構(gòu)

在這種架構(gòu)中，只有一個(gè) Logstash、Elasticsearch 和 Kibana 實(shí)例。Logstash 通過(guò)輸入插件從多種數(shù)據(jù)源（比如日志文件、標(biāo)準(zhǔn)輸入 Stdin 等）獲取數(shù)據(jù)，再經(jīng)過(guò)濾插件加工數(shù)據(jù)，然后經(jīng) Elasticsearch 輸出插件輸出到 Elasticsearch，通過(guò) Kibana 展示。詳見(jiàn)圖 1。 圖 1. 最簡(jiǎn)單架構(gòu)

這種架構(gòu)非常簡(jiǎn)單，使用場(chǎng)景也有限。初學(xué)者可以搭建這個(gè)架構(gòu)，了解 ELK 如何工作。

Logstash 作為日志搜集器

這種架構(gòu)是對(duì)上面架構(gòu)的擴(kuò)展，把一個(gè) Logstash 數(shù)據(jù)搜集節(jié)點(diǎn)擴(kuò)展到多個(gè)，分布于多臺(tái)機(jī)器，將解析好的數(shù)據(jù)發(fā)送到 Elasticsearch server 進(jìn)行存儲(chǔ)，最后在 Kibana 查詢(xún)、生成日志報(bào)表等。詳見(jiàn)圖 2。 圖 2. Logstash 作為日志搜索器

這種結(jié)構(gòu)因?yàn)樾枰诟鱾€(gè)服務(wù)器上部署 Logstash，而它比較消耗 CPU 和內(nèi)存資源，所以比較適合計(jì)算資源豐富的服務(wù)器，否則容易造成服務(wù)器性能下降，甚至可能導(dǎo)致無(wú)法正常工作。

Beats 作為日志搜集器

這種架構(gòu)引入 Beats 作為日志搜集器。目前 Beats 包括四種：

?

• Packetbeat（搜集網(wǎng)絡(luò)流量數(shù)據(jù)）；
• Topbeat（搜集系統(tǒng)、進(jìn)程和文件系統(tǒng)級(jí)別的 CPU 和內(nèi)存使用情況等數(shù)據(jù)）；
• Filebeat（搜集文件數(shù)據(jù)）；
• Winlogbeat（搜集 Windows 事件日志數(shù)據(jù)）。

Beats 將搜集到的數(shù)據(jù)發(fā)送到 Logstash，經(jīng) Logstash 解析、過(guò)濾后，將其發(fā)送到 Elasticsearch 存儲(chǔ)，并由 Kibana 呈現(xiàn)給用戶(hù)。詳見(jiàn)圖 3。

圖 3. Beats 作為日志搜集器

這種架構(gòu)解決了 Logstash 在各服務(wù)器節(jié)點(diǎn)上占用系統(tǒng)資源高的問(wèn)題。相比 Logstash，Beats 所占系統(tǒng)的 CPU 和內(nèi)存幾乎可以忽略不計(jì)。另外，Beats 和 Logstash 之間支持 SSL/TLS 加密傳輸，客戶(hù)端和服務(wù)器雙向認(rèn)證，保證了通信安全。 因此這種架構(gòu)適合對(duì)數(shù)據(jù)安全性要求較高，同時(shí)各服務(wù)器性能比較敏感的場(chǎng)景。

引入消息隊(duì)列機(jī)制的架構(gòu)

這種架構(gòu)使用 Logstash 從各個(gè)數(shù)據(jù)源搜集數(shù)據(jù)，然后經(jīng)消息隊(duì)列輸出插件輸出到消息隊(duì)列中。目前 Logstash 支持 Kafka、Redis、RabbitMQ 等常見(jiàn)消息隊(duì)列。然后 Logstash 通過(guò)消息隊(duì)列輸入插件從隊(duì)列中獲取數(shù)據(jù)，分析過(guò)濾后經(jīng)輸出插件發(fā)送到 Elasticsearch，最后通過(guò) Kibana 展示。詳見(jiàn)圖 4。

圖 4. 引入消息隊(duì)列機(jī)制的架構(gòu)

這種架構(gòu)適合于日志規(guī)模比較龐大的情況。但由于 Logstash 日志解析節(jié)點(diǎn)和 Elasticsearch 的負(fù)荷比較重，可將他們配置為集群模式，以分擔(dān)負(fù)荷。引入消息隊(duì)列，均衡了網(wǎng)絡(luò)傳輸，從而降低了網(wǎng)絡(luò)閉塞，尤其是丟失數(shù)據(jù)的可能性，但依然存在 Logstash 占用系統(tǒng)資源過(guò)多的問(wèn)題。

基于 Filebeat 架構(gòu)的配置部署詳解

前面提到 Filebeat 已經(jīng)完全替代了 Logstash-Forwarder 成為新一代的日志采集器，同時(shí)鑒于它輕量、安全等特點(diǎn)，越來(lái)越多人開(kāi)始使用它。這個(gè)章節(jié)將詳細(xì)講解如何部署基于 Filebeat 的 ELK 集中式日志解決方案，具體架構(gòu)見(jiàn)圖 5。

圖 5. 基于 Filebeat 的 ELK 集群架構(gòu)

因?yàn)槊赓M(fèi)的 ELK 沒(méi)有任何安全機(jī)制，所以這里使用了 Nginx 作反向代理，避免用戶(hù)直接訪問(wèn) Kibana 服務(wù)器。加上配置 Nginx 實(shí)現(xiàn)簡(jiǎn)單的用戶(hù)認(rèn)證，一定程度上提高安全性。另外，Nginx 本身具有負(fù)載均衡的作用，能夠提高系統(tǒng)訪問(wèn)性能。

五，實(shí)戰(zhàn)

具體安裝過(guò)程如下

• 步驟 1，安裝 JDK
• 步驟 2，安裝 Elasticsearch
• 步驟 3，安裝 Kibana
• 步驟 4，安裝 Nginx
• 步驟 5，安裝 Logstash
• 步驟 6，配置 Logstash
• 步驟 7，安裝 Logstash-forwarder
• 步驟 8，最終驗(yàn)證

安裝前的準(zhǔn)備

兩臺(tái) 64 位虛擬機(jī)，操作系統(tǒng)是 Ubuntu 14.04，2 CPU，4G 內(nèi)存，30G 硬盤(pán)

兩臺(tái) 64 位虛擬機(jī)，操作系統(tǒng)是 CentOS 7.1，2 CPU，4G 內(nèi)存，30G 硬盤(pán)

創(chuàng)建用戶(hù) elk 和組 elk，以下所有的安裝均由這個(gè)用戶(hù)操作，并授予 sudo 權(quán)限

如果是 CentOS，還需要配置官方 YUM 源，可以訪問(wèn) CentOS 軟件包

注意：以下所有操作都是在兩個(gè)平臺(tái)上完成。

步驟 1，安裝 JDK

Elasticsearch 要求至少 Java 7。一般推薦使用 Oracle JDK 1.8 或者 OpenJDK 1.8。我們這里使用 OpenJDK 1.8。

Ubuntu 14.04

加入 Java 軟件源（Repository）

$ sudo add-apt-repository ppa:openjdk-r/ppa

更新系統(tǒng)并安裝 JDK

$ sudo apt-get update $ sudo apt-get install openjdk-8-jdk

驗(yàn)證 Java

$ java -version openjdk version "1.8.0_45-internal" OpenJDK Runtime Environment (build 1.8.0_45-internal-b14) OpenJDK 64-Bit Server VM (build 25.45-b02, mixed mode)

CentOS 7.1

配置 YUM 源

$ cd /etc/yum.repos.d $ sudo vi centos.repo

加入以下內(nèi)容

[base] name=CentOS-$releasever - Base mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os&infra=$infra #baseurl=http://mirror.centos.org/centos/$releasever/os/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 #released updates [updates] name=CentOS-$releasever - Updates mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=updates&infra=$infra #baseurl=http://mirror.centos.org/centos/$releasever/updates/$basearch/ gpgcheck=1 gpgkey=<a href="../../../../../etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7"><code>file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7</code></a>

安裝 JDK

$ sudo yum install java-1.8.0-openjdk

驗(yàn)證 Java

$ java -version openjdk version "1.8.0_65" OpenJDK Runtime Environment (build 1.8.0_65-b17) OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)

步驟 2，安裝 Elasticsearch

Ubuntu 14.04

下載 Elasticsearch 軟件

$ wgethttps://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.1.0/elasticsearch-2.1.0.tar.gz

解壓

$ tar xzvf elasticsearch-2.1.0.tar.gz

文件目錄結(jié)構(gòu)如下：

$ pwd /home/elk/elasticsearch-2.1.0 $ ls bin config lib LICENSE.txt NOTICE.txt README.textile

修改配置文件

$ cd config $ vi elasticsearch.yml

找到 # network.host 一行，修改成以下：

network.host: localhost

啟動(dòng) elasticsearch

$ cd ../bin $ ./elasticsearch

驗(yàn)證 elasticsearch

$ curl 'localhost:9200/' {"name" : "Surge","cluster_name" : "elasticsearch","version" : {"number" : "2.1.0","build_hash" : "72cd1f1a3eee09505e036106146dc1949dc5dc87","build_timestamp" : "2015-11-18T22:40:03Z","build_snapshot" : false,"lucene_version" : "5.3.1"},"tagline" : "You Know, for Search" }

CentOS 7.1

步驟和上述 Ubuntu 14.04 安裝完全一致

步驟 3，安裝 Kibana

Ubuntu 14.04

下載 Kibana 安裝軟件

$ wget https://download.elastic.co/kibana/kibana/kibana-4.3.0-linux-x64.tar.gz

解壓

$ tar xzvf kibana-4.3.0-linux-x64.tar.gz

文件目錄結(jié)構(gòu)如下：

$ pwd /home/elk/kibana-4.3.0-linux-x64 $ ls bin config installedPlugins LICENSE.txt node node_modules optimize package.json README.txt src webpackShims

修改配置文件

$ cd config $ vi kibana.yml

找到 # server.host，修改成以下：

server.host:“l(fā)ocalhost”

啟動(dòng) Kibana

$ cd ../bin $ ./kibana […]log [07:50:29.926] [info][listening] Server running at http://localhost:5601 […]

驗(yàn)證 Kibana

由于我們是配置在 localhost，所以是無(wú)法直接訪問(wèn) Web 頁(yè)面的。

可以使用 netstat 來(lái)檢查缺省端口 5601，或者使用 curl：

$ curl localhost:5601 <script>var hashRoute = '/app/kibana'; var defaultRoute = '/app/kibana';var hash = window.location.hash; if (hash.length) {window.location = hashRoute + hash; } else {window.location = defaultRoute; }</script>

CentOS 7.1

步驟和上述 Ubuntu 14.04 安裝完全一致。

步驟 4，安裝 Nginx

Nginx 提供了反向代理服務(wù)，可以使外面的請(qǐng)求被發(fā)送到內(nèi)部的應(yīng)用上。

Ubuntu 14.04

安裝軟件

$ sudo apt-get install nginx apache2-utils

修改 Nginx 配置文件

$ sudo vi /etc/nginx/sites-available/default

找到 server_name，修改成正確的值。或者使用 IP，或者使用 FQDN。

然后在加入下面一段內(nèi)容：

server {listen 80;server_name example.com;location / {proxy_pass http://localhost:5601;proxy_http_version 1.1;proxy_set_header Upgrade $http_upgrade;proxy_set_header Connection 'upgrade';proxy_set_header Host $host;proxy_cache_bypass $http_upgrade; ｝}

注意：建議使用 IP。

重啟 Nginx 服務(wù)

$ sudo service nginx restart

驗(yàn)證訪問(wèn)

http://FQDN 或者 http://IP

CentOS 7.1

配置 Nginx 官方 yum 源

$ sudo vi /etc/yum.repos.d/nginx.repo [nginx] name=nginx repo baseurl=http://nginx.org/packages/centos/7/$basearch/ gpgcheck=0 enabled=1

安裝軟件

$ sudo yum install nginx httpd-tools

修改 Nginx 配置文件

$ sudo vi /etc/nginx/nginx.conf

檢查是否 http 塊（http{...}）含有下面這一行：

include /etc/nginx/conf.d/*conf

為 Kibana 創(chuàng)建一個(gè)配置文件

$ sudo vi /etc/nginx/conf.d/kibana.conf

加入以下這一段內(nèi)容：

server {listen 80;server_name example.com;location / {proxy_pass http://localhost:5601;proxy_http_version 1.1;proxy_set_header Upgrade $http_upgrade;proxy_set_header Connection 'upgrade';proxy_set_header Host $host;proxy_cache_bypass $http_upgrade; } ｝

注意：建議使用 IP。

啟動(dòng) Nginx 服務(wù)

$ sudo systemctl enable nginx $ sudo systemctl start nginx

驗(yàn)證訪問(wèn)

http://FQDN 或者 http://IP

步驟 5，安裝 Logstash

Ubuntu 14.04

下載 Logstash 安裝軟件

$ wget https://download.elastic.co/logstash/logstash/logstash-2.1.1.tar.gz

解壓

$ tar xzvf logstash-2.1.1.tar.gz

文件目錄結(jié)構(gòu)如下：

$ pwd /home/elk/logstash-2.1.1$ ls bin CHANGELOG.md CONTRIBUTORS Gemfile Gemfile.jruby-1.9.lock lib LICENSE NOTICE.TXT vendor

驗(yàn)證 Logstash

$ cd bin $ ./logstash -e 'input { stdin { } } output { stdout {} }' Settings: Default filter workers: 1 Logstash startup completed

顯示如下：

hello elk stack 2015-12-14T01:17:24.104Z 0.0.0.0 hello elk stack

說(shuō)明 Logstash 已經(jīng)可以正常工作了。按CTRL-D 退出

CentOS 7.1

步驟和上述 Ubuntu 14.04 安裝完全一致。

步驟 6，配置 Logstash

我們需要配置 Logstash 以指明從哪里讀取數(shù)據(jù)，向哪里輸出數(shù)據(jù)。這個(gè)過(guò)程我們稱(chēng)之為定義 Logstash 管道（Logstash Pipeline）。

通常一個(gè)管道需要包括必須的輸入（input），輸出（output），和一個(gè)可選項(xiàng)目 Filter。見(jiàn)圖 7。

圖 7.Logstash 管道結(jié)構(gòu)示意

標(biāo)準(zhǔn)的管道配置文件格式如下：

# The # character at the beginning of a line indicates a comment. Use # comments to describe your configuration. input { } # The filter part of this file is commented out to indicate that it is # optional. #filter { #} output { }

每一個(gè)輸入/輸出塊里面都可以包含多個(gè)源。Filter 是定義如何按照用戶(hù)指定的格式寫(xiě)數(shù)據(jù)。

由于我們這次是使用 logstash-forwarder 從客戶(hù)機(jī)向服務(wù)器來(lái)傳輸數(shù)據(jù)，作為輸入數(shù)據(jù)源。所以，我們首先需要配置 SSL 證書(shū)（Certification）。用來(lái)在客戶(hù)機(jī)和服務(wù)器之間驗(yàn)證身份。

Ubuntu 14.04

配置 SSL

$ sudo mkdir -p /etc/pki/tls/certs etc/pki/tls/private $ sudo vi /etc/ssl/openssl.cnf

找到 [v3_ca] 段，添加下面一行，保存退出。

subjectAltName = IP: logstash_server_ip

執(zhí)行下面命令：

$ cd /etc/pki/tls $ sudo openssl req -config /etc/ssl/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

這里產(chǎn)生的 logstash-forwarder.crt 文件會(huì)在下一節(jié)安裝配置 Logstash-forwarder 的時(shí)候使用到。

配置 Logstash 管道文件

$ cd /home/elk/logstash-2.1.1 $ mkdir conf $ vi simple.conf

添加以下內(nèi)容：

input {lumberjack {port => 5043type => "logs"ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"} } filter {grok {match => { "message" => "%{COMBINEDAPACHELOG}" }}date {match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]} } output {elasticsearch { hosts => ["localhost:9200"] }stdout { codec => rubydebug } }

啟動(dòng) Logstsh

$ cd /home/elk/logstash-2.1.1/bin $ ./logstash -f ../conf/simple.conf

CentOS 7.1

在 CentOS 7.1 上配置 Logstash，只有一步配置 SSL 是稍微有點(diǎn)不同，其他全部一樣。

$ sudo vi /etc/pki/tls/openssl.cnf

找到 [v3_ca] 段，添加下面一行，保存退出。

subjectAltName = IP: logstash_server_ip$ cd /etc/pki/tls $ sudo openssl req -config /etc/pki/tls/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

這里產(chǎn)生的 logstash-forwarder.crt 文件會(huì)在下一節(jié)安裝配置 Logstash-forwarder 的時(shí)候使用到。

步驟 7，安裝 Logstash-forwarder

注意：Logstash-forwarder 也是一個(gè)開(kāi)源項(xiàng)目，最早是由 lumberjack 改名而來(lái)。在作者寫(xiě)這篇文章的時(shí)候，被吸收合并到了 Elastic.co 公司的另外一個(gè)產(chǎn)品 Beat 中的 FileBeat。如果是用 FileBeat，配置稍微有些不一樣，具體需要去參考官網(wǎng)。

Ubuntu14.04

安裝 Logstash-forwarder 軟件

注意：Logstash-forwarder 是安裝在另外一臺(tái)機(jī)器上。用來(lái)模擬客戶(hù)機(jī)傳輸數(shù)據(jù)到 Logstash 服務(wù)器。

配置 Logstash-forwarder 安裝源

執(zhí)行以下命令：

$ echo 'deb http://packages.elastic.co/logstashforwarder/debian stable main' | sudo tee /etc/apt/sources.list.d/logstashforwarder.list

$ wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

安裝軟件包

$ sudo apt-get update $ sudo apt-get install Logstash-forwarder

配置 SSL

$ sudo mkdir -p /etc/pki/tls/certs

把在步驟六中在 Logstash 服務(wù)器上產(chǎn)生的 ssl 證書(shū)文件拷貝到剛剛創(chuàng)建出來(lái)的目錄下：

$ sudo scp user@logstash_server:/etc/pki/tls/certs/logstash_forwarder.crt /etc/pki/tls/certs/

配置 Logstash-forwarder

$ sudo vi /etc/logstash-forwarder.conf

在 network 段（"network": {），修改如下：

"servers": [ "logstash_server_private_address:5043" ], "ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt", "timeout": 15

在 files 段（"files": [），修改如下：

{ "paths": ["/var/log/syslog","/var/log/auth.log"],"fields": { "type": "syslog" } }

啟動(dòng) Logstash-forwarder

$ sudo service logstash-forwarder start

驗(yàn)證 Logstash-forwarder

$ sudo service logstash-forwarder status logstash-forwarder is running

如果有錯(cuò)誤，則需要去/var/log/logstash-forwarder 目錄下面檢查。

CentOS 7.1

配置 Logstash-forwarder 安裝源

執(zhí)行以下命令：

$ sudo rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch$ sudo vi /etc/yum.repos.d/logstash-forwarder.repo

加入以下內(nèi)容：

[logstash-forwarder] name=logstash-forwarder repository baseurl=http://packages.elastic.co/logstashforwarder/centos gpgcheck=1 gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch enabled=1

存盤(pán)退出。

安裝軟件包

$ sudo yum -y install logstash-forwarder

剩余步驟和上述在 Ubuntu 14.04 上面的做法完全一樣。

步驟 8，最后驗(yàn)證

在前面安裝 Kibana 的時(shí)候，曾經(jīng)有過(guò)驗(yàn)證。不過(guò)，當(dāng)時(shí)沒(méi)有數(shù)據(jù)，打開(kāi) Web 頁(yè)面的時(shí)候，將如下所示：

圖 8. 無(wú)數(shù)據(jù)初始頁(yè)面

現(xiàn)在，由于 logstash-forwarder 已經(jīng)開(kāi)始傳輸數(shù)據(jù)了，再次打開(kāi) Web 頁(yè)面，將如下所示：

圖 9. 配置索引頁(yè)面

點(diǎn)擊創(chuàng)建按鈕（Create），在選擇 Discover，可以看到如下畫(huà)面：

圖 10. 數(shù)據(jù)展示頁(yè)面

至此，所有部件的工作都可以正常使用了。關(guān)于如何具體使用 Kibana 就不在本文中加以描述了，有興趣的同學(xué)可以參考官網(wǎng)。

文章參考出處：

https://my.oschina.net/zjzhai/blog/751246

https://www.zybuluo.com/dume2007/note/665868

https://www.ibm.com/developerworks/cn/opensource/os-cn-elk/index.html

原文發(fā)布于微信公眾號(hào) - 架構(gòu)師小秘圈（seexmq）

原文發(fā)表時(shí)間：2017-09-25

本文參與騰訊云自媒體分享計(jì)劃，歡迎正在閱讀的你也加入，一起分享。

發(fā)表于 2018-04-02

?

https://cloud.tencent.com/developer/article/1082326

與50位技術(shù)專(zhuān)家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的互联网亿级日志实时分析平台，一个码农半小时就可以搞定，只因ELK的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。