作者：xiejava
來源：cnblogs.com/xiejava/p/12452434.html

由于nginx功能強(qiáng)大，性能突出，越來越多的web應(yīng)用采用nginx作為http和反向代理的web服務(wù)器。而nginx的訪問日志不管是做用戶行為分析還是安全分析都是非常重要的數(shù)據(jù)源之一。如何有效便捷的采集nginx的日志進(jìn)行有效的分析成為大家關(guān)注的問題。

本文通過幾個(gè)實(shí)例來介紹如何通過filebeat、logstash、rsyslog采集nginx的訪問日志和錯(cuò)誤日志。

大家都知道ELK技術(shù)棧是采集、分析日志的利器。所以這里介紹的是從nginx采集日志到ES。當(dāng)然至于日志采集以后存到看大家的需要。通過logstash可以方便的配置日志輸出存儲(chǔ)的方式。

一般來說nginx默認(rèn)安裝后，日志文件在 /usr/local/nginx/logs 目錄下。分別有 access.log和error.log 訪問日志和錯(cuò)誤日志。

這次示例Elasitcsearch是三個(gè)節(jié)點(diǎn)組成的集群172.28.65.22、172.28.65.23、172.28.65.24，172.28.65.30 是kibana的地址，172.28.65.32是數(shù)據(jù)采集服務(wù)器，上面裝有l(wèi)ogstash、nginx、 filebeat。一般來說采集服務(wù)器上有l(wèi)ogstash，而nginx、 filebeat應(yīng)該是裝在采集目標(biāo)上。

一、直接通過filebeat采集日志到ES

在filebeat的安裝目錄找到filebeat.yml 配置獲取日志文件的路徑及輸出到ES的配置。?
具體：

\-?type:?log??\#?Change?to?true?to?enable?this?input?configuration.??enabled:?true??\#?Paths?that?should?be?crawled?and?fetched.?Glob?based?paths.??paths:??#\-?/var/log/*.log??\-?/usr/local/nginx/logs/*.log??#\-?c:\\programdata\\elasticsearch\\logs\\*??

如果需要在kibana中友好顯示的話，可進(jìn)行kibana配置 ?

輸出到es中，在hosts中配置好你的ES服務(wù)地址。如果單機(jī)只有一個(gè)節(jié)點(diǎn)，就可以只配一個(gè)ip和端口。?

啟動(dòng)filebeat 進(jìn)行日志數(shù)據(jù)采集

./filebeat?-e?-c?filebeat.yml?-d?"publish"??

通過elasticsearch-head插件查看es索引中的日志信息 ?

可以看到nginx中的access.log和error.log的日志都已經(jīng)上來了。?
在kibana中通過filebeat-*過濾看filebeat的索引，可以看到通過filebeat采過來的數(shù)據(jù)。?

這種直接通過filebeat直接對(duì)接ES采日志的方式簡(jiǎn)單直接，但是無法對(duì)采集的日志進(jìn)行預(yù)處理和其他一些操作，也不夠靈活。

可以在filebeat 和 ES之間加一層Logstash，可以將filebeat于ES解耦，通過Logstash可以做一些預(yù)處理，也可以通過Logstash采集到除ES以外的其他數(shù)據(jù)存儲(chǔ)上。

二、通過filebeat采集日志到logstash再送到ES

首先得安裝 logstash ，安裝完后在logstash的安裝目錄下新建vi filebeat-pipeline.conf ?
filebeat-pipeline.conf的具體配置如下：

input?{??beats?{??port?=>?"5044"??}?? }?? output?{??elasticsearch?{?hosts?=>?\["172.28.65.24:9200"\]?}??stdout?{?codec?=>?rubydebug}?? }??

input配置表示通過5044端口接收beats的數(shù)據(jù) ?
output配置表示輸出到elasticsearch，并且同時(shí)輸出到標(biāo)準(zhǔn)輸出也就是控制臺(tái)。?
然后通過命令

bin/logstash?-f?filebeat-pipeline.conf?--config.reload.automatic??

應(yīng)用filebeat-pipeline.conf啟動(dòng)logstash。?

啟動(dòng)以后可以看到logstash的啟動(dòng)日志5044端口的服務(wù)已經(jīng)起了，可以接受通過filebeat通過5044端口傳過來的數(shù)據(jù)了。

接下來配置filebeat ?
在filebeat的安裝目錄找到filebeat.yml 配置獲取日志文件的路徑及輸出到logstash的配置。不直接輸出到ES了。

具體配置如下：?
將output.elasticsearch的配置屏蔽 ?
配置output.logstash，配置正確的logstash的服務(wù)主機(jī)和端口 ?

啟動(dòng)filebeat 進(jìn)行日志數(shù)據(jù)采集

./filebeat?-e?-c?filebeat.yml?-d?"publish"??

我們?cè)L問nginx服務(wù)提供的web服務(wù)http://172.28.65.32/ ?
在logstash的控制臺(tái) 可以看到相應(yīng)的訪問access.log 日志 ?

同時(shí)在ES 中也可以看到有相應(yīng)的日志數(shù)據(jù) ?

?

三、直接通過rsyslog采集日志到logstash在送到ES

在很多情況下你需要采集的web服務(wù)器并不是自己能夠控制的，不是說你想裝filebeat就可以讓你裝的，這時(shí)候就可以要求目標(biāo)數(shù)據(jù)源通過 syslog 的方式將日志發(fā)出來。我們可以再通過 logstash送到ES或其他的日志存儲(chǔ)處理平臺(tái)。?

通過syslog往日志服務(wù)器上發(fā)nginx的日志有兩種方式，一種就是利用nginx的配置往外發(fā)日志，一種就是通過配置linux的rsyslog的配置往外發(fā)日志。

1、通過nginx配置發(fā)送syslog到logstash??

參考見nginx官方文檔：http://nginx.org/en/docs/syslog.html

具體配置如下：?
在nginx的配置文件nginx.conf中 ?
在server下配置access_log和error_log的輸出方式

access_log?syslog:server=172.28.65.32:514,facility=local7,tag=nginx\_access\_log,severity=info;?? error_log?syslog:server=172.28.65.32:514,facility=local7,tag=nginx\_error\_log,severity=info;??

配置完成后執(zhí)行?./nginx -s reload?使配置生效。這樣就通過linux的rsyslog服務(wù)將nginx的日志往外發(fā)了。

接著來配置logstash的syslog的服務(wù)接收配置 。在logstash的安裝目錄下新建vi syslog-pipeline.conf??
syslog-pipeline.conf的具體配置如下：

input?{??syslog{??type?=>?"system-syslog"??port?=>?514??}?? }?? output?{??elasticsearch?{??hosts?=>?\["172.28.65.24:9200"\]??index?=>?"system-syslog-%{+YYYY.MM}"??}??stdout?{?codec?=>?rubydebug}?? }??

input配置表示通過514端口接收syslog的數(shù)據(jù) ?
output配置表示輸出到elasticsearch，并且同時(shí)輸出到標(biāo)準(zhǔn)輸出也就是控制臺(tái)。?
通過執(zhí)行?bin/logstash -f syslog-pipeline.conf --config.reload.automatic?啟動(dòng)logstash ?

可以看到logstash啟動(dòng)以后開啟了514端口的tcp和upd協(xié)議的偵聽。?
我們?cè)L問nginx服務(wù)提供的web服務(wù)http://172.28.65.32/ ?
在logstash的控制臺(tái) 可以看到相應(yīng)的nginx訪問access和error的日志 ?

同樣通過Elasticsearch-head在ES 中也可以看到有相應(yīng)的日志數(shù)據(jù) ?

2、通過配置rsyslog發(fā)送syslog日志到logstash??

有些老版本的nginx不支持配置syslog輸出日志，或者說我想輸出其他不是nginx的日志該怎么辦呢？可以通過直接配置rsyslog的方式來往外發(fā)送日志。

在/etc/rsyslog.conf 中配置

$IncludeConfig?/etc/rsyslog.d/*.conf??

意思是可以引用外部的配置文件，引用外部的配置文件一方面可以不影響主配置文件，另一方面也比較好管理 ?
在/etc/rsyslog.d目錄下新建nginx-log.conf ?
配置如下：

$ModLoad?imfile?? $InputFilePollInterval?1?? $WorkDirectory?/var/spool/rsyslog?? $PrivDropToGroup?adm??##Nginx訪問日志文件路徑，根據(jù)實(shí)際情況修改:?? $InputFileName?/usr/local/nginx/logs/access.log?? $InputFileTag?nginx-access:?? $InputFileStateFile?stat-nginx-access?? $InputFileSeverity?info?? $InputFilePersistStateInterval?25000?? $InputRunFileMonitor??##Nginx錯(cuò)誤日志文件路徑，根據(jù)實(shí)際情況修改:?? $InputFileName?/usr/local/nginx/logs/error.log?? $InputFileTag?nginx-error:?? $InputFileStateFile?stat-nginx-error?? $InputFileSeverity?error?? $InputFilePersistStateInterval?25000?? $InputRunFileMonitor??\*.\*?@172.28.65:514??

配置好了以后，重啟rsyslog服務(wù)

systemctl?restart?rsyslog??

我們?cè)L問nginx服務(wù)提供的web服務(wù)http://172.28.65.32/ ?
在logstash的控制臺(tái) 可以看到同樣的效果。?

本文介紹了如何通過filebeat、logstash、rsyslog采集nginx的訪問日志和錯(cuò)誤日志的幾種方式，具體需要根據(jù)實(shí)際情況靈活的運(yùn)用。

總結(jié)

以上是生活随笔為你收集整理的闭眼入！采集 Nginx 日志的几种方式！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。