標(biāo)題是不是可以翻譯成這樣：logstash Filters nginx access log

好了，進(jìn)入正題，日志管理服務(wù)器我用ElasticSearch+LogStash+Kibana+Redis

先說(shuō)下我的架構(gòu)：

遠(yuǎn)程N(yùn)GINX采集日志數(shù)據(jù)到REDIS+logstash+elasticsearch+kibana服務(wù)器

至于怎么部署，因本人之前用baidu博客寫在那上面了，以后有時(shí)間把百度的搬過(guò)來(lái)

好了，這里就先不說(shuō)部署了，我們直接進(jìn)入配置正題

在nginx服務(wù)器，我們一、先配置nginx的日志格式

log_format?main?'$http_host?$remote_addr?-?$remote_user?[$time_local]?"$request"?''$status?$body_bytes_sent?"$http_referer"?''"$http_user_agent"?"$upstream_addr"?$request_time';

二、配置logstash采集文件

1.1 配置logstash patterns

logstash/patterns#?vi?nginx? NGUSERNAME?[a-zA-Z\.\@\-\+_%]+ NGUSER?%{NGUSERNAME} NGINXACCESS?%{IPORHOST:http_host}?%{IPORHOST:clientip}?-?%{USERNAME:remote_user}?\[%{HTTPDATE:timestamp}\]?\"(?:%{WORD:http_verb}?%{NOTSPACE:http_request}(?:?HTTP/%{NUMBER:http_version})?|%{DATA:raw_http_request})\"?%{NUMBER:response}?(?:%{NUMBER:bytes_read}|-)?%{QS:referrer}?%{QS:agent}?%{QS:xforwardedfor}?%{NUMBER:request_time:float}

注意，我們配置的日志格式完全要和我們的patterns解析出來(lái)

具體解析方式，可以到https://grokdebug.herokuapp.com/

input：nginx的日志

patterns:就是要過(guò)濾的格式，如圖

2.1 配置nginx日志采集腳本

logstash#vi?nginx_logs.conf? input?{file?{type?=>?"nginx-access"path?=>?"/www/log/nginx/access/default.log"start_position?=>?"beginning"} }filter?{if?[type]?==?"nginx-access"?{grok?{match?=>?{?"message"?=>?"%{NGINXACCESS}"?}}date?{match?=>?[?"timestamp"?,?"dd/MMM/YYYY:HH:mm:ss?Z"?]}geoip?{source?=>?"clientip"target?=>?"geoip"database?=>"/server/logstash/vendor/geoip/GeoLiteCity.dat"add_field?=>?[?"[geoip][coordinates]",?"%{[geoip][longitude]}"?]add_field?=>?[?"[geoip][coordinates]",?"%{[geoip][latitude]}"??]} mutate?{convert?=>?[?"[geoip][coordinates]",?"float"?]}?} }output?{redis?{host?=>?"10.252.35.170"port?=>?6379data_type?=>?"list"key?=>?"logstash"} }

這個(gè)腳本里，我主要采集了geoip的信息，當(dāng)然，你也直接可以將數(shù)據(jù)導(dǎo)入到redis,我就附上我的全腳本吧~~

啟動(dòng)：

?#/server/logstash/bin/logstash?agent?-f?/alidata/server/logstash/nginx_logs.conf?&

三、配置REDIS+logstash

直接寫logstash腳本

logstash#?vi?nginx.conf? input?{redis?{host?=>?"127.0.0.1"port?=>?"6379"data_type?=>?"list"key?=>?"logstash"type?=>?"redis-input"codec?=>?"json"} }output?{elasticsearch?{embedded?=>?falseprotocol?=>?"http"host?=>?"localhost"port?=>?"9200"} }

啟動(dòng)腳本

?#/logstash/bin/logstash?agent?-f?/alidata/server/logstash/nginx.conf?&

好的，腳本配置完畢，接下來(lái)我們?cè)L問(wèn)看看

轉(zhuǎn)載于:https://blog.51cto.com/xiangcun168/1643577

總結(jié)

以上是生活随笔為你收集整理的logstash 过虑nginx访问日志的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。