當(dāng)前位置：首頁(yè) >

nxlog管理配置linux,IIS服务器配置NXLog进行syslog转发（并解决GMT+8小时时差问题）...

發(fā)布時(shí)間：2023/12/31 46 豆豆

生活随笔收集整理的這篇文章主要介紹了 nxlog管理配置linux,IIS服务器配置NXLog进行syslog转发（并解决GMT+8小时时差问题）... 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

NXLog是個(gè)跨平臺(tái)日志傳輸插件，支持linux、windows平臺(tái)的大部分系統(tǒng)日志及常見(jiàn)的web日志，支持tcp、udp、http(s)等協(xié)議傳輸。

本文通過(guò)NXLog將IIS的日志以syslog的形式轉(zhuǎn)發(fā)至日志審計(jì)服務(wù)器。

一、系統(tǒng)環(huán)境

操作系統(tǒng)：Window Server2012 R2 DataCenter

IIS：8.5

NXLog：nxlog-ce-2.10.2150

二、NXLog的整體實(shí)現(xiàn)原理

NXLog整體采用插件架構(gòu)模式，通過(guò)加載可調(diào)用的模塊，實(shí)現(xiàn)從各種不同的日志來(lái)源讀取日志數(shù)據(jù)(Input)，對(duì)日志數(shù)據(jù)進(jìn)行解析和轉(zhuǎn)換(Prosessor)，最后進(jìn)行輸出(Output)。

IIS的日志為文本類型的逐行文件，各字段使用“空格符”進(jìn)行分割，而其中的日期和時(shí)間分屬于兩個(gè)不同的字段。因此IIS的日志可以通過(guò)Input的im_file模塊進(jìn)行讀取，并經(jīng)過(guò)一定的處理后輸出(轉(zhuǎn)發(fā))。

在NXLog的安裝路徑C:\Program Files\nxlog(或C:\Program Files (x86)\nxlog)下找到conf\nxlog.conf，用文本編輯器進(jìn)行編輯。

三、具體配置方法

1. 查看本地IIS日志格式(在IIS管理器中可以對(duì)W3C日志記錄字段進(jìn)行更改。)

#Software: Microsoft Internet Information Services 8.5

#Version: 1.0

#Date: 2020-04-26 06:14:01

#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) cs-host sc-status sc-substatus sc-win32-status time-taken

2.?設(shè)置W3C擴(kuò)展日志格式(這里的第一個(gè)$datetime是將$date和$time進(jìn)行了合并，具體見(jiàn)下面input中的操作。)

Module xm_csv

Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken

FieldTypesstring,string,string,string,string,string,string,string,string,string,string,string,string,string,string

Delimiter' '

QuoteChar'"'

EscapeControl TRUE

UndefValue -

3. 增加Input日志來(lái)源

Module?? im_file

# IIS日志目錄，文件名支持通配符，文件夾不支持

File"C:\inetpub\logs\LogFiles\W3SVC1\u_ex*.log"

SavePos? TRUE

# 忽略以#開(kāi)頭的日志行

# 編碼轉(zhuǎn)換為GBK(我的日志審計(jì)服務(wù)器默認(rèn)為GBK編碼，而IIS日志的編碼為UTF-8，請(qǐng)按實(shí)際情況設(shè)置)

# 利用替換法將日期與時(shí)間合并為一個(gè)字段

# 解析為CSV格式

# 通過(guò)xm_csv模塊對(duì)W3C擴(kuò)展日志進(jìn)行解析

# 將合并后的日期與時(shí)間作為EventTime(發(fā)生時(shí)間)，并增加GMT標(biāo)志(+00:00)解決IIS8小時(shí)時(shí)差問(wèn)題

Execif?$raw_event =~ /^#/ drop();????????????????????????????? \

else???????????????????????????????????????????????????????\

{????????????????????????????????????????????????????????? \

convert_fields("AUTO","GBK");?????????????????????????? \

$raw_event = replace($raw_event,' ','@', 1);?????????? \

w3c->parse_csv();??????????????????????????????????????? \

$raw_event = replace($raw_event,' ',"\t");???????????? \

$raw_event = replace($raw_event,'@',' ', 1);?????????? \

$EventTime = parsedate(replace($datetime,'@',' ', 1) +'+00:00'); \

}

4. 增加Output日志輸出(內(nèi)網(wǎng)通過(guò)UDP方式輸出可以提高運(yùn)行效率；如果需要高可靠性可采用TCP，但容易造成工作負(fù)載過(guò)大。使用to_syslog_bsd后，在input段設(shè)置的$EventTime才能有效。)

Module om_udp

Host 10.168.100.1

Port 514

Exec to_syslog_bsd();

5. 增加轉(zhuǎn)發(fā)規(guī)則

Path IISin => IISout

四、啟動(dòng)NXLog

可以通過(guò)服務(wù)管理器services.msc中啟動(dòng)nxlog服務(wù)，或者在安裝路徑中雙擊nxlog.exe運(yùn)行。

五、排錯(cuò)

檢查安裝路徑\data\nxlog.log日志文件，并進(jìn)行排錯(cuò)。如果提示如下內(nèi)容(ERROR if-else failed)，大多數(shù)是因?yàn)槎沃信渲玫淖侄魏腿罩局械淖侄尾黄ヅ洹?/p>

2020-04-26 14:04:24 ERRORif-else?failed at line 43, character 315in?C:\Program Files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; procedure'parse_csv'?failed at line 43, character 181in?C:\Program Files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; Too many fieldsin?CSV input, expected 15, got 16in?input'...此處略去具體日志內(nèi)容...'

六、實(shí)際效果

七、完整配置文件：conf\nxlog.conf

Panic Soft

#NoFreeOnExit TRUE

define ROOT???? C:\Program Files (x86)\nxlog

define CERTDIR? %ROOT%\cert

define CONFDIR? %ROOT%\conf

define LOGDIR?? %ROOT%\data

define LOGFILE? %LOGDIR%\nxlog.log

LogFile %LOGFILE%

Moduledir %ROOT%\modules

CacheDir? %ROOT%\data

Pidfile?? %ROOT%\data\nxlog.pid

SpoolDir? %ROOT%\data

Module xm_csv

Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken

FieldTypesstring,string,string,string,string,string,string,string,string,string,string,string,string,string,string

Delimiter' '

QuoteChar'"'

EscapeControl TRUE

UndefValue -

Module????? xm_syslog

Module????? xm_charconv

AutodetectCharsets iso8859-2, utf-8, utf-16, utf-32

Module????? xm_exec

Module????? xm_fileop

# Check the size of our log file hourly, rotate if larger than 5MB

Every?? 1 hour

Execif?(file_exists('%LOGFILE%') and \

(file_size('%LOGFILE%') >= 5M)) \

file_cycle('%LOGFILE%', 8);

# Rotate our log file every week on Sunday at midnight

When??? @weekly

Execif?file_exists('%LOGFILE%') file_cycle('%LOGFILE%', 8);