常见日志、抓包和系统监控分析软件
有的朋友會問，好好的Windows日志為什么要把它轉(zhuǎn)成Syslog呢？呵呵，當(dāng)Windows服務(wù)器比較少的時候，我們是不需要這樣做的。但試想如果你管理著成千上百臺的Windows機器，你會一臺一臺的登錄上去用Event Viewer查看嗎？為什么不建立一臺中心Syslog服務(wù)器來接受所有的Windows，Linux，網(wǎng)絡(luò)設(shè)備等等發(fā)送來的日志呢？這樣你可以輕松地在一臺日志服務(wù)器上管理所有的日志。比如Splunk就是一個很好的免費日志服務(wù)器，它不僅可以接受多種方式發(fā)送來的日志(包括syslog)，而且還提供功能很強大的搜索（被稱為Google for IT），圖形化等功能。
本文針對當(dāng)前運維市場開源系統(tǒng)的，大致如下：
Facebook 日志系統(tǒng) Scribe、Apache 日志系統(tǒng) Chukwa
Linkedin 日志系統(tǒng) Kafka、Cloudera 日志系統(tǒng) Flume
概述
許多軟件平臺每天都會產(chǎn)生大量的日志（一般為流數(shù)據(jù)，如搜索引擎 page view，淘寶等），處理這些日志需要特定的日志系統(tǒng)，一般地，這些日志系統(tǒng)需要具有如下特征：
構(gòu)建應(yīng)用系統(tǒng)和分析系統(tǒng)的橋梁，并將它們之間的關(guān)系解耦。
支持接近實時在線分析系統(tǒng)，以及類似 Hadoop 之類的離線分析系統(tǒng)。
具有高可擴展性，即當(dāng)數(shù)據(jù)量增加時，可以通過增加節(jié)點進行橫向擴展。
本文從設(shè)計架構(gòu)、負載均衡、可擴展性和容錯性等方面對比目前開源的日志系統(tǒng)，包括 Facebook 日志系統(tǒng) Scribe ，Apache 日志系統(tǒng) Chukwa，Linkedin 日志系統(tǒng) Kafka 和 Cloudera 日志系統(tǒng) Flume 等。
日志管理服務(wù)分類：
1.rsyslogd 普通日志管理服務(wù)
采集各種服務(wù)產(chǎn)生的信息根據(jù)日志服務(wù)配置文件內(nèi)容將信息進行分類保存。
2.klogd 內(nèi)核信息日志文件服務(wù)
專門記錄內(nèi)核信息
3.logrotate 日志文件輪替服務(wù)
解決日志文件內(nèi)容過多消耗內(nèi)存的日志文件替換服務(wù)
Log Parser 微軟強大的日志分析工具
Log Parser（微軟網(wǎng)站下載）是微軟公司出品的日志分析工具，它功能強大，使用簡單，可以分析基于文本的日志文件、XML 文件、CSV（逗號分隔符）文件，以及操作系統(tǒng)的事件日志、注冊表、文件系統(tǒng)、Active Directory。它可以像使用 SQL 語句一樣查詢分析這些數(shù)據(jù)，甚至可以把分析結(jié)果以各種圖表的形式展現(xiàn)出來。
詳細教程：windows安全日志分析工具logparser用法詳解 http://www.jb51.net/hack/384430.html
? ? Log Parser 微軟強大的日志分析工具 http://www.cnblogs.com/haoliansheng/p/4040208.html
微軟還有一款強大的網(wǎng)絡(luò)抓包工具 Microsoft Network Monitor 是類似 WireShark 的網(wǎng)路封包監(jiān)看軟體, 關(guān)鍵是微軟的免費工具.
Event Viewer（事件查看器）
Windows Event Viewer 記錄了應(yīng)用程序、安全性和系統(tǒng)事件的所有信息。這是已發(fā)生的（或繼續(xù)發(fā)生的）事件的巨大信息來源，它應(yīng)該是用于診斷和監(jiān)控系統(tǒng)的主要工具之一。
MSSQL_logview
是一款對SQL Server日志分析工具，它可以瀏覽日志查看有關(guān)數(shù)據(jù)庫的操作日志。此外，MSSQL_logview還是一個數(shù)據(jù)庫恢復(fù)工具，如果您由于誤操刪除、誤插入、誤更新導(dǎo)致數(shù)據(jù)庫數(shù)據(jù)丟失或更改，MSSQL_logview可以幫你找回您所需要的數(shù)據(jù)。
?
MSSQL_logview可恢復(fù)的操作：
?刪除（delete），插入（insert），更新（Updata）
?
MSSQL_logview支持的版本：SQL Server 2000,SQL Server 2005,SQL Server 2008,SQL Server 2008R2
MSSQL_logview使用方法：
?1.先把SQL服務(wù)停掉，把數(shù)據(jù)庫MDF和日志文件LDF文件復(fù)制一份，做備份
?2.開啟SQL服務(wù)，打開軟件，連接服務(wù)器，并選擇好數(shù)據(jù)庫，日志文件選擇備份后的LDF
?3.選擇要恢復(fù)的表及操作
Splunk?
是一個可運行于各種平臺的 IT 數(shù)據(jù)分析、日志分析、業(yè)務(wù)數(shù)據(jù)分析軟件，支持的作業(yè)平臺包含Windows, Linux, Solaris, FreeBSD, AIX, MacOS, HP-UX。與 Google Analytics 這一類的 Web 日志分析軟件的不同之處在于，Splunk 可以支持任何 IT 設(shè)備(服務(wù)器、網(wǎng)絡(luò)設(shè)備、應(yīng)用程序、數(shù)據(jù)庫等)所產(chǎn)生的日志，其對日志進行處理的方式是進行高效索引之后讓管理員可以對日志中出現(xiàn)的各種情況進行搜索，并且通過非常好的圖形化的方式展現(xiàn)出來。?
每天由各種服務(wù)器所產(chǎn)生的日志的數(shù)量是非常驚人的，而遇到突發(fā)情況時，卻往往能夠從這些海量日志中找到最多的有用消息。通常在 Unix 下對日志進行查找使用的是 grep 之類的低效率的方式，而 Splunk 使用了現(xiàn)代搜索引擎技術(shù)對日志進行搜索，同時提供了一個非常強大的 AJAX 式的界面展現(xiàn)日志。?
Splunk 是一款對 IT 管理員非常有用、非常專業(yè)的工具。也正因為如此，與其他 Linux 下的其他日志分析軟件不同，Splunk 是一個商業(yè)軟件，支持海量信息搜索及更多的功能，比如分散式搜尋(Distributed Search)、計劃告警(Schedule Alert)、權(quán)限控制(Access Control)等。?
Splunk的四大應(yīng)用：運維IT數(shù)據(jù)整合、IT安全信息及數(shù)據(jù)的整合、應(yīng)用程序IT數(shù)據(jù)整合、IT數(shù)據(jù)的法規(guī)遵從。
Splunk的六大功能：Index(索引) 、Search(搜索)、Alert(警報通知)、Report(報告)、Share(資源共享)、Secure(安全功能)。
主要功能：
??日志分析
??業(yè)務(wù)數(shù)據(jù)分析
??運維保障
主要特點：
??快速查找日志信息
??數(shù)據(jù)關(guān)聯(lián)分析
??支持各種平臺和系統(tǒng)
??支持超過千種標準Apps
??可靈活開發(fā)專有Apps
??支持企業(yè)級架構(gòu)，分級、分布式部署
SysTools NTFS Log Analyzer
(硬盤日志分析工具)是一款硬盤日志文件分析的工具?；旧犀F(xiàn)在的安裝了Windows操作系統(tǒng)的電腦硬盤分區(qū)，都是NTFS文件系統(tǒng)。這個工具能夠通過NTFS日志分析文件操作的信息，從而得知文件增刪改的情況。
如何查看硬盤使用日志
點我的電腦右鍵有個管理，管理里有個事件查看器，里的點那個系統(tǒng)就是你硬盤的事件了！親，此軟件需要安裝微軟.net?環(huán)境
ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成：
??? Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發(fā)現(xiàn)，索引自動分片，索引副本機制，restful風(fēng)格接口，多數(shù)據(jù)源，自動搜索負載等。
??? Logstash是一個完全開源的工具，他可以對你的日志進行收集、過濾，并將其存儲供以后使用（如，搜索）。
? ? Kibana 也是一個開源和免費的工具，它Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。
? ? 日志平臺的結(jié)構(gòu)示意圖
Weblog?expert
是一個快速和強大的訪問日志分析器。這會讓你了解你的網(wǎng)站的訪客：活動統(tǒng)計，訪問的文件的路徑，通過該網(wǎng)站，信息指頁面，搜索引擎，瀏覽器，操作系統(tǒng)，和更多。該計劃所產(chǎn)生的易于閱讀的報告，包括文本信息（表）和圖表。
官方網(wǎng)站：http://www.weblogexpert.com
Nginx利用第三方模塊nginx_upstream_check_module來檢查后端服務(wù)器的健康情況
http://www.linuxyan.com/web-server/90.html
圖解 windows日志分析工具 WebLog Expert 安裝及使用教程?
http://www.111cn.net/sys/Windows/88761.htm
最佳Nginx日志分析工具Goaccess?
http://my.oschina.net/mrco/blog/181737
又是nm的Linux，煩不煩，含Redis?
http://yanliu.org/2015/08/19/ELK-redis%E6%90%AD%E5%BB%BAnginx%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0/
日志易: 日志分析更容易 - 日志易 https://www.rizhiyi.com/ 【商業(yè)】
windows安全日志分析工具logparser用法詳解_工具使用_網(wǎng)絡(luò)安全 http://www.jb51.net/hack/384430.html
另附：日志工具_iis日志_日志分析工具_網(wǎng)站日志分析工具_下載列表 ?http://down.chinaz.com/class/185_1.htm
? ? ? ? ? ?日志分析和統(tǒng)計 - 開源軟件庫 - 開源中國社區(qū) http://www.oschina.net/project/tag/147/log-analyzer
用Kibana和logstash快速搭建實時日志查詢、收集與分析系統(tǒng) ?http://storysky.blog.51cto.com/628458/1158707/
Splunk 是一款頂級的日志分析軟件，如果你經(jīng)常用 grep、awk、sed、sort、uniq、tail、head 來分析日志，那么你需要 Splunk。能處理常規(guī)的日志格式，比如 apache、squid、系統(tǒng)日志、mail.log 這些。對所有日志先進行 index，然后可以交叉查詢，支持復(fù)雜的查詢語句。然后通過直觀的方式表現(xiàn)出來。日志可以通過文件方式傳倒 Splunk 服務(wù)器，也可以通過網(wǎng)絡(luò)實時傳輸過去。或者是分布式的日志收集?？傊С侄喾N日志收集方法。
這個軟件分為免費版本和專業(yè)版本。專業(yè)版本的價格是 3 萬多刀。免費版本的功能也足夠強大了。
一、Webtrends
Webtrends 7.0 已經(jīng)不單純是一款提供日志分析統(tǒng)計數(shù)據(jù)的軟件，除了最常見的日志分析功能外，其可以對數(shù)據(jù)進行深度挖掘，更重視網(wǎng)站運營、市場營銷等對運營人員更容易理解的方式提供解決方案，可以進一步對用戶的訪問行為、訪問流向、設(shè)定用戶場景分析、網(wǎng)絡(luò)營銷推廣活動、用戶訪問來源、內(nèi)容訪問等進行分析，對網(wǎng)站業(yè)務(wù)運營能夠提供比較全面支持分析。
WebTrends的搜索分析與其推出的WebPosition搜索引擎優(yōu)化解決方案的集成，及時擴充、增強了對Web的分析能力。WebTrends SmartReports針對Microsoft、Excel而開發(fā)，市場營銷人員通過其提供的定制化分析報告，就可將組織機構(gòu)與付費搜索定位、營銷額與ROI(市場投資回報率)之間的關(guān)系量化，進而幫助他們將目光聚焦在最有利可圖的搜索定位上。
由于Webtrends是一款企業(yè)級商業(yè)軟件，其價格也是相對比較高的，對于小型網(wǎng)站來說，可能并不適用，但強烈推薦有實力的大中型網(wǎng)站、電子商務(wù)類網(wǎng)站使用。
網(wǎng)址：http://www.webtrends.com
Download：http://www.skycn.com/soft/1437.html#downUrlMap
AWStats是我見過的所有免費日志分析軟件中最好的。這個軟件可以分析大量Web、ftp、email、流媒體等多種類型服務(wù)器的日志，因為是perl寫的，所以部署起來也相對容易，現(xiàn)在版本已經(jīng)支持負載均衡(load banlance)服務(wù)器、反相域名查詢等高級功能。而且AWStats是所有免費日志分析軟件中圖形界面做的最好的軟件，能夠提供非常漂亮的分析報表和圖形。AWStats可以分析出的報表數(shù)據(jù)基本能夠滿足日常運營的分析，也可以對搜索引擎的來源、關(guān)鍵字等進行分析。并且提供多語言支持，同樣的報表可以分別以中文、英文、日文等多種語言瀏覽。
建議中小型網(wǎng)站采用此日志分析工具進行分析。
網(wǎng)址：http://awstats.sourceforge.net/
演示網(wǎng)址：http://ns3744.ovh.NET/awstats/awstats.pl?config=destailleur.fr
Webalizer是最流行的記錄分析工具之一。很多人都喜歡這個工具，運行的速度非常快。但這個工具軟件的圖形報表不是很理想。軟件的GD圖形庫提供了一些可讀的圖表。但是，這些圖表從審美學(xué)的角度看并不是那樣吸引人。但這些報表足以提供一些重要的日志分析數(shù)據(jù)。
網(wǎng)站：http://www.mrunix.Net/webalizer/
由一撮頑固的愛好者支持的Analog工具軟件是另一個有希望的競爭者。Analog工具軟件盡可能的向用戶展示出每一種信息。同時。它也例示了一個向普通用戶展示大量信息的不錯例子。按照缺省設(shè)置，所有信息都顯示在同一網(wǎng)頁上。用戶點擊網(wǎng)頁頂端的導(dǎo)航欄可以選擇一個具體的報告，而這個報告又連接到報告的下一個部分。Analog的可取之處在于每一部分的網(wǎng)頁上端都有一個導(dǎo)航欄，在某種程度上簡化了導(dǎo)航方式。Analog比較有趣的列表包括:來自每個國家的點擊率是多少、把用戶帶到這個網(wǎng)站來的搜索引擎查詢以及訪問者使用哪一種瀏覽器軟件和哪一種操作系統(tǒng)。這個軟件能夠顯示網(wǎng)絡(luò)服務(wù)器記錄中的一切信息。這個軟件的圖形界面比基于GD圖形庫的Webalizer軟件稍微有所改進。但是，餅圖標和棒圖表距離理想的程度還差很遠。Analog包含許多有用的信息，而且導(dǎo)航功能還可以。我們認為，這個軟件應(yīng)該得到五星等級中的四星級。
Download：http://www.analog.cx/download.html
Summary是一個商業(yè)性日志分析工具，有30天免費試用期。這個軟件包含所有的可能的信息和并以文本網(wǎng)頁的方式提供一個列表選項供用戶點擊查看。例如，當(dāng)你點擊一個“帶寬峰值”的鏈接時，你將被引導(dǎo)到列出不同時段使用帶寬的網(wǎng)頁，每一個條目都有一個小條狀圖形，但是，Summary軟件中的圖形非常小。在這里，小并不是缺陷。正好相反，Summary軟件在外觀上看起來非常合適。然而，整個圖形用戶界面使用起來非常麻煩。我們用了很長時間才瀏覽完畢我們需要看到的報告。Summary軟件的價格不算太高，報告也非常合適。我們把這個軟件評為五個星的等級中的四星級。
Download：http://summary.net/download.html
Urchin 是一個范疇上與 Google Analytics（分析）類似的網(wǎng)絡(luò)分析解決方案，但它是一個由客戶安裝、托管和管理的軟件版本。 Urchin 可幫助網(wǎng)站所有者更好地了解自己的在線營銷活動、網(wǎng)站點擊量的特征以及訪問者的瀏覽體驗。 不過，與 Google Analytics（分析）不同的是，Urchin 并非免費（許可費為 2995 美元），并且需要有經(jīng)驗的技術(shù)人員進行安裝。
因為 Urchin 使用服務(wù)器日志作為主要的數(shù)據(jù)來源，所以可用于不適合采用 Google Analytics（分析）等托管服務(wù)的場合，例如跟蹤企業(yè) Intranet 的流量、重新處理歷史日志以及針對服務(wù)器錯誤提出報告。
所有人都可以下載并安裝功能完整的免費測試版，但許可只能通過 Urchin 軟件的授權(quán)顧問提供，并非直接通過 Google 提供。
目前Google的Urchin軟件beta版本為90天試用軟件，一旦Urchin開發(fā)完成，其價格為2995美元。
Download：http://www.google.com/urchin/download.html
總結(jié)
以上是生活随笔為你收集整理的常见日志、抓包和系统监控分析软件的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 学医考计算机三级,千万不要学医!一个过来
- 下一篇： 什么叫有功功率、无功功率和视在功率？三者