一、集中式日志

日志可分為系統日志、應用日志以及業務日志，系統日志給運維人員使用，應用日志給研發人員使用，業務日志給業務操作人員使用。我們這里主要講解應用日志，通過應用日志來了解應用的信息和狀態，以及分析應用錯誤發生的原因等。

隨著系統的日益復雜，大數據時代的來臨，需要幾十甚至上百臺的服務器是常有的事，因此迫切需要有一套針對日志、且能夠集中式管理的產品。ELK 就實現了集中式日志管理平臺，該平臺統一涵蓋了分布式日志收集、檢索、統計、分析以及對日志信息的 Web 管理等集中化管控。

1.1、ELK 簡介

ELK 是 Elasticsearch、Logstash、Kibana 的簡稱，這三套開源工具組合起來能搭建一套強大的集中式日志管理平臺。

Elasticsearch 是個開源的分布式搜索引擎，提供搜索、分析、存儲數據三大功能。它的特點有：分布式、自動發現、索引自動分片、索引副本機制、RESTful 風格接口、多數據源以及自動搜索負載等。

Logstash 是一個開源的用來收集、解析、過濾日志的工具。支持幾乎任何類型的日志，包括系統日志、業務日志和安全日志。它可以從許多來源接收日志，這些來源主要包括 Syslog、消息傳遞（例如 RabbitMQ）和 Filebeat；能夠以多種方式輸出數據，這些方式主要包括電子郵件、WebSockets 和 Elasticsearch。

Kibana 是一個基于 Web 的友好圖形界面，用于搜索、分析和可視化存儲在 Elasticsearch 中的數據。它利用 Elasticsearch 的 RESTful 接口來檢索數據，不僅允許用戶定制儀表板視圖，還允許他們以特殊的方式查詢、匯總和過濾數據。

1.2、ELK 的架構

下圖是集中式日志管理 ELK 的架構圖。出于性能的考慮，選擇采用了 Beats+EK 的形式來組合搭建集中式日志管理系統。

ELK 架構

二、配置方法

2.1、Elasticsearch

Elasticsearch 部署完成后，需要更改 elasticsearch.yml 配置文件中的主要屬性：cluster.name、node.name、network.host、discovery.zen.ping.unicast.hosts。其中，當部署 Elasticsearch 時是以集群模式部署的，那么 discovery.zen.ping.unicast.hosts 這個屬性才會需要被配置。

2.2、Logstash

通過配置 filebeat-pipeline.conf 文件中的 Input、Filter（可選）和 Output 來完成對數據的采集、過濾和輸出，如下圖所示：

Logstash 配置

然后以 filebeat-pipline.conf 文件啟用 Logstash 服務，如下圖所示：

啟用 Logstash 服務

備注：由于采用的是 Beats+EK 這個方案來實現集中式日志管理，所以不需要配 Logstash。

2.3、Kibana

通過更改 kibana.yml 配置文件內容，用來連接正確的 Elasticsearch 服務地址，通常只需要配置 elasticsearch.url 屬性即可，請見下圖的第一個圖。配置完成后，執行【bin/kibana &】命令啟用 Kibana 服務，請見下圖的第二個圖。最后就可以在瀏覽器中打開 Kibana 管理頁面（訪問地址：http://139.198.13.12:4800/）來查看日志。

Kibana 的配置說明

啟用 Kibana 服務

2.4、Filebeat

filebeat.yml 配置文件內容主要包含 Filebeat、Output、Shipper（可選）、Logging（可選）四大部分，其中 Filebeat 主要定義監控的日志文件信息，Output 主要配置日志數據的輸出目標。

filebeat.yml 文件中，主要屬性值的命名規范如下：

fields.AppID 的命名規范是{AppID}。

fields.AppName 的命名規范是{產品線英文名稱}.{項目英文名稱}（如果項目英文名稱由 2 個或 2 個以上英文單詞組成，則單詞之間請用. 分隔）。

針對 index 屬性需要注意的是：索引 (index) 所定義的值是{產品線英文名稱}，但英文字母必須全部小寫，且不能以下劃線開頭，也不能包含逗號。

filebeat.yml 的配置示例如下圖所示：

filebeat.yml 的配置示例

日志文件存放在哪臺服務器中，filebeat 服務就部署在哪臺服務器中。在 windows 操作系統上啟用 filebeat 服務的步驟：

1、在 windows 下開啟搜索，輸入 powershell，打開 powershell 所在文件位置，右鍵 powershell.exe 以管理員身份運行，進入 PowerShell 窗口。

或者以管理員身份啟動 cmd.exe，輸入命令 powershell，進入 PowerShell 窗口 。

注意：

請務必確保以管理員身份打開 PowerShell 窗口，否則的話在以下第 2 步中運行.ps1 腳本時，就會報沒有權限創建 filebeat 服務的錯誤：

2、導向到 filebeat 執行程序所在目錄，例如：cd 'E:\ELK\filebeat-1.3.0-windows'，然后執行命令：powershell.exe -ExecutionPolicy UnRestricted -File .\install-service-filebeat.ps1。

3、之后可以在 PowerShell 窗口中通過以下幾個命令來查看、啟用以及停止 filebeat 服務：

• 查看 filebeat 服務狀態：Get-Service filebeat
• 啟動 filebeat 服務：Start-Service filebeat
• 停止 filebeat 服務：Stop-Service filebeat

三、使用方法

3.1、Log4Net 本地日志

1、日志存放路徑規范：{盤符}:\Log4Net{AppID}\，其中 AppID 即為我們所做項目的六位編碼。例如：D:\Log4Net\110107\。

2、log4net.config 配置內容：

<?xml version="1.0" encoding="utf-8" ?> <configuration> <configSections> <section name="log4net" type="System.Configuration.IgnoreSectionHandler"/> </configSections> <appSettings> </appSettings> <log4net> <appender name="FileAppender" type="log4net.Appender.RollingFileAppender"> <!--AppID 150202，用于區分哪個應用的日志 --> <file value="D:\Log4Net\150202\" /> <rollingStyle value="Composite" /> <datePattern value="yyyy-MM-dd&quot;.log&quot;" /> <staticLogFileName value="false" /> <param name="Encoding" value="utf-8" /> <maximumFileSize value="100MB" /> <countDirection value="0" /> <maxSizeRollBackups value="100" /> <appendToFile value="true" /> <layout type="log4net.Layout.PatternLayout"> <conversionPattern value="記錄時間：%date 線程：[%thread] 日志級別：%-5level 記錄類：%logger 日志消息：%message%newline" /> </layout> </appender> <logger name="FileLogger" additivity="false"> <level value="DEBUG" /> <appender-ref ref="FileAppender" /> </logger> </log4net> </configuration>

注意了：

• maximumFileSize 設置為 100MB；請給 countDirection 設置為大于 -1 的整數；maxSizeRollBackups 設置為 100。
• 日志文件內容規范：日志文件中的每條日志內容要求是“記錄時間 線程 日志級別 出錯類 日志消息”。

3.2、日志查詢

基于 Kibana 查詢日志（訪問地址：http://139.198.13.12:4800/），主要通過以下幾個步驟實現：

選擇業務索引庫。

選擇日期范圍。

輸入待查找的內容實現精確查詢，也可以通過輸入 * 實現模糊查詢。

點擊每條日志的展開圖標，可以查看該條日志的詳細信息。

在 Kibana 界面的左側區域，自上而下依次是索引庫選擇框、選中字段集合列表（Selected Fields）、可用字段集合列表（Available Fields）。通過添加可用字段到選中字段集合列表中來改變 Kibana 右側的日志表格呈現。

請參考如下圖所示：

Kibana 查詢日志界面

四、Demo 下載及更多資料

• Log4NetDemo 下載地址：https://github.com/das2017/Log4NetDemo
• ELK 官網：https://www.elastic.co/
• 正則表達式配置說明：https://www.elastic.co/guide/en/beats/filebeat/current/regexp-support.html

轉自http://www.infoq.com/cn/articles/architecture-practice-03-elk

轉載于:https://www.cnblogs.com/zhaohainuo/p/8808643.html

總結

以上是生活随笔為你收集整理的中小型研发团队架构实践：集中式日志ELK的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。