介紹

我認為大多數軟件工程師都了解日志的重要性。 它們已成為軟件開發的一部分。 如果無法解決問題，我們嘗試在日志中查找原因。 對于一些簡單的情況，當錯誤阻止應用程序打開窗口時，這可能就足夠了。 您可以在日志中找到問題，然后在Google上查找并應用解決方案。 但是，如果要修復包含許多組件的大型產品中的錯誤，則分析日志將成為主要問題。 通常，維護工程師（正在修復不開發新功能的錯誤）需要處理數百兆字節的日志。 日志通常分為50-100 MB的單獨文件并壓縮。

有幾種方法可以使這項工作更輕松。 我將描述一些現有的解決方案，然后解釋解決此問題的理論方法。 這篇博客文章不會討論任何具體的實現。

現有解決方案

文本編輯器

此解決方案實際上不是解決方案，它是大多數人在需要閱讀文本文件時會采取的措施。 一些文本編輯器可能具有有用的功能，例如顏色選擇，書簽，可以使工作更輕松。 但是，文本編輯器仍然沒有一個不錯的解決方案。

圓鋸

該工具可以使用log4j模式從日志中提取字段。 聽起來不錯，但這些字段在文字中已經很明顯了。 顯然，與簡單的文本編輯器相比，改進是微不足道的。

LogStash

這個項目看起來還不錯。 但是這種方法非常具體。 即使我從描述中從未使用過此工具，但我了解到他們使用ElasticSearch和簡單的文本搜索來分析日志。 日志必須上傳到某處并建立索引。 之后，該工具可能會顯示最常用的單詞，用戶可以使用文本搜索等。聽起來不錯，似乎有所改進。 不幸的是沒有那么多。 缺點如下：

• 需要一些時間才能開始使用日志。 一個必須上傳它們，將它們編入索引。 工作完成后，必須從系統中刪除這些日志。 如果打算對日志進行分析和丟棄，則看起來有些過分。
• 很多組件涉及很多必需的配置。
• 全文搜索對日志不是很有用。 通常，工程師正在尋找類似“使用參數678678678創建的連接2345”之類的東西。 查找“使用參數創建”將返回所有連接。 查找“連接2345”將返回所有此類語句，但是通常只有一個-創建此連接時。

其他基于云的解決方案

有很多基于云的解決方案可用。 他們大多數有商業計劃，有些有免費計劃。 它們提供通知，可視化和其他功能，但主要原理與LogStash相同。

日志分析說明

要了解為什么這些解決方案在分析復雜問題時效果不佳，我們需要嘗試了解工作流程。 這是文本編輯器的示例工作流程：

工程師收到了1 GB的日志，其中包含該bug發生在23:00的信息，請求ID為12345。

首先，他或她會嘗試在這段時間內發現任何錯誤或異常。

如果失敗，則工程師必須為該請求重建事件流。 他或她開始尋找諸如“已創建連接”，“已刪除連接”，“請求移至此階段”之類的語句，以試圖縮小問題的時間范圍。

這通常是成功的（即使可能要花費很多時間），現在很明顯，問題是在將連接111移到狀態Q之后發生的。

經過多一點的挖掘之后，工程師發現這與連接222進入狀態W一致。

最終，工程師高興地看到，將連接222移動到新狀態的線程還修改了另一個影響連接111的變量。最后是根本原因。

在此工作流程中，我們看到工程師大部分時間都在尋找帶有某些參數的標準字符串。 如果可以簡化的話……

IDE方法

IDE方法包括幾個部分。

正則表達式 。 使用正則表達式，可以指定模板并在日志中搜索它。 使用正則表達式查找標準字符串要簡單得多。

正則表達式配置 。 這里的想法是標準字符串如“創建的連接\ d {5} \ w {2}”，“連接\ d {5} \ w {2}移到階段\ w {7}”，“連接\ d { 5} \ w {2}已刪除”不會經常更改。 編寫正則表達式每次都很難找到它，因為這樣的正則表達式可能真的很長很復雜。 如果可以通過單擊按鈕來配置和使用它們，則會更加容易。

IDE 。 我們需要某種IDE來將其結合在一起。 要讀取配置，請顯示日志文件和存儲的正則表達式，并顯示文本和搜索結果。 最好像這樣：

顏色特征 。 從經驗中我知道，當您可以用顏色標記一些字符串以在日志中輕松查看日志時，日志分析要容易得多。 大多數商業日志分析器工具都使用顏色選擇。 IDE應該對此提供幫助。

利弊

IDE方法的優點：

無需云服務。 沒有在某處加載千兆字節的日志，沒有云配置。 只需打開IDE記錄日志，打開日志文件夾并開始分析。

如果IDE是免費的，則整個過程是完全免費的。 無論如何應該比日志服務便宜。

IDE方法的缺點：

大多數云服務“實時”提供實時通知和日志分析。 這意味著一旦指定的異常發生，就會通知用戶。 IDE方法無法做到這一點。

由于在Java中使用大字符串會消耗大量內存，因此對用戶PC的要求會更高。 根據我的經驗，最低要求為8 GB。

最重要的是，IDE方法適合分析日志中的復雜問題。 它不能提供云服務的實時功能，但是對于分析和修復錯誤應該便宜得多，并且更容易。

最后的想法

如果有人可以實施這種出色的方法，那就太好了！ 我的意思是創建具有所有這些功能的IDE，并使每個人的日志分析更加輕松！ 我從經驗中知道，這可能是一件乏味的工作，比實際要難。 在下一篇文章（第2部分）中，我將解釋這種方法的困難/挑戰，并提供基于Eclipse框架的可行實現。

翻譯自: https://www.javacodegeeks.com/2018/11/ide-approach-log-analysis-pt.html

總結

以上是生活随笔為你收集整理的IDE日志分析方法pt。 1个的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。