原文地址：http://www.dotnetcurry.com/aspnet/1354/elastic-search-kibana-in-docker-dotnet-core-app

想要輕松地通過許多不同的方式查詢數(shù)據(jù)，甚至是從未預(yù)料到的方式？想要以多種方式可視化日志？同時支持基于時間、文本和其他類型的即時過濾器？
借助于?Elastic?stack 的卓越性能和可擴(kuò)展方式的優(yōu)點(diǎn)，我們將通過兩個示例輕松實(shí)現(xiàn)。

本文由?DNC Magazine for Developers and Architects?發(fā)布。?從這里下載此雜志[PDF] 或?免費(fèi)訂閱本雜志?下載所有以前和當(dāng)前的版本版本。

在這篇文章中，我將介紹流行的搜索引擎 Elasticsearch，其配套的可視化應(yīng)用 Kibana，并展示如何對.NET核心可以輕松地與 Elastic stack 整合在一塊。

Elasticsearch和.Net Core

我們將開始探索 Elasticsearch 的 REST API ，通過索引和查詢某些數(shù)據(jù)。接著，我們將使用Elasticsearch官方的 .Net API 完成類似的練習(xí)。一旦熟悉 Elasticsearch 及其 API 后，我們將使用 .Net Core 創(chuàng)建一個日志模塊，并將數(shù)據(jù)發(fā)送到 Elasticsearch 。Kibana緊隨其中，以有趣的方式可視化 Elasticsearch 的索引數(shù)據(jù)。
我迫切希望你會認(rèn)為這篇文章十分有趣，并且想要了解更多關(guān)于Elastic的強(qiáng)大之處。

本文假設(shè)您已經(jīng)了解 C＃和 REST API 的基本知識。使用 Visual Studio，Postman 和 Docker 等工具，但您可以輕松使用 VS Code 和 Fiddler 等替代方案。

Elasticsearch - 簡介

Elasticsearch 作為核心的部分，是一個具有強(qiáng)大索引功能的文檔存儲庫，并且可以通過 REST API 來搜索數(shù)據(jù)。它使用 Java 編寫，基于?Apache Lucene，盡管這些細(xì)節(jié)隱藏在 API 中。
通過被索引的字段，可以用許多不同的聚合方式找到任何被存儲(索引)的文檔。
但是，ElasticSearch不僅僅只提供對這些被索引文檔的強(qiáng)大搜索功能。
快速、分布式、水平擴(kuò)展，支持實(shí)時文檔存儲和分析，支持?jǐn)?shù)百臺服務(wù)器和 PB 級索引數(shù)據(jù)。同時作為 Elastic stack (aka ELK) 的核心，提供了諸如 LogStash、Kibana 和更多的強(qiáng)大應(yīng)用。
Kibana?是 Elasticsearch 中專門提供強(qiáng)有力的可視化查詢Web應(yīng)用程序。使用Kibana，能非常簡單地為 Elasticsearch 中索引的數(shù)據(jù)創(chuàng)建查詢、圖表和儀表盤。
Elasticsearch開放了一個 REST API，你會發(fā)現(xiàn)許多文檔示例是 HTTP 調(diào)用，你可以嘗試使用 curl 或 postman 等工具。當(dāng)然，這個 API 的客戶端已經(jīng)用許多不同的語言編寫，包括.Net、Java、Python、Ruby和JavaScript等。
如果你想，Elasticsearch?官方網(wǎng)站?可能是最好的地方。

Docker是在本地運(yùn)行的最簡方式

在這篇文章中，我們需要先連接到一個 Elasticsearch （和后面的Kibana）的服務(wù)器。如果您已經(jīng)有一個在本地運(yùn)行或可以使用的服務(wù)器，那很好。否則需要先搭建一個服務(wù)器。
您可以選擇在您的本地機(jī)器或可以使用的 VM 或服務(wù)器中下載和安裝 Elasticsearch 和 Kibana 。不過，建議您使用最簡單最純粹的方式，使用Docker 搭建 Elasticsearch 和 Kibana 。
您可以直接運(yùn)行以下命令，獲取包含Elasticsearch和Kibana的容器。

docker run -it --rm -p 9200:9200 -p 5601:5601 --name esk nshou/elasticsearch-kibana

• -it 表示以交互模式啟動容器，并附加到終端。

• --rm 表示從終端退出后，容器將被移除。

• -p 將容器中的端口映射到主機(jī)中的端口

• --name 給容器一個名稱，當(dāng)您不使用的情況下可以用 --rm 手動停止/刪除

• nshou/elasticsearch-kibana 是?Docker Hub中的一個鏡像的名稱，已經(jīng)有人幫你準(zhǔn)備好了Elasticsearch和Kibana

• 如果你喜歡在后臺運(yùn)行的話，你可以使用參數(shù)-d 代替 --it --rm，并且手動停止/刪除容器。

在同一個容器中運(yùn)行多個應(yīng)用程序，就像我們現(xiàn)在這種做法，非常適用本文，但不是推薦用于生產(chǎn)容器！

您應(yīng)該意識到，一旦你刪除容器，你的數(shù)據(jù)就會消失（一旦你使用-rm選項(xiàng)就刪除它了）。雖然有利于本地實(shí)驗(yàn)，但在實(shí)際環(huán)境中，如果您不想丟失數(shù)據(jù)，請參照 "data container" 模式。

Docker是一個很棒的工具，我鼓勵你更多地了解它，特別是如果你想做更重要的事情，而不僅僅是跟隨本文，在本地快速搭建 Elasticsearch 服務(wù)器。在之前的文章?Building DockNetFiddle using Docker and .NET Core?中已經(jīng)對 .NET Core 搭配 Docker 有很好的介紹。

只需打開?http://localhost:9200?和?http://localhost:5600?，檢查Elasticsearch 和 Kibana 是否都可以使用。（如果您使用docker toolbox，請使用托管Docker的虛擬機(jī)ip替換localhost，您可以在命令行中運(yùn)行 docker-machine env default ）。

在docker中運(yùn)行 Elasticsearch

kibana也準(zhǔn)備好了

在 Elasticsearch 中索引和查詢

在我們開始編寫任何 .Net 代碼之前，我們先了解一下一些基本知識。先在 Elasticsearch 索引一些文檔（類似于存到數(shù)據(jù)庫），以便我們對它們運(yùn)行不同的查詢。

在這里，我將使用Postman向我們的 Elasticsearch 服務(wù)器發(fā)送 HTTP 請求，但您可以使用任何其他類似的工具，如?Fiddler或?curl?。

我們要做的第一件事是請求 Elasticsearch 創(chuàng)建一個新的索引 (譯者語:類似創(chuàng)建一個表) 并索引一些文檔 (譯者語:類似于在數(shù)據(jù)中插入數(shù)據(jù)) 。這類似于將數(shù)據(jù)存儲在表/集合中，主要區(qū)別（和目的）是讓 Elasticsearch 集群 （這里只是一個節(jié)點(diǎn)） 可以分析和搜索文檔數(shù)據(jù)。
被索引的文檔在 Elasticsearch 中以索引和類型進(jìn)行組織。以往，被拿來和數(shù)據(jù)庫表做對比，往往會令人困惑。如這篇文章所述，索引由Lucene處理，在分布式跨?分片?中，與類型緊密地聯(lián)系在一起。
發(fā)送以下兩個請求以創(chuàng)建索引，并在該索引中插入文檔 (請記住 toolbox，如果使用docker ，請使用托管Docker的虛擬機(jī)ip而不是localhost) :

• 創(chuàng)建一個名為 "default" 的新索引。

PUT localhost:9200/default

• 在 "default" 索引中索引文檔。請注意，我們需要知道我們存儲哪種類型的文檔（"product"）和該文檔的ID (如 1，盡管您可以使用任何值，只要它是唯一的)

PUT localhost:9200/default/product/1 { ? ?"name": "Apple MacBook Pro", ? ?"description": "Latest MacBook Pro 13", ? ?"tags": ["laptops", "mac"] }

創(chuàng)建一個新索引

索引新文檔

在我們驗(yàn)證搜索功能和查詢數(shù)據(jù)之前，再索引幾個 "product"。嘗試使用不同的 "tags"，如 "laptops"和 "laptops"，并記得使用不同的ids！
完成后，讓我們按名稱排序的搜索所有被索引的文檔。您可以使用查詢字符串或 GET/POST 同樣的內(nèi)容，下面兩個請求是等效的：

GET http://localhost:9200/default/_search?q=*&sort=name.keyword:asc POST http://localhost:9200/default/_search { ?"query": { "match_all": {} }, ?"sort": [ ? ?{ "name.keyword": "asc" } ?] }

讓我們嘗試一些更有趣的東西，例如搜索 "description" 字段中含有 "latest" ，同時 "tags" 字段中含有 "laptops" 的所有文檔：

POST http://localhost:9200/default/_search { ?"query": { ? ? ?"bool": { ? ? ?"must": [ ? ? ? ?{ "match": {"description": "latest"} }, ? ? ? ?{ "match": { "tags": "laptops" } } ? ? ?] ? ?} ?}, ?"sort": [ ? ?{ "name.keyword": "asc" } ?] }

搜索結(jié)果

Kibana 可視化數(shù)據(jù)

作為介紹的最后部分，我們將對 Kibana 的相關(guān)知識蜻蜓點(diǎn)水。
假設(shè)您在上一步已經(jīng)索引了幾個文檔，通過訪問?http://localhost:5601?中打開在 Docker 的 Kibana 服務(wù)器。你會注意到，Kibana 要求你提供默認(rèn)的索引模式，所以必須告訴它使用的 Elasticsearch 索引：

• 我們在上一節(jié)中創(chuàng)建了一個名為 "default" 的索引，因此可以使用?"default"?作為索引模式。

• 您還需要取消 "索引包含基于時間的事件 (Index contains time-based events ) " 選項(xiàng)，因?yàn)槲覀兊奈臋n不包含任何時間字段。

在 Kibana 中添加索引模式

完成后，使用左側(cè)菜單打開 " 發(fā)現(xiàn) (Discover) " 頁面，您應(yīng)該會看到上一節(jié)中插入的所有最新文檔。嘗試選擇不同的字段，在搜索欄中輸入相關(guān)的字段或某個過濾器：

在 kibana 中可視化數(shù)據(jù)

最后，我們創(chuàng)建一個餅圖，顯示 "laptops" 或 "desktops" 的銷量百分比。利用之前索引的數(shù)據(jù)，在左側(cè)菜單新建一個 "餅圖 (Pie Chart)" 。
您可以在 餅圖 (Pie Chart)的頁面上配置。將 " Count " 作為切片的大小，并在 " buckets " 部分中選擇 " split slices " 。將 " filters " 作為聚合類型，添加兩個過濾器：tags ="laptop" 和 tags ="desktoptops" 。單擊運(yùn)行，您將看到類似于下圖：

在Kibana中創(chuàng)建餅圖

確保在搜索欄中輸入包含已過濾的項(xiàng)目的搜索關(guān)鍵詞，并注意到可視化圖形如何變化。

Elasticsearch .Net API

在簡要介紹Elasticsearch和Kibana之后，我們來看看我們?nèi)绾斡?.Net 應(yīng)用程序索引和查詢我們的文檔。
您可能想知道為什么要這樣做，而不是直接使用 HTTP API 。我可以提供幾個理由，我相信你可以自己找?guī)讉€：

• 你不想直接暴露 Elasticsearch 集群

• Elasticsearch 可能不是您的主數(shù)據(jù)庫，您可能需要結(jié)合來自主數(shù)據(jù)庫的結(jié)果。

• 你希望包含來自存儲/生產(chǎn)服務(wù)器中的被索引文檔

首先需要注意的是打開?這個文檔?,有兩個官方提供的 APIs :?Elasticsearch.Net?和?NEST?，都支持 .Net Core 項(xiàng)目。

• Elasticsearch.Net 提供了一個用于與 Elasticsearch連接的低級API，提供構(gòu)建/處理請求和響應(yīng)的功能。它是 .Net 瘦客戶端。

• NEST 在 Elasticsearch.Net 之上，提供了更高級別的 API 。它可以將對象映射到請求/響應(yīng)中，提供強(qiáng)大查詢功能，將索引名稱、文檔類型、字段類型用于構(gòu)建與 HTTP REST API 的匹配查詢。

• Elasticsearch .Net API

由于我使用的是 NEST，所以第一步是創(chuàng)建一個新的 ASP .Net Core 應(yīng)用程序，并使用 Package Manager 安裝NEST。

使用Nest開始索引數(shù)據(jù)

我們將在新的 ASP.Net Core 應(yīng)用程序中完成之前手動發(fā)送 HTTP 請求的一些步驟。如果需要，請重新啟Docker 容器，從而清理數(shù)據(jù)；或通過 HTTP API 和 Postman 手動刪除文檔/索引。
我們首先為產(chǎn)品創(chuàng)建一個POCO模型：

public class Product { ? ?public Guid Id { get; set; } ? ?public string Name { get; set; } ? ?public string Description { get; set; } ? ?public string[] Tags { get; set; } ? ? ? ? }

接下來，我們創(chuàng)建一個新的控制器 ProductController，它具有添加新的 "Product" 的方法和基于單個關(guān)鍵詞查找 "Product" 的方法：

[Route("api/[controller]")] public class ProductController : Controller { ? ?[HttpPost] ? ?public async Task< IActionResult > Create([FromBody]Product product) ? ?{ ? ?} ? ?[HttpGet("find")] ? ?public async Task< IActionResult > Find(string term) ? ?{ ? ?} }

為了實(shí)現(xiàn)這些方法，我們需要先連接到 Elasticsearch。這里有一個 ElasticClient 連接的正確示范。 由于該類是線程安全的，所以推薦的方法是在應(yīng)用程序中使用單例模式，而不是按請求創(chuàng)建新的連接。

為了簡潔起見，我現(xiàn)在將使用帶有硬編碼設(shè)置的私有靜態(tài)變量。在 .Net Core 中使用依賴注入配置框架，或查看?Github中?的代碼。

可以想到的是，至少需要提供被連接的 Elasticsearch 集群的URL。當(dāng)然，還有其他可選參數(shù)，用于與您的群集進(jìn)行身份驗(yàn)證、設(shè)置超時、連接池等。

private static readonly ConnectionSettings connSettings = ? ?new ConnectionSettings(new Uri("http://localhost:9200/")); ? ? ? ?private static readonly ElasticClient elasticClient = ? ?new ElasticClient(connSettings);

建立連接后，索引文檔只是簡單地使用 ElasticClient 的Index/IndexAsync 方法：

[Route("api/[controller]")]public class ProductController : Controller { ? ?[HttpPost] ? ?public async Task<IActionResult> Create([FromBody]Product product) ? ?{ ? ?} ? ?[HttpGet("find")] ? ?public async Task<IActionResult> Find(string term) ? ?{ ? ?} }

很簡單，對吧？不幸的是，如果您向Postman發(fā)送以下請求，您將看到失敗。

POST http://localhost:65113/api/product { ? ?"name": "Dell XPS 13", ? ?"description": "Latest Dell XPS 13", ? ?"tags": ["laptops", "windows"] }

這是因?yàn)镹EST無法確定在索引文檔時使用哪個索引！如果您想起手動使用 HTTP API 的做法，那么需要在URL指出文檔的索引、文檔的類型和ID，如?localhost:9200/default/product/1

NEST能夠推斷文檔的類型（使用類的名稱），還可以默認(rèn)對字段進(jìn)行索引（基于字段的類型），但需要一些索引名稱的幫助。您可以指定默認(rèn)的索引名稱，以及特定類型的特定索引名稱。

connSettings = new ConnectionSettings(new Uri("http://192.168.99.100:9200/")) ? ?.DefaultIndex("default") ? ?//Optionally override the default index for specific types ? ?.MapDefaultTypeIndices(m => m ? ? ? ?.Add(typeof(Product), "default"));

進(jìn)行這些更改后再試一次。您將看到 NEST 創(chuàng)建索引(如果尚未存在)，并將文檔編入索引。如果你切換到 Kibana，你也可以看到該文檔。需要注意的是:

• 從類的名稱推斷文檔類型，如 Product

• 在類中將Id屬性推斷為標(biāo)識

• 將所有公開的屬性發(fā)送到 Elasticsearch

使用NEST索引的文檔

在我們查詢數(shù)據(jù)之前，重新考慮創(chuàng)建索引的方式。
如何創(chuàng)建索引?
現(xiàn)在我們得到一個事實(shí)，即如果這個索引不存在，也會被創(chuàng)建。然而映射字段的索引方式很重要，并直接定義了 Elasticsearch 如何索引和分析這些字段。這對于字符串字段尤其明顯，因?yàn)樵?Elasticsearch v5 中提供了兩種不同字段類型的 "Text" 和 "Keyword"：

• Text 類型的字段將會被分析和分解成單詞，以便用于更高級的 Elasticsearch 搜索功能

• 另一方面，Keyword 字段將 "保持原樣" 而不進(jìn)行分析，只能通過其精確值進(jìn)行搜索。

您可以使用 NEST 索引映射屬性來生成POCO模型：

public class Product { ? ?public Guid Id { get; set; } ? ?[Text(Name="name")] ? ?public string Name { get; set; } ? ?[Text(Name = "description")] ? ?public string Description { get; set; } ? ?[Keyword(Name = "tag")] ? ?public string[] Tags { get; set; } ? ? ? ? }

然而，我們需要先創(chuàng)建索引，必須使用 ElasticClient API 手動創(chuàng)建和定義索引的映射。這是非常簡單的，特別是如果我們只是使用屬性：

if (!elasticClient.IndexExists("default").Exists) { ? ?elasticClient.CreateIndex("default", i => i ? ? ? ?.Mappings(m => m ? ? ? ? ? ?.Map<Product>(ms => ms.AutoMap()))); }

直接向Elasticsearch發(fā)送請求(GET localhost:92000/default)，并注意與我們想要的映射是否相同。

使用NEST創(chuàng)建索引映射

使用Nest查詢數(shù)據(jù)

現(xiàn)在，我們有一個使用 NEST 對 "products" 進(jìn)行索引的 ProductController 控制器。是時候，為這個控制器添加 Find action，用于使用 NEST 向 Elasticsearch 查詢文檔。
我們只是用到一個字段來實(shí)現(xiàn)一個簡單的搜索。您應(yīng)該觀察所有字段:

• 映射為?"Text"?類型的字段可以被分析，您可以在 "name" / "description" 字段內(nèi)搜索特定的單詞

• 映射為?"Keywords"?的字段是保持原樣的，未進(jìn)行分析。您只能在 "tags" 字段中完全匹配。

NEST 提供了一個查詢 Elasticsearch 的豐富 API，可以轉(zhuǎn)換成標(biāo)準(zhǔn)的 HTTP API 。實(shí)現(xiàn)上述查詢類型與使用Search/SearchAsync方法一樣簡單，并構(gòu)建一個 SimpleQueryString 作為參數(shù)。

[HttpGet("find")] public async Task<IActionResult> Find(string term) { ? ?var res = await elasticClient.SearchAsync<Product>(x => x ? ? ? ?.Query( q => q. ? ? ? ? ? ?SimpleQueryString(qs => qs.Query(term)))); ? ?if (!res.IsValid) ? ?{ ? ? ? ?throw new InvalidOperationException(res.DebugInformation); ? ?} ? ?return Json(res.Documents); }

使用PostMan測試您的新操作：

使用nest查詢

正如您可能已經(jīng)意識到的那樣，我們的操作行為與手動發(fā)送請求到 Elasticsearch 一樣：

GET http://localhost:9200/default/_search?q=*&

在 .Net Core 中創(chuàng)建一個Elasticsearch日志提供程序

現(xiàn)在我們了解了 NEST 的一些基礎(chǔ)知識，讓我們嘗試一些更有野心的事情。我們已經(jīng)創(chuàng)建了一個 ASP.Net Core 的應(yīng)用程序，借助.NET Core的日志框架，實(shí)現(xiàn)我們的日志提供程序，并將信息發(fā)送到Elasticsearch。
新的日志 API 在日志 (logger) 和日志提供程序 (logger provider) 方面的區(qū)別：

• 日志 (logger) 記錄信息和事件，如用于控制器中

• 可以為應(yīng)用程序添加并啟用多個日志提供程序 (provider) ，并可以配置獨(dú)立的記錄級別和記錄相應(yīng)的信息/事件。

該日志框架內(nèi)置了一些對事件日志、Azure 等的日志提供程序 (provider)，但正如您將看到的，創(chuàng)建自己的并不復(fù)雜。有關(guān)詳細(xì)信息，請查閱.NET Core 關(guān)于日志的官方文檔。
在本文的最后部分，我們將為Elasticsearch創(chuàng)建一個新的日志提供程序，在我們的應(yīng)用程序中啟用它，并使用Kibana來查看記錄的事件。

為Elasticsearch添加一個新的日志提供程序

首先要做的是定義一個新的POCO對象，我們將使用它作為使用NEST進(jìn)行索引的文檔，類似于之前創(chuàng)建的 "Product" 類。
這將包含有關(guān)可能發(fā)生的任何異常以及相關(guān)請求數(shù)據(jù)的記錄信息、可選信息。記錄請求數(shù)據(jù)將會派上用場，因?yàn)槲覀兛梢愿鶕?jù)具體請求查詢/可視化我們記錄的事件。

public class LogEntry { ? ?public DateTime DateTime { get; set; } ? ?public EventId EventId { get; set; } ? ?[Keyword] ? ?[JsonConverter(typeof(StringEnumConverter))] ? ?public Microsoft.Extensions.Logging.LogLevel Level { get; set; } ? ?[Keyword] ? ?public string Category { get; set; } ? ?public string Message { get; set; } ? ?[Keyword] ? ?public string TraceIdentifier { get; set; } ? ?[Keyword] ? ?public string UserName { get; set; } ? ? ? ? ? ?[Keyword] ? ?public string ContentType { get; set; } ? ?[Keyword] ? ?public string Host { get; set; } ? ? ? ? ? ?[Keyword] ? ?public string Method { get; set; } ? ? ? ? ? ?[Keyword] ? ?public string Protocol { get; set; } ? ?[Keyword] ? ?public string Scheme { get; set; } ? ?public string Path { get; set; } ? ?public string PathBase { get; set; } ? ?public string QueryString { get; set; } ? ?public long? ContentLength { get; set; } ? ?public bool IsHttps { get; set; } ? ?public IRequestCookieCollection Cookies { get; set; } ? ?public IHeaderDictionary Headers { get; set; } ? ?[Keyword] ? ?public string ExceptionType { get; set; } ? ? ? ? ? ?public string ExceptionMessage { get; set; } ? ?public string Exception { get; set; } ? ?public bool HasException { get { return Exception != null; } } ? ?public string StackTrace { get; set; } }

下一步是在一個新類上實(shí)現(xiàn)ILogger接口。如您所想，這將需要記錄的數(shù)據(jù)映射到一個新的 LogEntry 對象，并使用 ElasticClient 對其進(jìn)行索引。

• 我們將使用IHttpContextAccessor，以便我們可以獲取當(dāng)前的HttpContext并提取相關(guān)的請求屬性。

在這里就不寫連接到Elasticsearch并創(chuàng)建索引的代碼，這與之前的操作，沒有什么不同。使用不同的索引或刪除上一節(jié)中索引的 "products" 。

注意：?您可以使用依賴注入和配置文檢查?Github?中?的配套代碼。

實(shí)現(xiàn)的主要方法是Log <TState>，這是我們創(chuàng)建一個LogEntry并用NEST進(jìn)行索引：

public void Log< TState >(LogLevel logLevel, EventId eventId, TState state, Exception exception, Func< TState, Exception, string > formatter) { ? ?if (!IsEnabled(logLevel)) return; ? ?var message = formatter(state, exception); ? ?var entry = new LogEntry ? ?{ ? ? ? ?EventId = eventId, ? ? ? ?DateTime = DateTime.UtcNow, ? ? ? ?Category = _categoryName, ? ? ? ?Message = message, ? ? ? ?Level = logLevel ? ?}; ? ?var context = _httpContextAccessor.HttpContext; ? ?if (context != null) ? ?{ ? ? ? ? ? ? ? ? ? ? ? ?entry.TraceIdentifier = context.TraceIdentifier; ? ? ? ?entry.UserName = context.User.Identity.Name; ? ? ? ?var request = context.Request; ? ? ? ?entry.ContentLength = request.ContentLength; ? ? ? ?entry.ContentType = request.ContentType; ? ? ? ?entry.Host = request.Host.Value; ? ? ? ?entry.IsHttps = request.IsHttps; ? ? ? ?entry.Method = request.Method; ? ? ? ?entry.Path = request.Path; ? ? ? ?entry.PathBase = request.PathBase; ? ? ? ?entry.Protocol = request.Protocol; ? ? ? ?entry.QueryString = request.QueryString.Value; ? ? ? ?entry.Scheme = request.Scheme; ? ? ? ?entry.Cookies = request.Cookies; ? ? ? ?entry.Headers = request.Headers; ? ?} ? ?if (exception != null) ? ?{ ? ? ? ?entry.Exception = exception.ToString(); ? ? ? ?entry.ExceptionMessage = exception.Message; ? ? ? ?entry.ExceptionType = exception.GetType().Name; ? ? ? ?entry.StackTrace = exception.StackTrace; ? ?} ? ?elasticClient.Client.Index(entry); }

您還需要額外實(shí)現(xiàn) BeginScope 和 IsEnabled 方法。

• 為了本文的目的，忽略 BeginScope，只返回null。

• 更新您的構(gòu)造函數(shù)，以便它接收一個日志級別(LogLevel)，如果接收到大于或等于構(gòu)造函數(shù)中的日志級別，則實(shí)現(xiàn) IsEnabled 并返回 true。

你可能會問為什么需要分類？這是一個用于標(biāo)識日志是哪種類型的字符串。默認(rèn)情況下，每次注入ILogger <T>的實(shí)例時，該類別默認(rèn)分配為T的分類名稱。例如，獲取ILogger <MyController>并使用它來記錄某些事件，意味著這些事件將具有 "MyController " 名稱。
這可能派上用場，例如為不同的類設(shè)置不同的日志級別，以過濾/查詢記錄的事件。我相信您可能還想到更多的用法。

這個類的實(shí)現(xiàn)將如下所示：

public class ESLoggerProvider: ILoggerProvider { ? ?private readonly IHttpContextAccessor _httpContextAccessor; ? ?private readonly FilterLoggerSettings _filter; ? ?public ESLoggerProvider(IServiceProvider serviceProvider, FilterLoggerSettings filter = null) ? ?{ ? ? ? ?_httpContextAccessor = serviceProvider.GetService<IHttpContextAccessor>(); ? ? ? ?_filter = filter ?? new FilterLoggerSettings ? ? ? ?{ ? ? ? ? ? ?{"*", LogLevel.Warning} ? ? ? ?}; ? ?} ? ?public ILogger CreateLogger(string categoryName) ? ?{ ? ? ? ?return new ESLogger(_httpContextAccessor, categoryName, FindLevel(categoryName)); ? ?} ? ?private LogLevel FindLevel(string categoryName) ? ?{ ? ? ? ?var def = LogLevel.Warning; ? ? ? ?foreach (var s in _filter.Switches) ? ? ? ?{ ? ? ? ? ? ?if (categoryName.Contains(s.Key)) ? ? ? ? ? ? ? ?return s.Value; ? ? ? ? ? ?if (s.Key == "*") ? ? ? ? ? ? ? ?def = s.Value; ? ? ? ?} ? ? ? ?return def; ? ?} ? ?public void Dispose() ? ?{ ? ?} }

最后，我們創(chuàng)建一個擴(kuò)展方法，可以用于在啟動類中注冊我們的日志提供程序：

public static class LoggerExtensions { ? ?public static ILoggerFactory AddESLogger(this ILoggerFactory factory, IServiceProvider serviceProvider, FilterLoggerSettings filter = null) ? ?{ ? ? ? ?factory.AddProvider(new ESLoggerProvider(serviceProvider, filter)); ? ? ? ?return factory; ? ?} }public void Configure(IApplicationBuilder app, IHostingEnvironment env, ILoggerFactory loggerFactory) { ? ?loggerFactory.AddConsole(Configuration.GetSection("Logging")) ? ? ? ?.AddDebug() ? ? ? ?.AddESLogger(app.ApplicationServices, new FilterLoggerSettings ? ? ? ?{ ? ? ? ? ? ?{"*", LogLevel.Information} ? ? ? ?}); ? ?… }

請注意我如何覆蓋默認(rèn)設(shè)置并按日志級別分類記錄。這樣，我們可以輕松地為每個請求索引一些事件。

在Kibana中可視化數(shù)據(jù)

現(xiàn)在我們已經(jīng)在Kibana中記錄了事件，我們來探索數(shù)據(jù)可視化吧！
首先，在Kibana中重建索引，這次確保選擇"?Index contains time-based events ( Index包含基于時間的事件 )"，選擇字段dateTime作為"Time-field name (時間字段名稱)"。
接下來，啟動您的應(yīng)用程序，瀏覽一些頁面以獲取一些事件日志。還可以在某個端點(diǎn)隨意添加拋出異常的代碼，以便我們可以看到被記錄的異常數(shù)據(jù)。
在這之后，請轉(zhuǎn)到Kibana的?發(fā)現(xiàn) (Discover)?頁面，您可以看到由 "dateTime" 字段排序的多個事件（默認(rèn)情況下，數(shù)據(jù)被過濾為最近15分鐘，但您可以在右上角更改）：

Kibana可視化中記錄的事件

試著在搜索欄中輸入 "exception"，并注意任何一個被分析的文本字段中包含 "exception" 的事件。然后嘗試搜索特定的異常類型（記住我們使用了一個關(guān)鍵字字段！）。
您還可以嘗試搜索特定的URL，如以 " /Home/About "和" /Home/About" 路徑的兩種搜索方式 。您會注意到第一種情況包括引用者是 "/Home/About" 的事件，而第二種情況則只能正確返回路徑為 "/Home/About" 的事件。
一旦你熟悉了數(shù)據(jù)，以及如何查詢數(shù)據(jù)，那么可以用數(shù)據(jù)創(chuàng)建一些有趣的圖形。
首先，我們將創(chuàng)建一個圖表，顯示每分鐘記錄的異常數(shù)。

• 轉(zhuǎn)到Kibana的?可視化 (Visualize)?頁面，并創(chuàng)建一個新的?垂直條形圖 (Vertical bar chart)?。

• 選擇Y軸作為計(jì)數(shù)，X軸上為日期的直方圖。

• 將間隔設(shè)置為每分鐘，最后在搜索框中添加一個過濾器 "hasException：true" 。

一個很棒的圖表，顯示每分鐘記錄的異常數(shù)目：

每分鐘記錄的異常數(shù)目

接下來，顯示每個 category 隨時間記錄的消息數(shù)量，限于前5個 category ：

• 轉(zhuǎn)到Kibana的?可視化 (Visualize)?頁面，并創(chuàng)建一個新的?線型圖 (Line chart)?。

• 再次選擇Y軸作為計(jì)數(shù)，X軸上為日期的直方圖，選擇dateTime作為字段，間隔為每分鐘。

• 現(xiàn)在添加一個 sub-bucket 并選擇 "split lines" 。使用 "significant terms" 作為聚合，category 為字段，單位為5個。

這將繪制類似于以下的圖表：

隨著時間的推移

嘗試在搜索框中添加一些過濾器，并查看它對結(jié)果的影響。
最后，我們添加另一個圖表，我們將看到前五個出現(xiàn)最多的消息和前五個 categories 的消息。

• 轉(zhuǎn)到Kibana的?可視化 (Visualize)?頁面，并創(chuàng)建一個新的?餅圖 (Pie chart)?。

• 像之前一樣，選擇Y軸的計(jì)數(shù)

• 現(xiàn)在，將 "Terms" 作為聚合，將 "category" 作為字段，數(shù)量作為單位，限制前五個，畫出圖表。

• 然后將 "Terms" 作為聚合來分割切片，"message.keyword" 作為字段，數(shù)量作為單位，限制前五個。
  一旦你有了這些設(shè)置，你會看到一個類似于這個圖表：

每個 category 中最常見的消息

花時間觀察下數(shù)據(jù)(百分比，message/category 顯示在圖表元素上)。例如，您將觀察到由
DeveloperExceptionPageMiddleware類記錄的異常。

結(jié)論

Elasticsearch是一個強(qiáng)大的數(shù)據(jù)索引和查詢平臺。雖然它本身相當(dāng)令人印象深刻，但與其他應(yīng)用程序（如Kibana）相結(jié)合，可以很好地分析、報(bào)告和可視化數(shù)據(jù)。只要您開始使用，只是蜻蜓點(diǎn)水都能的到非凡的結(jié)果。
對于 .Net 和 .Net Core，Elasticsearch 官方的 API 已經(jīng)覆蓋，因?yàn)樗鼈冎С?.Net Standard 1.3和更高版本（他們?nèi)匀辉跒?.1提供支持）。
正如我們已經(jīng)看到的，在 ASP.Net Core 項(xiàng)目中使用這個 API 是很方便的，我們可以輕松地將其 REST API 作為存儲，以及在應(yīng)用程序中作為日志提供程序。
最后但并非不重要的一點(diǎn)，我希望您使用Docker。嘗試使用 Elasticsearch，同時思考Docker可以為您和您的團(tuán)隊(duì)做些什么。

相關(guān)文章：?

• 使用Elasticsearch 與 NEST 庫 構(gòu)建 .NET 企業(yè)級搜索

• 配置高性能ElasticSearch集群的9個小貼士

• 免費(fèi)開源分布式系統(tǒng)日志收集框架 Exceptionless

• ExceptionLess新玩法 — 記日志
  

原文地址：http://www.cnblogs.com/chenug/p/6681891.html

---

.NET社區(qū)新聞，深度好文，微信中搜索dotNET跨平臺或掃描二維碼關(guān)注

總結(jié)

以上是生活随笔為你收集整理的使用ElasticSearch，Kibana，ASP.NET Core和Docker可视化数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。