ML.NET 版本API 類型狀態(tài)應(yīng)用程序類型數(shù)據(jù)類型場景機器學(xué)習(xí)任務(wù)算法

v1.5.0	動態(tài)API	最新	端到端應(yīng)用	圖像文件	對象檢測	深度學(xué)習(xí)	ONNX: Tiny YOLOv2 & Custom Vision

問題

對象檢測是計算機視覺中的經(jīng)典問題之一：識別給定圖像中包含哪些對象以及它們在圖像中的位置。對于這些情況，您可以使用預(yù)先訓(xùn)練的模型，也可以訓(xùn)練自己的模型對自定義域特定的圖像進行分類。默認情況下，此示例使用預(yù)先訓(xùn)練的模型，但是您也可以添加從Custom Vision導(dǎo)出的模型。

示例的工作原理

此示例由兩個獨立的應(yīng)用程序組成:

• 一個WPF Core 桌面應(yīng)用程序呈現(xiàn)攝像頭的實時流，使用ML.NET通過對象檢測模型運行視頻幀，并用標簽繪制邊界框，指示實時檢測到的對象。

• 一個允許用戶上載或選擇圖像的ASP.NET Core Web應(yīng)用。Web應(yīng)用程序使用ML.NET通過一個對象檢測模型運行圖像，并用指示檢測到的對象的標簽繪制邊界框。

Web應(yīng)用程序顯示右側(cè)列出的圖像，可以選擇每個圖像進行處理。一旦圖像被處理，它將被繪制在屏幕的中間，每個檢測到的對象周圍都有標記的邊界框，如下所示。

或者，您可以嘗試上傳自己的圖片，如下所示。

ONNX

開放式神經(jīng)網(wǎng)絡(luò)交換即ONNX是一種表示深度學(xué)習(xí)模型的開放格式。使用ONNX，開發(fā)人員可以在最先進的工具之間移動模型，并選擇最適合他們的組合。ONNX是由包括微軟在內(nèi)的眾多合作伙伴共同開發(fā)和支持的。

預(yù)訓(xùn)練模型

有多個預(yù)先訓(xùn)練的模型用于識別圖像中的多個對象。WPF app和Web app都默認使用從ONNX Model Zoo下載的預(yù)先訓(xùn)練好的模型Tiny YOLOv2; 一組經(jīng)過預(yù)先訓(xùn)練的、最先進的ONNX格式模型。Tiny YOLOv2是一種用于目標檢測的實時神經(jīng)網(wǎng)絡(luò)，用于檢測20個不同的類，并在Pascal VOC數(shù)據(jù)集上進行訓(xùn)練。它由9個卷積層和6個最大池層組成，是更復(fù)雜的完整的YOLOv2網(wǎng)絡(luò)的較小版本。

Custom Vision 模型

此示例默認使用上述預(yù)先訓(xùn)練的Tiny YOLOv2模型。不過，它也支持從微軟Custom Vision導(dǎo)出的ONNX模型。

要使用自己的模型，請使用以下步驟

使用 Custom Vision 創(chuàng)建和訓(xùn)練物體探測器。要導(dǎo)出模型，請確保選擇一個緊湊域，例如常規(guī)（緊湊）。要導(dǎo)出現(xiàn)有的對象檢測器，請通過選擇右上角的齒輪圖標將域轉(zhuǎn)換為緊湊型。在_ 設(shè)置 _中，選擇一個緊湊的模型，保存并訓(xùn)練您的項目。

轉(zhuǎn)到_性能選項卡導(dǎo)出模型。選擇一個用緊湊域訓(xùn)練的迭代，將出現(xiàn)一個“導(dǎo)出”按鈕。選擇_導(dǎo)出、ONNX、ONNX1.2，然后選擇導(dǎo)出。文件準備好后，選擇“下載”按鈕。

導(dǎo)出的是一個包含多個文件的zip文件，包括一些示例代碼、標簽列表和ONNX模型。將.zip文件放到OnnxObjectDetection項目中的OnnxModels文件夾中。

在解決方案資源管理器中，右鍵單擊OnnxModels文件夾，然后選擇_添加現(xiàn)有項_。選擇剛添加的.zip文件。

在解決方案資源管理器中，從OnnxModels文件夾中選擇.zip文件。更改文件的以下屬性：

• 生成操作 -> 內(nèi)容

• 復(fù)制到輸出目錄 -> 如果較新則復(fù)制

現(xiàn)在，當(dāng)你生成和運行應(yīng)用程序時，它將使用你的模型而不是Tiny YOLOv2模型。

模型輸入和輸出

為了解析ONNL模型的預(yù)測輸出，我們需要了解輸入和輸出張量的格式（或形狀）。為此，我們將首先使用Netron，一個用于神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)模型的GUI可視化工具，用于檢查模型。

下面是一個例子，我們將看到使用Netron打開這個示例的Tiny YOLOv2模型：

從上面的輸出中，我們可以看到Tiny YOLOv2模型具有以下輸入/輸出格式：

輸入: 'image' 3x416x416

首先要注意的是，輸入張量的名稱是**'image'。稍后在定義評估管道的input**參數(shù)時，我們將需要這個名稱。

我們還可以看到，輸入張量的形狀是3x416x416。這說明傳入模型的位圖圖像應(yīng)該是416高x 416寬。“3”表示圖像應(yīng)為BGR格式；前3個“通道”分別是藍色、綠色和紅色。

輸出: 'data' 125x13x13

與輸入張量一樣，我們可以看到輸出名稱是**'data'。同樣，在定義評估管道的output**參數(shù)時，我們會注意到這一點。

我們還可以看到， 輸出張量的形狀是125x13x13。

125x13x13的“13x13”部分意味著圖像被分成一個13x13的“單元格”網(wǎng)格（13列x 13行）。因為我們知道輸入圖像是416x416，所以我們可以推斷出每個“單元”都是32高x 32寬（416/13=32）

???├────────────────?416?─────────────────┤┌──┬──┬──┬──┬──┬──┬──┬──┬──┬──┬──┬──┬──┐?┬?????416/13=32├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?│??????????┌──┐├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?│??????????└──┘├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?│?????????32x32├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?│├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?│ 13?├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?│├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?416├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?│├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?│├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?│├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?│├──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┼──┤?│└──┴──┴──┴──┴──┴──┴──┴──┴──┴──┴──┴──┴──┘?┴13

那125呢？“125”告訴我們，對于每個網(wǎng)格單元，模型返回125個“通道”（或數(shù)據(jù)）作為該單個單元的預(yù)測輸出。

要了解為什么有125個通道，我們首先需要了解該模型不能預(yù)測對象的任意邊界框。相反，每個單元格負責(zé)預(yù)測5個預(yù)定的邊界框。這5個框是根據(jù)以下每個anchor 框的偏移量計算得出的：

┌───────────────────┐ │???????┌───┐???????│ │?┌─────┼───┼─────┐?│ │?│??┌──┼───┼──┐??│?│ │?│??│??│┌─┐│??│??│?│ │?│??│??│└─┘│??│??│?│ │?│??└──┼───┼──┘??│?│ │?└─────┼───┼─────┘?│ │???????└───┘???????│ └───────────────────┘

因此，對于每個單獨的單元格，該模型返回5個預(yù)測（每個錨定一個，由上面的框形表示），每個預(yù)測包括以下25個參數(shù)：

• 4個參數(shù)指示邊界框的位置（x，y，寬度，高度）

• 1個參數(shù)指示盒子的置信度得分（或客觀性）

• 20個類別的概率（每個類別一個概率分數(shù)，表明該對象是該類別的可能性）

5個盒子x 25個參數(shù)= 125個'通道'

注意，如果對模型進行訓(xùn)練以檢測不同數(shù)量的類，則該值將不同。例如，僅能檢測3個不同類的模型的輸出格式為40x13x13：

• （x，y，寬度，高度，客觀性）+ 3個類別概率= 8個參數(shù)

• 5個盒子 x 8個參數(shù) = 40個'通道'

解決方案

此解決方案中的項目使用.NET Core 3.0。為了運行此示例，您必須安裝.NET Core SDK 3.0。為此，請執(zhí)行以下任一操作：

通過轉(zhuǎn)到.NET Core 3.0下載頁面手動安裝SDK，并在“SDK”列中下載最新的“.NET Core安裝程序”。

或者，如果您使用的是Visual Studio 2019，請轉(zhuǎn)至：?工具>選項>環(huán)境>預(yù)覽功能 ，然后選中以下復(fù)選框： 使用.NET Core SDK的預(yù)覽

解決方案包含三個項目

• OnnxObjectDetection是WPF應(yīng)用程序和Web應(yīng)用程序都使用的.NET Standard庫。它包含用于通過模型運行圖像并解析結(jié)果預(yù)測的大多數(shù)邏輯。該項目還包含ONNX模型文件。除了在圖像/屏幕上繪制標簽邊界框之外，此項目包含下面的所有代碼段。

• OnnxObjectDetectionWeb 包含一個ASP.NET Core Web App，其中包含Razor UI頁面和API controller以處理和呈現(xiàn)圖像。

• OnnxObjectDetectionApp 包含一個.NET CORE WPF桌面應(yīng)用程序，該應(yīng)用程序使用OpenCvSharp從設(shè)備的網(wǎng)絡(luò)攝像頭捕獲視頻。

代碼演練

該示例與getting-started object detection sample不同，在這里我們加載/處理在內(nèi)存中的圖像**，而入門示例從文件中加載圖像。

創(chuàng)建一個類，該類定義將數(shù)據(jù)加載到IDataView中時要使用的數(shù)據(jù)模式。ML.NET支持圖像的Bitmap類型，因此我們將指定以ImageTypeAttribute修飾的Bitmap屬性，并傳入通過[檢查模型]](#model-input-and-output)得到的高度和寬度尺寸，如下所示。

public?struct?ImageSettings {public?const?int?imageHeight?=?416;public?const?int?imageWidth?=?416; }public?class?ImageInputData {[ImageType(ImageSettings.imageHeight,?ImageSettings.imageWidth)]public?Bitmap?Image?{?get;?set;?} }

ML.NET: 配置模型

第一步是創(chuàng)建一個空的DataView，以獲取配置模型時要使用的數(shù)據(jù)架構(gòu)。

var?dataView?=?_mlContext.Data.LoadFromEnumerable(new?List<ImageInputData>());

第二步是定義評估器管道。通常在處理深度神經(jīng)網(wǎng)絡(luò)時，必須使圖像適應(yīng)網(wǎng)絡(luò)所期望的格式。因此，下面的代碼將調(diào)整圖像的大小并對其進行變換（所有R、G、B通道的像素值都已標準化）。

var?pipeline?=?mlContext.Transforms.ResizeImages(resizing:?ImageResizingEstimator.ResizingKind.Fill,?outputColumnName:?onnxModel.ModelInput,?imageWidth:?ImageSettings.imageWidth,?imageHeight:?ImageSettings.imageHeight,?inputColumnName:?nameof(ImageInputData.Image)).Append(mlContext.Transforms.ExtractPixels(outputColumnName:?onnxModel.ModelInput)).Append(mlContext.Transforms.ApplyOnnxModel(modelFile:?onnxModel.ModelPath,?outputColumnName:?onnxModel.ModelOutput,?inputColumnName:?onnxModel.ModelInput));

接下來，我們將使用通過檢查模型 得到的輸入和輸出張量名稱來定義Tiny YOLOv2 Onnx模型的input和output參數(shù)。

public?struct?TinyYoloModelSettings {public?const?string?ModelInput?=?"image";public?const?string?ModelOutput?=?"grid"; }

最后，通過擬合“DataView”來創(chuàng)建模型。

var?model?=?pipeline.Fit(dataView);

加載模型并創(chuàng)建PredictionEngine

配置模型后，我們需要保存模型，加載保存的模型，創(chuàng)建一個PredictionEngine，然后將圖像傳遞給引擎以使用模型檢測對象。這是一個Web應(yīng)用程序和WPF應(yīng)用程序略有不同的地方。

Web應(yīng)用程序使用一個PredictionEnginePool來高效地管理服務(wù)，并為服務(wù)提供一個PredictionEngine來進行預(yù)測。在內(nèi)部，它進行了優(yōu)化，以便在創(chuàng)建這些對象時，以最小的開銷在Http請求之間緩存和共享對象依賴關(guān)系。

public?ObjectDetectionService(PredictionEnginePool<ImageInputData,?TinyYoloPrediction>?predictionEngine) {this.predictionEngine?=?predictionEngine; }

而WPF桌面應(yīng)用程序創(chuàng)建一個PredictionEngine，并在本地緩存以用于每個幀預(yù)測。需要澄清的關(guān)鍵點是，實例化PredictionEngine的調(diào)用代碼負責(zé)處理緩存（與PredictionEnginePool相比）。

public?PredictionEngine<ImageInputData,?TinyYoloPrediction>?GetMlNetPredictionEngine() {return?mlModel.Model.CreatePredictionEngine<ImageInputData,?TinyYoloPrediction>(mlModel); }

檢測圖像中的對象

獲取預(yù)測時，我們在PredictedLabels屬性中得到一個大小為21125的 float數(shù)組。這是前面討論過的模型的125x13x13輸出。然后，我們使用OnnxOutputParser類解釋并返回每個圖像的多個邊界框。同樣，這些框被過濾，因此我們只檢索到5個具有高置信度的框。

var?labels?=?tinyYoloPredictionEngine?.Predict(imageInputData).PredictedLabels; var?boundingBoxes?=?outputParser.ParseOutputs(labels); var?filteredBoxes?=?outputParser.FilterBoundingBoxes(boundingBoxes,?5,?0.5f);

在圖像中檢測到的對象周圍繪制邊界框

最后一步是在對象周圍繪制邊界框。

Web應(yīng)用程序使用Paint API將框直接繪制到圖像上，并返回圖像以在瀏覽器中顯示。

var?img?=?_objectDetectionService.DrawBoundingBox(imageFilePath);using?(MemoryStream?m?=?new?MemoryStream()) {img.Save(m,?img.RawFormat);byte[]?imageBytes?=?m.ToArray();//?Convert?byte[]?to?Base64?Stringbase64String?=?Convert.ToBase64String(imageBytes);var?result?=?new?Result?{?imageString?=?base64String?};return?result; }

另外，WPF應(yīng)用程序在與流式視頻播放重疊的Canvas 元素上繪制邊界框。

DrawOverlays(filteredBoxes,?WebCamImage.ActualHeight,?WebCamImage.ActualWidth);WebCamCanvas.Children.Clear();foreach?(var?box?in?filteredBoxes) {var?objBox?=?new?Rectangle?{/*?...?*/?};var?objDescription?=?new?TextBlock?{/*?...?*/?};var?objDescriptionBackground?=?new?Rectangle?{/*?...?*/?};WebCamCanvas.Children.Add(objDescriptionBackground);WebCamCanvas.Children.Add(objDescription);WebCamCanvas.Children.Add(objBox); }

關(guān)于準確性的說明

Tiny YOLOv2的精確度明顯低于完整的YOLOv2模型，但是對于這個示例應(yīng)用程序來說，Tiny版本已經(jīng)足夠了。

疑難解答（Web應(yīng)用程序）

通過應(yīng)用程序服務(wù)在Azure上部署此應(yīng)用程序時，您可能會遇到一些常見問題。

應(yīng)用程序返回5xx代碼

• 要在Azure門戶中添加.NET Core 3.0支持，請選擇相應(yīng)應(yīng)用程序服務(wù)的開發(fā)工具>擴展部分中的添加按鈕。

• 然后，從擴展列表中選擇選擇擴展并選擇ASP.NET Core 3.0（x64）Runtime并接受法律條款，繼續(xù)將擴展添加到應(yīng)用程序服務(wù)。

部署應(yīng)用程序后，您可能會得到5xx代碼的一個原因是平臺。web應(yīng)用程序僅在64位體系結(jié)構(gòu)上運行。在Azure中，更改設(shè)置>配置>常規(guī)設(shè)置菜單中相應(yīng)應(yīng)用程序服務(wù)中的平臺設(shè)置。

部署應(yīng)用程序后使用5xx代碼的另一個原因是web應(yīng)用程序的目標框架是.NET Core 3.0，它目前正在預(yù)覽中。您可以將應(yīng)用程序和引用的項目還原為.NET Core 2.x或向應(yīng)用程序服務(wù)添加擴展。

• 相對路徑

  在本地和Azure上工作時，路徑的工作方式略有不同。如果成功地部署了應(yīng)用程序，但單擊其中一個預(yù)加載的映像或上載自己的映像不起作用，請嘗試更改相對路徑。為此，在Controllers/ObjectDetectionController.cs文件中，更改構(gòu)造函數(shù)中的_imagesTmpFolder的值。

  _imagesTmpFolder?=?CommonHelpers.GetAbsolutePath(@"ImagesTemp");

  對Get操作中的imageFileRelativePath執(zhí)行相同的操作。

  string?imageFileRelativePath?=?@"assets"?+?url;

  或者，您可以根據(jù)環(huán)境（dev / prod）設(shè)置條件，是使用路徑的本地版本還是Azure首選的版本。

總結(jié)

以上是生活随笔為你收集整理的ML.NET 示例：对象检测-ASP.NET Core Web和WPF桌面示例的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。