作者?Taylor, Mary, 翻譯?李翊瑋

關(guān)于 OpenVINO? 深度學(xué)習(xí)工作臺的三部分系列文章

關(guān)于該系列

• 了解如何轉(zhuǎn)換、微調(diào)和打包 推理就緒的 TensorFlow 模型，該模型針對英特爾?硬件進行了優(yōu)化，僅使用 Web 瀏覽器。每一步都在云中使用 OpenVINO? 深度學(xué)習(xí)工作臺和 Intel? DevCloud for the Edge 進行。
• 第一部分：我們向您展示英特爾?深度學(xué)習(xí)推理工具及其工作原理的基礎(chǔ)知識。
• 第二部分（此文）：我們使用OpenVINO深度學(xué)習(xí)工作臺完成導(dǎo)入，轉(zhuǎn)換和基準(zhǔn)測試TensorFlow模型的每個步驟。
• 第三部分：我們向您展示如何更改精度級別以提高性能，以及如何使用OpenVINO深度學(xué)習(xí)工作臺僅使用瀏覽器導(dǎo)出隨時可運行的推理包。

第二部分：使用 OpenVINO 深度學(xué)習(xí)工作臺在英特爾硬件上導(dǎo)入、轉(zhuǎn)換 TensorFlow 模型并進行基準(zhǔn)測試
在第一部分中，我們解釋了深度學(xué)習(xí)推理的基礎(chǔ)知識以及它在英特爾硬件上的工作原理。然后，我們向您展示了如何獲得免費的英特爾? DevCloud for the Edge 帳戶，以便您可以使用 OpenVINO 深度學(xué)習(xí)工作臺開始在線轉(zhuǎn)換和優(yōu)化推理模型。

在第二部分中，我們將引導(dǎo)您完成從TensorFlow模型為英特爾硬件創(chuàng)建優(yōu)化的推理模型，并運行您的第一個基準(zhǔn)測試。

如果您還沒有，請注冊DevCloud for the Edge。它是免費的，只需要幾分鐘。擁有帳戶后，登錄到 DevCloud 并啟動 OpenVINO 深度學(xué)習(xí)工作臺。
?

步驟一：創(chuàng)建配置并導(dǎo)入TensorFlow模型

若要開始，請單擊“創(chuàng)建”創(chuàng)建新配置。您可以根據(jù)需要創(chuàng)建任意數(shù)量的配置 —使用不同的模型、優(yōu)化和目標(biāo)硬件。

首先，單擊深度學(xué)習(xí)工作臺起始頁上的創(chuàng)建。

接下來，我們將導(dǎo)入模型。您可以上傳自己的模型，也可以從我們的開放模型動物園獲取一個。在本演示中，讓我們從 Open Model Zoo 導(dǎo)入一個基于 COCO 的對象檢測模型。

您可以導(dǎo)入自己的模型，也可以使用我們的開放模型動物園中的模型。

第二步：將TensorFlow模型轉(zhuǎn)換為英特爾?紅外文件

OpenVINO 深度學(xué)習(xí)工作臺（使用模型優(yōu)化器）修剪，合并層，并將來自多個框架的模型轉(zhuǎn)換為可用于任何英特爾硬件的中間文件（IR文件）。IR 文件包括具有模型拓?fù)涞?/span>.xml文件和具有權(quán)重和值的二進制 （.bin） 文件。

要進行轉(zhuǎn)換，我們所要做的就是選擇我們的精度級別：GPU可以運行FP32或FP16。Intel? Movidius? VPU 以 FP16 運行。CPU 以 FP32運行。為了簡單起見，我們將在CPU上運行此演示，因此我們將選擇FP32。

?選擇FP32或FP16并進行轉(zhuǎn)換。

第三步：在 DevCloud 中選擇目標(biāo)設(shè)備 由于我們通過 DevCloud運行工作臺，因此我們可以訪問每個英特爾?處理器的架構(gòu)、英特爾凌動?、英特爾?酷睿?、英特爾?至強?和英特爾? Movidius? VPU。

試用英特爾? CPU、集成 GPU、VPU 和 FPGA。

讓我們選擇英特爾?至強? 6258R（又名Cascade Lake）。它具有英特爾?深度學(xué)習(xí)加速功能，這將使我們能夠在FP32和INT8中運行我們的模型，以實現(xiàn)更快的推理處理。

英特爾?至強? 6258R 具有英特爾?深度學(xué)習(xí)加速技術(shù)，因此我們可以測試 INT8 性能。
?

第四步：獲取數(shù)據(jù)集

現(xiàn)在我們有一個可以運行的模型，我們需要一個數(shù)據(jù)集進行基準(zhǔn)測試。您可以上傳自己的數(shù)據(jù)集

或生成隨機數(shù)據(jù)集。數(shù)據(jù)集可以注釋，也可以不注釋。

如果測量模型準(zhǔn)確性很重要，則需要一個帶注釋的數(shù)據(jù)集。如果您更關(guān)心性能或想要執(zhí)行默認(rèn)校準(zhǔn)，則可以在不進行注釋的情況下工作。對于此示例，我們將使用 GitHub 中的 COCO 數(shù)據(jù)集，而不帶注釋。

請務(wù)必選中“驗證數(shù)據(jù)集提示”。它告訴您如何構(gòu)建文件并將其存檔以進行上傳。

注意：您還可以在本地計算機上運行深度學(xué)習(xí)工作臺。本地版本和 DevCloud 版本的功能略有不同。您可以在 OpenVINO? 工具包文檔中了解本地計算機上的Dl Workbench 功能的差異。

請務(wù)必遵循驗證數(shù)據(jù)集提示中概述的目錄結(jié)構(gòu)。

第五步：對模型進行基準(zhǔn)測試

現(xiàn)在我們開始看看深度學(xué)習(xí)工作臺真正閃耀的地方。我們的第一次測試運行創(chuàng)建了一個包含大量信息的單一基準(zhǔn)測試。我們可以看到 nGraph 和運行時圖，并解壓縮每一層的執(zhí)行時間。

每次測試運行都會創(chuàng)建一個基準(zhǔn)測試，其中包含大量的逐層性能數(shù)據(jù)。
我們可以運行更多測試，包括具有不同批大小和流的組推理，并更廣泛地了解模型的性能。

深度學(xué)習(xí)工作臺基準(zhǔn)測試提供了廣泛的性能數(shù)據(jù)。

您運行的每個測試都會創(chuàng)建一個新的基準(zhǔn)。將性能曲線拖動到目標(biāo)基準(zhǔn)測試，Workbench 將調(diào)整模型以達到目標(biāo)。

第六步：選擇性能點

我們所做的每次運行都會? 在性能圖上創(chuàng)建一個基準(zhǔn)測試，該基準(zhǔn)根據(jù)吞吐量和每秒分析的圖像數(shù)（在本例中）繪制延遲（運行推理所需的時間）。

我們可以選擇吞吐量和處理速度的任何平衡; 我們所要 做的就是點擊一下。工作臺將自動創(chuàng)建一個達到該標(biāo)記的推理配置文件。

下一步 - 第三部分：分析、優(yōu)化和打包用于在英特爾架構(gòu)上部署的 TensorFlow 模型
在下一篇文章中，我們將探討 OpenVINO 深度學(xué)習(xí)工作臺中的一些高級工具，將模型轉(zhuǎn)換為 INT8，并向您展示打包生產(chǎn)就緒型應(yīng)用是多么容易。

總結(jié)

以上是生活随笔為你收集整理的在英特尔硬件上部署深度学习模型的无代码方法 关于OpenVINO深度学习工作台的三部分系列 第二部的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。