TensorRT深度學習訓練和部署
NVIDIA TensorRT是用于生產環境的高性能深度學習推理庫。功率效率和響應速度是部署的深度學習應用程序的兩個關鍵指標，因為它們直接影響用戶體驗和所提供服務的成本。Tensor RT自動優化訓練好的神經網絡，以提高運行時性能，與僅使用通用CPU的深度學習推理系統相比，Tesla P100 GPU的能源效率（每瓦性能）提高多達16倍（見圖1）。圖2顯示了使用TensorRT和相對復雜的GoogLenet神經網絡架構運行NVIDIA Tesla P100和K80進行推理的性能。
本文將展示如何使用Tensor RT，在基于GPU的部署平臺上，從經過訓練的深度神經網絡中，獲得最佳效率和性能。

圖1：NVIDIA Tensor RT通過Tesla P100上的FP16，為神經網絡推理提供了16倍的高能效。

圖2：NVIDIA Tensor RT通過Tesla P100上的FP16提供了23倍的神經網絡推理性能。
用深度神經網絡解決有監督的機器學習問題，涉及兩個步驟。

1. 第一步是使用GPU在大量標記數據上訓練深度神經網絡。在此步驟中，神經網絡學習了數百萬個權重或參數，從而使其能夠映射輸入數據示例，以糾正響應。訓練要求迭代前后遍歷網絡，因為相對于網絡權重，目標函數被最小化了。通常會對幾種模型進行訓練，并針對訓練期間未看到的數據驗證準確性，以便估算實際性能。
2. 下一步-推論-使用訓練好的模型對新數據進行預測。在此步驟中，訓練好的模型，用于在生產環境中運行的應用程序，例如數據中心，汽車或嵌入式平臺。對于某些應用，例如自動駕駛，推理是實時進行的，因此高吞吐量至關重要。
   
   
   
   
   
   
   

總結

以上是生活随笔為你收集整理的TensorRT深度学习训练和部署图示的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。