（1）

C++部署pytorch模型（上）

（2）

TensorRT5介紹及Pytorch轉(zhuǎn)TensorRT5代碼示例

TensorRT的使用步驟：（假設(shè)以及有一個訓練好的模型）
（1） 根據(jù)模型創(chuàng)建TensorRT網(wǎng)絡(luò)定義
（2） 調(diào)用TensorRT構(gòu)建器從網(wǎng)絡(luò)創(chuàng)建優(yōu)化的運行引擎
（3） 序列化和反序列化引擎，以便在運行時快速創(chuàng)建引擎
（4） 為引擎提供數(shù)據(jù)以執(zhí)行計算

（3）

一般流程是這樣的。cpu： pytorch -> onnx -> onnxruntimegpu：pytorch -> onnx -> onnx2trt -> TensorRT上述庫python、C++接口都具備，可以根據(jù)需要采用

轉(zhuǎn)自：python訓練的pytorch模型，如何使用c++調(diào)用并使用TensorRT加速?

（4）

tensorrt安裝_深度學習模型部署(1)Pytorch轉(zhuǎn)TensorRT(C++版)

說到底TensorRT的使用還是調(diào)包，只要對其流程熟悉了，使用起來也就不困難；
目前的模型是簡單的unet結(jié)構(gòu)，模型的層TensorRT都支持，下一步需要學習TRT中如何自定義自己的層，如DCN、NMS等。
教程還是官方的詳細，本文也是對官方教程的翻譯，再加上自己的一些理解與可能遇到的錯誤。建議英文閱讀無障礙的朋友可以直接看官方的教程。

（5）

問題：為什么沒有onnx轉(zhuǎn)換pytorch的方法？ - 九千樹的回答 - 知乎
因為從pytorch到onnx，包含權(quán)重參數(shù)信息的網(wǎng)絡(luò)結(jié)構(gòu)被優(yōu)化了，再返回去不好返

總結(jié)

以上是生活随笔為你收集整理的pytorch C++部署模型 ONNX tensorRT的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。