目錄

• TensorRT是什么
• TensorRT怎么用
• 相關鏈接

TensorRT是什么

? ? ? ?大家或多或少都訓練過神經網絡，比如LeNet、YOLO、SSD等。我們也都知道，模型的訓練速度和測試速度大幅依賴于GPU的性能。但是如果想在生活中使用這些方法（目標檢測、人臉識別等），比如在手機中使用目標檢測方法，我們不可能在手機中安裝一個GPU集群。但是不用GPU就會導致測試速度變慢，咋辦？
? ? ? ?NVIDIA推出了TensorRT，它可以加速高性能推理（high performance inference），使用TensorFlow、Caffe、PyTorch等訓練好的模型進行預測（推理），在精度下降很少的同時，大幅提高推理速度。
? ? ? ?模型訓練的時候因為要保證前后向傳播，每次梯度的更新是很微小的，這個時候需要相對較高的精度，一般來說需要float型，如FP32，32位的浮點型來處理數據，但是在推斷（Inference）的時候，對精度的要求沒有那么高，很多研究表明可以用低精度，如半長（16）的float型，即FP16，也可以用8位的整型（INT8）來做推斷（Inference），沒有特別大的精度損失。

TensorRT怎么用

? ? ? ?在使用TensorRT的過程中，我們的設備上無需安裝TensorFlow、Caffe等框架，可以直接對各種框架訓練好的模型進行解析，將其轉換為"TensorRT Runtime Engine"
? ? ? ?TensorRT工作的基本過程如下：(1).得到GIE模型，這里包括兩種方法：使用訓練好的模型轉化 or 自己構建GIE模型（可參考sampleMNIST_API）；(2).運行GIE；(3).得到結果。
? ? ? ?但是，TensorRT中只實現了一部分常用層，比如conv、pool、concat等，如果要用到更加復雜或者特定的層，需要使用plugin實現custom layer。一個簡單的教程在這里。

相關鏈接

• 下載鏈接
• 安裝教程
• TensorRT簡介
• 入門Samples教程
• 官方Doc(c_api)
• 官方Doc(py_api)
• CUDA Doc

總結

以上是生活随笔為你收集整理的TensorRT学习笔记2 - 基础知识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。