TensorRT Analysis Report

一．介紹

TensorRT是一個高性能的深度學(xué)習(xí)推理（Inference）優(yōu)化器，可以為深度學(xué)習(xí)應(yīng)用提供低延遲、高吞吐率的部署推理。TensorRT可用于對超大規(guī)模數(shù)據(jù)中心、嵌入式平臺或自動駕駛平臺進(jìn)行推理加速。TensorRT現(xiàn)已能支持Tensorflow、Caffe、Mxnet、Pytorch等幾乎所有的深度學(xué)習(xí)框架，將TensorRT和NVIDIA的GPU結(jié)合起來，能在幾乎所有的框架中進(jìn)行快速和高效的部署推理。

TensorRT 是一個C++庫，從 TensorRT 3 開始提供C++ API和Python API，主要用來針對 NVIDIA GPU進(jìn)行高性能推理（Inference）加速。現(xiàn)在最新版TensorRT是4.0版本。

TensorRT 之前稱為GIE。

關(guān)于推理（Inference）：

在推理過程中，基于 TensorRT 的應(yīng)用程序的執(zhí)行速度可比 CPU 平臺的速度快 40 倍。借助 TensorRT，可以優(yōu)化在所有主要框架中訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，精確校正低精度，并最終將模型部署到超大規(guī)模數(shù)據(jù)中心、嵌入式或汽車產(chǎn)品平臺中。

TensorRT以 NVIDIA 的并行編程模型CUDA 為基礎(chǔ)構(gòu)建而成，可幫助利用 CUDA-X 中的庫、開發(fā)工具和技術(shù)，針對人工智能、自主機(jī)器、高性能計算和圖形優(yōu)化所有深度學(xué)習(xí)框架中的推理。

TensorRT 針對多種深度學(xué)習(xí)推理應(yīng)用的生產(chǎn)部署提供INT8和 FP16 優(yōu)化，例如視頻流式傳輸、語音識別、推薦和自然語言處理。推理精度降低后可顯著減少應(yīng)用延遲，這恰巧滿足了許多實(shí)時服務(wù)、自動和嵌入式應(yīng)用的要求。

TensorRT項目立項的時候名字叫做GPU Inference Engine（簡稱GIE），Tensor表示數(shù)據(jù)流動以張量的形式。

張量可以理解為更加復(fù)雜的高維數(shù)組。

緯度的就叫Tensor，Matrix其實(shí)是二維的Tensor。

在TensoRT中，所有的數(shù)據(jù)都被組成最高四維的數(shù)組，如果對應(yīng)到CNN中其實(shí)就是{N, C, H, W}，N表示batch size，即多少張圖片或者多少個推斷（Inference）的實(shí)例；C表示channel數(shù)目；H和W表示圖像或feature maps的高度和寬度。TR表示的是Runtime。

下圖是NVDIA針對深度學(xué)習(xí)平臺的一系列完整的解決方案。分為訓(xùn)練和部署兩部分，訓(xùn)練部分首先也是最重要的是構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，準(zhǔn)備數(shù)據(jù)集，使用各種框架進(jìn)行訓(xùn)練，訓(xùn)練要包含validation和test的過程，最后對于訓(xùn)練好的模型要在實(shí)際業(yè)務(wù)中進(jìn)行使用。

訓(xùn)練（Training）這個階段如果模型比較慢，可以用更大的集群、更多的機(jī)器，做更大的數(shù)據(jù)并行甚至是模型并行來訓(xùn)練它，重要的是成本的投入。

部署端不只是成本的問題，如果方法不得當(dāng)，即使使用目前最先進(jìn)的GPU，也無法滿足推斷（Inference）的實(shí)時性要求。因為模型如果做得不好，沒有做優(yōu)化，可能需要二三百毫秒才能做完一次推斷（Inference），再加上來回的網(wǎng)絡(luò)傳輸，用戶可能一秒后才能得到結(jié)果。

二. 為什么TensorRT能讓模型加速？

TensorRT優(yōu)化訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型以產(chǎn)生可部署的運(yùn)行時推理引擎

從圖上可以看到，TensorRT主要做了下面幾件事，來提升模型的運(yùn)行速度。

或張量融合（Layer & Tensor Fusion）

如下圖左側(cè)是GoogLeNetInception模塊的計算圖。這個結(jié)構(gòu)中有很多層，在部署模型推理時，這每一層的運(yùn)算操作都是由GPU完成的，但實(shí)際上是GPU通過啟動不同的CUDA（Compute unified device architecture）核心來完成計算的，CUDA核心計算張量的速度是很快的，但是往往大量的時間是浪費(fèi)在CUDA核心的啟動和對每一層輸入/輸出張量的讀寫操作上面，這造成了內(nèi)存帶寬的瓶頸和GPU資源的浪費(fèi)。TensorRT通過對層間的橫向或縱向合并（合并后的結(jié)構(gòu)稱為CBR，意指 convolution, bias, and ReLU layers are fused to form a single layer），使得層的數(shù)量大大減少。橫向合并可以把卷積、偏置和激活層合并成一個CBR結(jié)構(gòu)，只占用一個CUDA核心?？v向合并可以把結(jié)構(gòu)相同，但是權(quán)值不同的層合并成一個更寬的層，也只占用一個CUDA核心。合并之后的計算圖（圖4右側(cè)）的層次更少了，占用的CUDA核心數(shù)也少了，因此整個模型結(jié)構(gòu)會更小，更快，更高效。

2. 數(shù)據(jù)精度校準(zhǔn)（Weight &Activation Precision Calibration）

大部分深度學(xué)習(xí)框架在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時網(wǎng)絡(luò)中的張量（Tensor）都是32位浮點(diǎn)數(shù)的精度（Full
32-bit precision，FP32），一旦網(wǎng)絡(luò)訓(xùn)練完成，在部署推理的過程中由于不需要反向傳播，完全可以適當(dāng)降低數(shù)據(jù)精度，比如降為FP16或INT8的精度。更低的數(shù)據(jù)精度將會使得內(nèi)存占用和延遲更低，模型體積更小。

TensorRT支持FP16和INT8的計算。我們知道深度學(xué)習(xí)在訓(xùn)練的時候一般是應(yīng)用32位或者16位數(shù)據(jù)，TensorRT在推理的時候可以降低模型參數(shù)的位寬來進(jìn)行低精度推理，以達(dá)到加速推斷的目的。

如下表為不同精度的動態(tài)范圍：

INT8只有256個不同的數(shù)值，使用INT8來表示 FP32精度的數(shù)值，肯定會丟失信息，造成性能下降。不過TensorRT會提供完全自動化的校準(zhǔn)（Calibration ）過程，會以最好的匹配性能將FP32精度的數(shù)據(jù)降低為INT8精度，最小化性能損失。關(guān)于校準(zhǔn)過程，后面會專門做一個探究。

3. Kernel Auto-Tuning

網(wǎng)絡(luò)模型在推理計算時，調(diào)用GPU的CUDA核進(jìn)行計算。TensorRT可以針對不同的算法，不同的網(wǎng)絡(luò)模型，不同的GPU平臺，進(jìn)行 CUDA核的調(diào)整，以保證當(dāng)前模型在特定平臺上以最優(yōu)性能計算。

TensorRT will pick the implementation
from a library of kernels that delivers the best performance for the target
GPU, input data size, filter size, tensor layout, batch size and other
parameters.

4. Dynamic Tensor Memory

在每個tensor的使用期間，TensorRT會為其指定顯存，避免顯存重復(fù)申請，減少內(nèi)存占用和提高重復(fù)使用效率。

5. Multi-Stream Execution

Scalable
design to process multiple input streams in parallel，這個應(yīng)該就是GPU底層的優(yōu)化了。然后Concat層是可以去掉的，因為TensorRT完全可以實(shí)現(xiàn)直接接到需要的地方。

TensorRT對于網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行重構(gòu)，把一些能夠合并的運(yùn)算合并在了一起，針對GPU的

特性做了優(yōu)化。在GPU上跑的函數(shù)叫Kernel，TensorRT是存在Kernel的調(diào)用的。在絕大部分框架中，比如一個卷積層、一個偏置層和一個reload層，這三層是需要調(diào)用三次cuDNN對應(yīng)的API，但實(shí)際上這三層的實(shí)現(xiàn)完全是可以合并到一起的，TensorRT會對一些可以合并網(wǎng)絡(luò)進(jìn)行合并；目前的網(wǎng)絡(luò)一方面越來越深，另一方面越來越寬，可能并行做若干個相同大小的卷積，這些卷積計算其實(shí)也是可以合并到一起來做的。

7. 不同的硬件，如P4卡還是V100卡，甚至是嵌入式設(shè)備的卡，TensorRT都會做優(yōu)化，得到優(yōu)化后的engine。

可以從每個深度學(xué)習(xí)框架中將已訓(xùn)練模型導(dǎo)入到
TensorRT。應(yīng)用優(yōu)化后，TensorRT 選擇平臺特定的內(nèi)核，在數(shù)據(jù)中心、Jetson 嵌入式平臺以及 NVIDIA DRIVE 自動駕駛平臺上更大限度提升 Tesla GPU 的性能。

借助 TensorRT，開發(fā)者可專注于創(chuàng)建新穎的 AI 支持應(yīng)用，無需費(fèi)力調(diào)節(jié)性能來部署推理工作。

作為Inference（推理）端的SDK的工具，TensorRT是可編程的處理加速器，主要是用來部署神經(jīng)網(wǎng)絡(luò)到Inference端之前，對于網(wǎng)絡(luò)進(jìn)行優(yōu)化加速，來提高程序的吞吐量以及降低延遲。TensorRT理論上可以支持所有主流的深度學(xué)習(xí)框架，目前最新的版本是3.0版，可以支持Caffe 模型的直接導(dǎo)入，還有就是Tensorflow模型轉(zhuǎn)換為UFF格式后的導(dǎo)入。對于其他的framework，需要用戶手動的去調(diào)用一些API進(jìn)行模型和參數(shù)的導(dǎo)入，而且在TensorRT 3.0里面還加入了對Python接口的支持，原來我們是只支持C++的，目前加入了Python，這樣使得導(dǎo)入網(wǎng)絡(luò)模型可以變得更加容易一些。

TensorRT的部署流程可以分成兩部分。

首先是向TensorRT 導(dǎo)入訓(xùn)練好的網(wǎng)絡(luò)模型、參數(shù)，輸入一組測試集數(shù)據(jù)，這個數(shù)據(jù)集不用太大。在TensorRT 啟動之后，會根據(jù)我們剛才所說的幾大優(yōu)化方式依次對網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，對于規(guī)模不大的網(wǎng)絡(luò)，這個過程可能需要耗費(fèi)幾分鐘的時間。在執(zhí)行完成之后，它會輸出一個優(yōu)化策略，如上圖所示的Plan。這時我們可以選擇將這個優(yōu)化策略以序列化的方式導(dǎo)出到磁盤文件進(jìn)行存儲，這樣，這個策略文件就可以被復(fù)制以及移植到不同的設(shè)備端來使用。

接下來就可以拿著這個優(yōu)化策略文件連通TensorRT
的引擎，一起部署到線上服務(wù)端。

ONNX（Open Neural Network Exchange ）是微軟和Facebook攜手開發(fā)的開放式神經(jīng)網(wǎng)絡(luò)交換工具，也就是說不管用什么框架訓(xùn)練，只要轉(zhuǎn)換為ONNX模型，就可以放在其他框架上面去inference。這是一種統(tǒng)一的神經(jīng)網(wǎng)絡(luò)模型定義和保存方式，上面提到的除了Tensorflow之外的其他框架官方應(yīng)該都對ONNX做了支持，而ONNX自己開發(fā)了對Tensorflow的支持。從深度學(xué)習(xí)框架方面來說，這是各大廠商對抗谷歌Tensorflow壟斷地位的一種有效方式；從研究人員和開發(fā)者方面來說，這可以使開發(fā)者輕易地在不同機(jī)器學(xué)習(xí)工具之間進(jìn)行轉(zhuǎn)換，并為項目選擇最好的組合方式，加快從研究到生產(chǎn)的速度。

TensorRT 和 Tensorflow 已緊密集成，因此可以同時盡享 Tensorflow的靈活性和 TensorRT 的超強(qiáng)優(yōu)化性能。

MATLAB 已通過 GPU 編碼器實(shí)現(xiàn)與 TensorRT 的集成，這能協(xié)助工程師和科學(xué)家在使用 MATLAB 時為 Jetson、DRIVE
和 Tesla 平臺自動生成高性能推理引擎。

TensorRT提供了一個 ONNX 解析器，因此可以輕松地從框架（例如 Caffe 2、Chainer、Microsoft Cognitive Toolkit、MxNet 和PyTorch）中將 ONNX 模型導(dǎo)入到 TensorRT。

TensorRT 還與 ONNX Runtime 集成，助以 ONNX 格式輕松實(shí)現(xiàn)機(jī)器學(xué)習(xí)模型的高性能推理。

Figure 1. TensorRT is a high-performance neural network
inference optimizer and runtime engine for production deployment.

Figure 2. TensorRT
is a programmable inference accelerator.

由以上兩張圖可以很清楚的看出，訓(xùn)練（training）和
推理（inference）的區(qū)別：

· 訓(xùn)練（training）包含了前向傳播和后向傳播兩個階段，針對的是訓(xùn)練集。訓(xùn)練時通過誤差反向傳播來不斷修改網(wǎng)絡(luò)權(quán)值（weights）。

· 推理（inference）只包含前向傳播一個階段，針對的是除了訓(xùn)練集之外的新數(shù)據(jù)?？梢允菧y試集，但不完全是，更多的是整個數(shù)據(jù)集之外的數(shù)據(jù)。其實(shí)就是針對新數(shù)據(jù)進(jìn)行預(yù)測，預(yù)測時，速度是一個很重要的因素。

訓(xùn)練時為了加快速度，會使用多GPU分布式訓(xùn)練。

部署推理時，為了降低成本，往往使用單個GPU機(jī)器甚至嵌入式平臺（比如 NVIDIA Jetson）進(jìn)行部署，部署端也要有與訓(xùn)練時相同的深度學(xué)習(xí)環(huán)境，如caffe，Tensorflow等。

由于訓(xùn)練的網(wǎng)絡(luò)模型可能會很大（比如，inception，resnet等），參數(shù)很多，而且部署端的機(jī)器性能存在差異，就會導(dǎo)致推理速度慢，延遲高。這對于那些高實(shí)時性的應(yīng)用場合是致命的，比如自動駕駛要求實(shí)時目標(biāo)檢測，目標(biāo)追蹤等。

為了提高部署推理的速度，出現(xiàn)了很多輕量級神經(jīng)網(wǎng)絡(luò)，比如squeezenet，mobilenet，shufflenet等?；咀龇ǘ际腔诂F(xiàn)有的經(jīng)典模型提出一種新的模型結(jié)構(gòu)，然后用這些改造過的模型重新訓(xùn)練，再重新部署。

而TensorRT 則是對訓(xùn)練好的模型進(jìn)行優(yōu)化。
TensorRT就只是 推理優(yōu)化器。當(dāng)你的網(wǎng)絡(luò)訓(xùn)練完之后，可以將訓(xùn)練模型文件直接丟進(jìn)TensorRT中，而不再需要依賴深度學(xué)習(xí)框架（Caffe，Tensorflow等），如下：

TensorRT是一個只有前向傳播的深度學(xué)習(xí)框架，這個框架可以將 Caffe，Tensorflow的網(wǎng)絡(luò)模型解析，然后與TensorRT中對應(yīng)的層進(jìn)行一一映射，把其它框架的模型統(tǒng)一全部轉(zhuǎn)換到TensorRT中，然后在TensorRT中可以針對NVIDIA自家GPU實(shí)施優(yōu)化策略，并進(jìn)行部署加速。

Functions Name

Contents

Caffe/Tensorflow

TensorRT可以直接解析他們的網(wǎng)絡(luò)模型

Tensorflow/MATLAB

Tensorflow和MATLAB已經(jīng)將TensorRT集成到框架中

caffe2，pytorch，mxnet，chainer，CNTK

首先要將模型轉(zhuǎn)為ONNX 的通用深度學(xué)習(xí)模型，然后對ONNX模型做解析。

ONNX（Open Neural Network Exchange ）

微軟和Facebook攜手開發(fā)的開放式神經(jīng)網(wǎng)絡(luò)交換工具，也就是說不管用什么框架訓(xùn)練，只要轉(zhuǎn)換為ONNX模型，就可以放在其他框架上面去inference。

Tenseflow

ONNX單獨(dú)開發(fā)了對Tensorflow的支持。

Netwok Definition API

給那些使用自定義的深度學(xué)習(xí)框架訓(xùn)練模型的人提供的TensorRT接口。
比如 YOLO 作者使用的darknet要轉(zhuǎn)TensorRT估計得使用這個API，不過一般網(wǎng)上有很多使用其他框架訓(xùn)練的YOLO，這就可以使用對應(yīng)的caffe/Tensorflow/onnx API了。

ONNX網(wǎng)絡(luò)中有自定義的Layer，如何處理？

TensorRT中有一個 Plugin 層，這個層提供了 API 可以由用戶自己定義TensorRT不支持的層。 如下圖所示：

基本上比較經(jīng)典的層，如，卷積，反卷積，全連接，RNN，softmax等，在TensorRT中都是有對應(yīng)的實(shí)現(xiàn)方式的，TensorRT是可以直接解析的。

由于現(xiàn)在深度學(xué)習(xí)技術(shù)發(fā)展日新月異，各種不同結(jié)構(gòu)的自定義層（比如：STN）層出不窮，所以TensorRT是不可能全部支持當(dāng)前存在的所有層的。那對于這些自定義的層該怎么辦？

目前TensorRT4.0幾乎可以支持所有常用的深度學(xué)習(xí)框架，對于caffe和Tensorflow來說，TensorRT可以直接解析他們的網(wǎng)絡(luò)模型；對于caffe2，pytorch，mxnet，chainer，CNTK等框架則是首先要將模型轉(zhuǎn)為 ONNX 的通用深度學(xué)習(xí)模型，然后對ONNX模型做解析。而Tensorflow和MATLAB已經(jīng)將TensorRT集成到框架中去了。

ONNX（Open Neural Network Exchange ）是微軟和Facebook攜手開發(fā)的開放式神經(jīng)網(wǎng)絡(luò)交換工具，也就是說不管用什么框架訓(xùn)練，只要轉(zhuǎn)換為ONNX模型，就可以放在其他框架上面去inference。這是一種統(tǒng)一的神經(jīng)網(wǎng)絡(luò)模型定義和保存方式，上面提到的除了Tensorflow之外的其他框架官方應(yīng)該都對ONNX做了支持，而ONNX自己開發(fā)了對Tensorflow的支持。從深度學(xué)習(xí)框架方面來說，這是各大廠商對抗谷歌Tensorflow壟斷地位的一種有效方式；從研究人員和開發(fā)者方面來說，這可以使開發(fā)者輕易地在不同機(jī)器學(xué)習(xí)工具之間進(jìn)行轉(zhuǎn)換，并為項目選擇最好的組合方式，加快從研究到生產(chǎn)的速度。

ONNX / Tensorflow/ Custom deep-learning frame模型的工作方式：

Netwok Definition API 是自定義的深度學(xué)習(xí)框架訓(xùn)練模型的人提供的TensorRT接口。

比如 YOLO 使用的darknet要轉(zhuǎn)TensorRT使用這個API，不過一般網(wǎng)上有很多使用其他框架訓(xùn)練的YOLO，這就可以使用對應(yīng)的caffe/Tensorflow/onnx API了。

TensorRT支持的層有：

·
Activation: ReLU, tanh and sigmoid

·
Concatenation: Link together multiple tensors across the channel dimension.

· Convolution: 3D，2D

· Deconvolution

· Fully-connected: with or without bias

· ElementWise: sum, product or max of two tensors

· Pooling: max and average

· Padding

· Flatten

· LRN: cross-channel only

· SoftMax: cross-channel only

· RNN: RNN, GRU, and LSTM

· Scale: Affine transformation and/or exponentiation by constant values

· Shuffle: Reshuffling of tensors , reshape or transpose data

· Squeeze: Removes dimensions of size 1 from the shape of a tensor

· Unary: Supported operations are exp, log, sqrt, recip, abs and neg

· Plugin: integrate custom layer implementations that TensorRT does not natively support.

總結(jié)

以上是生活随笔為你收集整理的TensorRT Analysis Report分析报告的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。