NVIDIA TensorRT是一個高性能的深度學(xué)習(xí)推理優(yōu)化器和運行時，它提供低延遲和高吞吐量。TensorRT可以從每個深度學(xué)習(xí)框架導(dǎo)入經(jīng)過訓(xùn)練的模型，從而輕松地創(chuàng)建可以集成到大型應(yīng)用程序和服務(wù)中的高效推理引擎。

這個視頻的五個關(guān)鍵點:

1.TensorRT支持RNNv2, MatrixMultiply, ElementWise, TopK層。

2.RNNv2層需要單獨設(shè)置每個門和層的權(quán)重，RNNv2的輸入格式為BSE (Batch, Sequence, embed)。

3.完全連接層也可以用矩陣乘層和Element-Wise 層實現(xiàn)。或者，您可以直接使用TensorRT的完全連接層，但是在將權(quán)重輸入到該層之前，需要對其進(jìn)行重新設(shè)置。

4. 可以將引擎序列化到內(nèi)存塊，然后將內(nèi)存塊序列化到文件或流。這消除了再次執(zhí)行優(yōu)化步驟的需要。

5. 雖然這個示例是用c++構(gòu)建的，但是您可以使用TensorRT Python API在Python中實現(xiàn)相同的功能。

本視頻演示如何使用NVIDIA TensorRT配置基于字符級語言模型的簡單遞歸神經(jīng)網(wǎng)絡(luò)(RNN)。

視頻將近7分鐘，我們已經(jīng)翻譯成中文字幕，請耐心觀看。

更多教程：

?新版Matlab居然已經(jīng)全面集成了對NVIDIA Jetson的支持，這操作...

用Matlab在NVIDIA Jetson平臺上生成和部署目標(biāo)檢測CUDA代碼小妙招(中文字幕)

如何在NVIDIA GPU上進(jìn)行混合精度訓(xùn)練(中文字幕)

如何在Singularity中運行NVIDIA GPU云容器以配置HPC開發(fā)環(huán)境(中文字幕)

NVIDIA System Profiler 使用介紹(中文字幕)

NVIDIA Jetson攝像頭開發(fā)視頻教程

有不明白的地方，請在本文后留言

或者在我們的技術(shù)論壇bbs.gpuworld.cn上發(fā)帖

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的tensorrt轻松部署高性能dnn推理_实战教程：TensorRT中递归神经网络的介绍（中文字幕）...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。