TVM vs
TensorRT比較

如果理解正確的話，TensorRT和TVM會加快預測速度。

TensorRT優化預測GPU和TVM優化預測幾乎所有平臺支持GPU，ARM，Mobile。。。

兩者在GPU上有比較嗎？

到目前為止，tvm還沒有為TensorRT優化的int8進行優化。但在這方面還有一些工作要做，所以答案是目前TensorRT速度更快，我們正在不斷改進TVM，以涵蓋TensorRT在所有平臺上使用的優化。

在Pytorch中訓練了一個Yolov3模型，并將其轉換為onnx文件，以便與TensorRT一起運行。注意到Pythorch模型和TensorRT模型之間的一些性能不同的情況，想知道TensorRT與TVM等其他編譯器相比有哪些優缺點？

卷積：TensorRT為fp32和int8卷積實現了許多算法，tvm只實現了direct和winograd卷積，在服務器上找到快速的conv卷積配置需要將近1天的時間。

反卷積：TensorRT完全支持，TVM的deconv不支持group，不支持int8。

量化：TensorRT有完整的訓練后量化支持，開源TVM量化不完整。

TVM好處：

開源。

在服務器上進行了1天的調優之后，調優后的模型可能比tensorrt快一點。

TensorRT缺點：

還有一些bug。

不熟悉其它編譯器。

總結

以上是生活随笔為你收集整理的TVM vs TensorRT比较的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。