在很多情況下我們都能看到代碼里有這樣一行：

torch.backends.cudnn.benchmark = True

而且大家都說這樣可以增加程序的運行效率。那到底有沒有這樣的效果，或者什么情況下應該這樣做呢？

總的來說，大部分情況下，設置這個 flag 可以讓內置的 cudnn 的 auto-tuner 自動尋找最適合當前配置的高效算法，來達到優化運行效率的問題。

一般來講，應該遵循以下準則：

如果網絡的輸入數據維度或類型上變化不大，設置 torch.backends.cudnn.benchmark = true 可以增加運行效率；

如果網絡的輸入數據在每次 iteration 都變化的話，會導致 cudnn 每次都會去尋找一遍最優配置，這樣反而會降低運行效率。

不使用的話，也很簡單：

torch.backends.cudnn.benchmark = False

參考：
https://www.pytorchtutorial.com/when-should-we-set-cudnn-benchmark-to-true/

總結

以上是生活随笔為你收集整理的cudnn.benchmark = True什么意思的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。