問題

在很多情況下我們都能看到代碼里有這樣一行：

1	torch.backends.cudnn.benchmark = true

而且大家都說這樣可以增加程序的運行效率。那到底有沒有這樣的效果，或者什么情況下應(yīng)該這樣做呢？

解決辦法

總的來說，大部分情況下，設(shè)置這個 flag 可以讓內(nèi)置的 cuDNN 的 auto-tuner 自動尋找最適合當(dāng)前配置的高效算法，來達(dá)到優(yōu)化運行效率的問題。

一般來講，應(yīng)該遵循以下準(zhǔn)則：

如果網(wǎng)絡(luò)的輸入數(shù)據(jù)維度或類型上變化不大，設(shè)置??torch.backends.cudnn.benchmark?=?true? 可以增加運行效率；

如果網(wǎng)絡(luò)的輸入數(shù)據(jù)在每次 iteration 都變化的話，會導(dǎo)致 cnDNN 每次都會去尋找一遍最優(yōu)配置，這樣反而會降低運行效率。

這下就清晰明了很多了。

總結(jié)

以上是生活随笔為你收集整理的cudnn.benchmark = True？是什么意思的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。