其實(shí)圖像分類研究取得的大部分進(jìn)展都可以歸功于訓(xùn)練過程的改進(jìn)，如數(shù)據(jù)增加和優(yōu)化方法的改變。但是，大多數(shù)改進(jìn)都沒有比較詳細(xì)的說明。因此作者在本文中測試實(shí)現(xiàn)了這些改進(jìn)的方法，并通過消融實(shí)驗(yàn)來評估這些Tricks對最終模型精度的影響。作者通過將這些改進(jìn)結(jié)合在一起，同時(shí)改進(jìn)了各種CNN模型。在ImageNet上將ResNet-50的Top-1驗(yàn)證精度從75.3%提高到79.29%。同時(shí)還將證明了提高圖像分類精度會(huì)在其他應(yīng)用領(lǐng)域(如目標(biāo)檢測和語義分割)也可以帶來更好的遷移學(xué)習(xí)性能。

1、Introduction

近年來ImageNet的榜單一直在被刷新，從2012年的AlexNet，再到VGG-Net、NiN、Inception、ResNet、DenseNet以及NASNet；Top-1精度也從62.5%(AlexNet)->82.7%(NASNet-A)；但是這么大精度的提升也不完全是由模型的架構(gòu)改變所帶來的，其中 訓(xùn)練的過程也有會(huì)起到很大的作用，比如，損失函數(shù)的改進(jìn)、數(shù)據(jù)的預(yù)處理方式的改變、以及優(yōu)化方法的選擇等；但是這也是很容易被忽略的部分，因此這篇文章在這里也會(huì)著重討論這個(gè)問題。

表1為各種模型的計(jì)算成本和驗(yàn)證精度以及ResNet使用“Tricks”訓(xùn)練結(jié)果，能夠超越使用pipeline進(jìn)行訓(xùn)練的架構(gòu)。

同時(shí)證明了這些Tricks在其他模型也是有效果的，比如Inception-V3、MobileNet等模型。

2、Efficient Training

近年來硬件發(fā)展迅速，特別是GPU。因此，許多與性能相關(guān)的權(quán)衡的最佳選擇也會(huì)隨之發(fā)生變化。例如，在訓(xùn)練中使用較

總結(jié)

以上是生活随笔為你收集整理的神经网络模型遇到瓶颈？这些Tricks让你相见恨晚！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。