歡迎來到《每周CV論文推薦》。在這個專欄里，還是本著有三AI一貫的原則，專注于讓大家能夠系統(tǒng)性完成學(xué)習(xí)，所以我們推薦的文章也必定是同一主題的。

從事深度學(xué)習(xí)崗位，扎實的深度學(xué)習(xí)理論基礎(chǔ)是必須掌握的，在前面我們已經(jīng)給大家推薦過入門必須的模型結(jié)構(gòu)相關(guān)的文章，今天給大家推薦必須精讀的優(yōu)化技術(shù)相關(guān)的文章。

作者&編輯 | 言有三

1 Xavier初始化方法

早期的深層神經(jīng)網(wǎng)絡(luò)就是被卡在了初始化上，xavier是一個非常有效的初始化方法，它的來龍去脈自然是需要仔細(xì)了解。

文章引用量：6000+

推薦指數(shù)：?????

[1] Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Proceedings of the thirteenth international conference on artificial intelligence and statistics. 2010: 249-256.

2 ReLU函數(shù)

簡單而不光滑的ReLU為何開始取代sigmoid等激活函數(shù)，它為何有效，不需多說，基本上一直都被問。

文章引用量：4000+

推薦指數(shù)：?????

[2] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the fourteenth international conference on artificial intelligence and statistics. 2011: 315-323.

3 Dropout正則化技術(shù)

Dropout是AlexNet網(wǎng)絡(luò)成功訓(xùn)練必不可缺少的工程技術(shù)，也是極為強(qiáng)大的正則化技術(shù)，在深度學(xué)習(xí)優(yōu)化技術(shù)中舉足輕重。

文章引用量：13000+

推薦指數(shù)：?????

[3] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The journal of machine learning research, 2014, 15(1): 1929-1958.

4 池化與步長

池化的思想和應(yīng)用早就隨著卷積而誕生，但是現(xiàn)在我們常常用帶步長的卷積去替代池化，為什么呢？它們的對比究竟如何。

文章引用量：1400+

推薦指數(shù)：?????

[4] Springenberg J T, Dosovitskiy A, Brox T, et al. Striving for simplicity: The all convolutional net[J]. arXiv preprint arXiv:1412.6806, 2014.

5 BN的提出

BN之強(qiáng)大，人盡皆知，不管你讀過多少資料解讀，這原文都是需要精讀的。

文章引用量：11000+

推薦指數(shù)：?????

[5] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. arXiv preprint arXiv:1502.03167, 2015.

鑒于理論文章讀起來難度要高不少，本周就只推薦5篇，深度學(xué)習(xí)優(yōu)化相關(guān)的內(nèi)容這還只是前菜，希望大家提前做好準(zhǔn)備。

6 如何獲取文章與交流

找到有三AI開源項目即可獲取。

https://github.com/longpeng2008/yousan.ai

文章細(xì)節(jié)眾多，閱讀交流在有三AI知識星球中進(jìn)行，感興趣可以加入。

總結(jié)

以上就是初入深度學(xué)習(xí)領(lǐng)域必讀的理論相關(guān)的文章，下一期我們將介紹一些訓(xùn)練和測試數(shù)據(jù)使用技巧相關(guān)的文章。

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

往期精選

• 【每周論文推薦】 初入深度學(xué)習(xí)CV領(lǐng)域必讀的幾篇文章

• 【每周CV論文推薦】 掌握殘差網(wǎng)絡(luò)必讀的10多篇文章

• 【每周NLP論文推薦】從預(yù)訓(xùn)練模型掌握NLP的基本發(fā)展脈絡(luò)

• 【每周NLP論文推薦】 NLP中命名實體識別從機(jī)器學(xué)習(xí)到深度學(xué)習(xí)的代表性研究

總結(jié)

以上是生活随笔為你收集整理的【每周CV论文推荐】 初学者必须精读的5篇深度学习优化相关文章的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。