歡迎來到《每周CV論文推薦》。在這個專欄里，還是本著有三AI一貫的原則，專注于讓大家能夠系統(tǒng)性完成學習，所以我們推薦的文章也必定是同一主題的。

從事深度學習崗位，扎實的深度學習理論基礎是必須掌握的，在前面我們已經(jīng)給大家推薦過入門必須的模型結(jié)構(gòu)相關的文章，今天給大家推薦必須精讀的優(yōu)化技術相關的文章。

作者&編輯 | 言有三

1 Xavier初始化方法

早期的深層神經(jīng)網(wǎng)絡就是被卡在了初始化上，xavier是一個非常有效的初始化方法，它的來龍去脈自然是需要仔細了解。

文章引用量：6000+

推薦指數(shù)：?????

[1] Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Proceedings of the thirteenth international conference on artificial intelligence and statistics. 2010: 249-256.

2 ReLU函數(shù)

簡單而不光滑的ReLU為何開始取代sigmoid等激活函數(shù)，它為何有效，不需多說，基本上一直都被問。

文章引用量：4000+

推薦指數(shù)：?????

[2] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the fourteenth international conference on artificial intelligence and statistics. 2011: 315-323.

3 Dropout正則化技術

Dropout是AlexNet網(wǎng)絡成功訓練必不可缺少的工程技術，也是極為強大的正則化技術，在深度學習優(yōu)化技術中舉足輕重。

文章引用量：13000+

推薦指數(shù)：?????

[3] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The journal of machine learning research, 2014, 15(1): 1929-1958.

4 池化與步長

池化的思想和應用早就隨著卷積而誕生，但是現(xiàn)在我們常常用帶步長的卷積去替代池化，為什么呢？它們的對比究竟如何。

文章引用量：1400+

推薦指數(shù)：?????

[4] Springenberg J T, Dosovitskiy A, Brox T, et al. Striving for simplicity: The all convolutional net[J]. arXiv preprint arXiv:1412.6806, 2014.

5 BN的提出

BN之強大，人盡皆知，不管你讀過多少資料解讀，這原文都是需要精讀的。

文章引用量：11000+

推薦指數(shù)：?????

[5] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. arXiv preprint arXiv:1502.03167, 2015.

鑒于理論文章讀起來難度要高不少，本周就只推薦5篇，深度學習優(yōu)化相關的內(nèi)容這還只是前菜，希望大家提前做好準備。

6 如何獲取文章與交流

找到有三AI開源項目即可獲取。

https://github.com/longpeng2008/yousan.ai

文章細節(jié)眾多，閱讀交流在有三AI知識星球中進行，感興趣可以加入。

總結(jié)

以上就是初入深度學習領域必讀的理論相關的文章，下一期我們將介紹一些訓練和測試數(shù)據(jù)使用技巧相關的文章。

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

往期精選

• 【每周論文推薦】 初入深度學習CV領域必讀的幾篇文章

• 【每周CV論文推薦】 掌握殘差網(wǎng)絡必讀的10多篇文章

• 【每周NLP論文推薦】從預訓練模型掌握NLP的基本發(fā)展脈絡

• 【每周NLP論文推薦】 NLP中命名實體識別從機器學習到深度學習的代表性研究

總結(jié)

以上是生活随笔為你收集整理的【每周CV论文推荐】 初学者必须精读的5篇深度学习优化相关文章的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。