Interview：算法崗位面試—上海某科技公司算法崗位(偏AI算法，國企)技術面試之BN層的認知、BP的推導、GD優化的幾種改進等

導讀：關于神經網絡，問的比較深，因為博主做過總結，所以用自己的語言和案例解釋的，回答的還算比較全吧。

BN層的認知

參考博主以前寫的文章
BN層結構詳解—解決反向傳播過程中的【梯度消失】與【梯度爆炸】
BN層(批量標準化)采用的理由—舊解釋：解決內部協變量偏移
BN層(批量標準化)采用的理由—新解釋： BN層優化更加平滑

BP的推導

DL之BP：神經網絡算法簡介之BP算法簡介(鏈式法則/計算圖解釋)、案例應用之詳細攻略
DL之DNN之BP：神經網絡算法簡介之BP算法/GD算法之不需要額外任何文字，只需要八張圖講清楚BP類神經網絡的工作原理

GD優化的幾種改進

參考博主以前寫的文章
DL之DNN優化技術：GD、SGD、Momentum、NAG、Ada系列、RMSProp各種代碼實現之詳細攻略
DL之DNN優化技術：神經網絡算法簡介之GD/SGD算法(BP的梯度下降算法)的簡介、理解、代碼實現、SGD缺點及改進(Momentum/NAG/Ada系列/RMSProp)之詳細攻略

1、Momentum(根據歷史梯度進行加強)—動量有助于在正確方向上加速梯度，從而越過溝壑
2、NAG—下山過程中，根據對下一步要到達的點的預測，來自適應調整速度
3、Adagrad—對不同的參數(頻繁/非頻繁特征相關的參數)調整不同的學習率
4、Adadelta—Adagrad的改進版+引入時間窗(衰減因子)—解決Adagrad的學習率急劇下降
5、RMSProp—自適應學習率方法—解決Adagrad的學習率急劇下降
6、Adam—計算每個參數的自適應學習率的方法+本質上是帶動量項的RMSprop

總結

以上是生活随笔為你收集整理的Interview：算法岗位面试—上海某科技公司算法岗位(偏AI算法，国企)技术面试之BN层的认知、BP的推导、GD优化的几种改进等的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。