Lecture 1: introduction of deep learning

深度學習3步驟：

1.定義神經網絡

2.loss 評價

預測值和真實的測試數據的目標值進行比對，它們的差距就是Loss。一個好的神經網絡應該使loss盡可能小。
3.獲取最佳的神經網絡參數（學習方法）
采用梯度下降算法

Lecture II：Tips for Training DNN

A.網絡優化訓練

選擇合適的Loss function：使用Cross Entropy效果要優于Mean Square Error。（When using softmax output layer,choose cross entropy）

Mini-batch: 每次訓練使用少量數據而不是全量數據效率更高

Activation Function：使用ReLU替代Sigmoid可以解決梯度消失的問題，可以訓練更深的神經網絡

Adaptive Learning Rate：可以隨著迭代不斷自我調整，提高學習效率）

Momentum: 可以一定程度上避免陷入局部最低點的問題

B.避免過擬合

避免過度擬合（overfitting）的方法：

• Early Stopping：使用cross validation的方式，不斷對validation
  data進行檢驗，一旦發現預測精度下降則停止。
• Weight Decay：權值
• Dropout：通過隨機去掉一些節點的連接達到改變網絡形式，所以會產生出多種網絡形態，然后匯集得到一個最佳結果
• Network Structure: 例如CNN等其他形態的網絡

Lecture III：Variants of Neural Networks

A. Convolutional Neural Network (CNN)

通常情況下，一個CNN包含多次的卷積、池化，然后Flatten，最終再通過一個深度神經網絡進行學習預測。CNN在圖像、語音識別取得非常好的成績，核心的想法在于一些物體的特征往往可以提取出來，并且可能出現在圖片的任何位置，而且通過卷積、池化可以大大減少輸入數據，加快訓練效率。
典型CNN包括以下步驟：

Convolution（卷積）

Max Pooling

Flatten

B. Recurrent Neural Network (RNN)

（。。。）

參考：
[1]Deep Learning Tutorial .李宏毅
[2]https://mp.weixin.qq.com/s?__biz=MzI0OTQwMTA5Ng==&mid=2247484026&idx=1&sn=b7ce43461f35dc94dd314b90fbc1318b&chksm=e993581ddee4d10b345410489ce10367decb7d03a724bc16f9579dc89321036360479f387b55&mpshare=1&scene=23&srcid=#rd

總結

以上是生活随笔為你收集整理的李宏毅深度学习ppt总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。