目錄

一、梯度下降通俗解釋

1、解釋

2、常規套路

3、如何優化

二、參數更新方法

梯度下降

1、目標函數

2、尋找山谷的最低點

3、下山步驟(更新參數)

目標函數

1、批量梯度下降:

2、隨機梯度下降

3、小批量梯度下降法

三、優化參數設置

學習率(步長)

---

常用于優化問題求解。沿著梯度反方向。

一、梯度下降通俗解釋

1、解釋

當我們得到了一個目標函數后，如何進行求解? 直接求解?(并不一定可解，線性回歸可以當做是一個特例）。

2、常規套路

機器學習的套路就是我交給機器一堆數據，然后告訴它什么樣的學習方式是對的(目標函數)，然后讓它朝著這個方向去做。

3、如何優化

我們要一步步的完成迭代 (每次迭代都應找到梯度方向)，直到到達飽和狀態為止。

二、參數更新方法

梯度下降

1、目標函數

2、尋找山谷的最低點

也就是我們的目標函數的終點 (什么樣的參數能使得目標函數達到極值點)

3、下山步驟(更新參數)

• 找到當前最合適的方向
• 走那么一小步，走快了該”跌倒 ”了（方向不好）
• 按照方向與步伐去更新我們的參數

目標函數

1、批量梯度下降:

?(容易得到最優解，但是由于每次考慮所有樣本，速度很慢)

2、隨機梯度下降

（每次找一個樣本，迭代速度快，有離群點、噪音點，不一定每次都朝著收斂的方向）?

3、小批量梯度下降法

batch? 256、128、64

每次更新選擇一小部分數據來算，實用。?

三、優化參數設置

學習率(步長)

對結果會產生巨大的影響，一般小一些。

批處理數量：32，64，128都可以，很多 時候還得考慮內存和效率

總結

以上是生活随笔為你收集整理的唐宇迪学习笔记7：梯度下降策略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。