梯度下降算法收斂所需要的迭代次數(shù)根據(jù)模型的不同而不同，我們不能提前預(yù)知，我們
可以繪制迭代次數(shù)和代價函數(shù)的圖表來觀測算法在何時趨于收斂。

?

也有一些自動測試是否收斂的方法，例如將代價函數(shù)的變化值與某個閥值（例如0.001）
進(jìn)行比較，但通常看上面這樣的圖表更好。
　　梯度下降算法的每次迭代受到學(xué)習(xí)率的影響，如果學(xué)習(xí)率?過小，則達(dá)到收斂所需的迭
代次數(shù)會非常高；如果學(xué)習(xí)率?過大，每次迭代可能不會減小代價函數(shù)，可能會越過局部最
小值導(dǎo)致無法收斂。
通常可以考慮嘗試些學(xué)習(xí)率：
? = 0.01，0.03，0.1，0.3，1，3，10

轉(zhuǎn)載于:https://www.cnblogs.com/sl0309/p/10358586.html

總結(jié)

以上是生活随笔為你收集整理的吴恩达机器学习笔记11-梯度下降法实践2-学习率的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。