1 牛頓法介紹

牛頓法是一種二階優化技術，它將目標函數建模為二次函數。

我們知道，在梯度下降中，我們是把函數近似為一次函數。在牛頓法中，我們將其近似為二次函數：

讓上式的微分為0，我們有：

?

?如果函數本身就是二次函數的話，牛頓法一步即可 收斂；不是的話牛頓法的收斂速度也比一階近似的梯度下降要快。

2 牛頓法的問題

?

總結

以上是生活随笔為你收集整理的机器学习笔记：牛顿方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。