參考知乎：https://www.zhihu.com/question/19723347

這篇博文講牛頓法講的非常好：http://blog.csdn.net/itplus/article/details/21896453

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 梯度下降法用目標函數(shù)的一階偏導、以負梯度方向作為搜索方向，只考慮目標函數(shù)

? ? ? ? ? ? ? ? ? ? ? ?在迭代點的局部性質(zhì)；牛頓法同時考慮了目標函數(shù)的一、二階偏導數(shù)，考慮了梯度變化

? ? ? ? ? ? ? ? ? ? ? 趨勢，因而能更合適的確定搜索方向加快收斂，但牛頓法也存在以下缺點：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ?1、對目標函數(shù)有嚴格要求，必須有連續(xù)的一、二階偏導數(shù)，海森矩陣必須正定；

? ? ? ? ? ? ? ? ? ? ? ? ? ? ?2、計算量大，除梯度外，還需計算二階偏導矩陣及其逆矩陣。

擬牛頓法：http://blog.csdn.net/itplus/article/details/21896619

? ? ? ? ? ? ? ? ? ? ? ?

轉(zhuǎn)載于:https://www.cnblogs.com/573177885qq/p/5950917.html

總結(jié)

以上是生活随笔為你收集整理的梯度下降法与牛顿法的比较的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。