牛頓法

主要有兩方面的應用：

求方程的根；

求解最優化方法；

為什么要用牛頓法求方程的根？

問題很多，牛頓法 是什么？目前還沒有講清楚，沒關系，先直觀理解為 牛頓法是一種迭代求解方法（Newton童鞋定義的方法）。

擴展到最優化問題

這里的最優化 是指非線性最優化，解非線性最優化的方法有很多，比如 梯度下降法、共軛梯度法、變尺度法和步長加速法 等，這里我們只講 牛頓法。



其中H是hessian矩陣, 定義見上.

高維情況依然可以用牛頓迭代求解, 但是問題是Hessian矩陣引入的復雜性, 使得牛頓迭代求解的難度大大增加, 但是已經有了解決這個問題的辦法就是Quasi-Newton method, 不再直接計算hessian矩陣, 而是每一步的時候使用梯度向量更新hessian矩陣的近似.

牛頓法 與 Hessian矩陣的關系

擬牛頓法 只需要用到一階導數，不需要計算Hessian矩陣 以及逆矩陣。
總體來講，擬牛頓法 都是用來解決 牛頓法 本身的 復雜計算、難以收斂、局部最小值等問題。

Jacobian

在向量分析中, 雅可比矩陣是一階偏導數以一定方式排列成的矩陣, 其行列式稱為雅可比行列式. 還有, 在代數幾何中, 代數曲線的雅可比量表示雅可比簇：伴隨該曲線的一個代數群, 曲線可以嵌入其中. 它們全部都以數學家卡爾·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名.

雅可比矩陣

雅可比矩陣的重要性在于它體現了一個可微方程與給出點的最優線性逼近. 因此, 雅可比矩陣類似于多元函數的導數.


把多維輸入函數的二階導數合并成一個矩陣時，把這個矩陣稱為 Hessian矩陣。

Hessian矩陣

Hessian矩陣等價于 梯度 的Jacobian矩陣。

Jacobian矩陣 和 Hessian矩陣在優化中的應用

Jacobian矩陣

Hessian矩陣

http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/
https://zhuanlan.zhihu.com/p/67521774
https://blog.csdn.net/linolzhang/article/details/60151623

總結

以上是生活随笔為你收集整理的牛顿法， Jacobian矩阵 和 Hessian矩阵的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。