SDM方法

考慮一般額NLS問題：

f(x)=minx||h(x)?y||2
這里x為優化參數，h為非線性函數，y是已知變量，如下是基于梯度的迭代公式：
Δx=αAJTh(h(x)?y)
這里 α是步長，A是縮放因子， Jh是h在當前參數x下的Jacobian值。

各種優化方法不同，取決于A的選擇，具體為：

• A=H?1表示：牛頓法
• A=(JTJ)?1表示：高斯牛頓法
• A=I表示：梯度下降法

但對于不可導的函數，J和H都是很難求的。
SDM的主要觀點是用一個學習矩陣R去替代αAJTh,稱R為通用的下降方向(Generic Descent Map(DM))。

SDM是一種迭代算法，用來學習一系列的DM.如下動畫展示了SDM方法是如何從當前最優路徑（虛線標注）中學習DM的。
http://xiong828.github.io/pics/sdm-animation-all.gif

牛頓法與擬牛頓法

本章可以參考文獻《牛頓法與擬牛頓法學習筆記》

總結

以上是生活随笔為你收集整理的牛顿法与拟牛顿法，SDM方法的一些注记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。