??????? 在使用BA平差之前，對每一個觀測方程，得到一個代價函數(shù)。對多個路標(biāo)，會產(chǎn)生一個多個代價函數(shù)的和的形式，對這個和進(jìn)行最小二乘法進(jìn)行求解，使用優(yōu)化方法。相當(dāng)于同時對相機(jī)位姿和路標(biāo)進(jìn)行調(diào)整，這就是所謂的BA。

??????? 在優(yōu)化過程中，對每一個代價函數(shù)求取雅克比矩陣E和F，形成一個H矩陣，正因?yàn)镠矩陣的稀疏性，才可是使用稀疏方法對BA進(jìn)行求解。把一個大的稀疏矩陣，通過特定的消元法，消解為一個小的稠密矩陣，降低計(jì)算量。

??????? 摘抄部分有趣的鏈接，如有不適，請移步原文。

??????? 參考原文鏈接：Jacobian矩陣和Hessian矩陣

?

1. Jacobian

??????? 在向量分析中, 雅可比矩陣是一階偏導(dǎo)數(shù)以一定方式排列成的矩陣, 其行列式稱為雅可比行列式.。

??????? 還有, 在代數(shù)幾何中, 代數(shù)曲線的雅可比量表示雅可比簇：伴隨該曲線的一個代數(shù)群, 曲線可以嵌入其中. 它們?nèi)慷家詳?shù)學(xué)家卡爾·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名；英文雅可比量”Jacobian”可以發(fā)音為[ja ?ko bi ?n]或者[?? ?ko bi ?n].

雅可比矩陣

雅可比矩陣的重要性在于它體現(xiàn)了一個可微方程與給出點(diǎn)的最優(yōu)線性逼近. 因此, 雅可比矩陣類似于多元函數(shù)的導(dǎo)數(shù).

假設(shè)F:Rn→Rm是一個從歐式n維空間轉(zhuǎn)換到歐式m維空間的函數(shù). 這個函數(shù)由m個實(shí)函數(shù)組成: y1(x1,…,xn), …, ym(x1,…,xn). 這些函數(shù)的偏導(dǎo)數(shù)(如果存在)可以組成一個m行n列的矩陣, 這就是所謂的雅可比矩陣：

此矩陣表示為: JF(x1,…,xn), 或者?(y1,…,ym)/?(x1,…,xn).

這個矩陣的第i行是由梯度函數(shù)的轉(zhuǎn)置yi(i=1,…,m)表示的.

如果p是Rn中的一點(diǎn),F在p點(diǎn)可微分, 那么在這一點(diǎn)的導(dǎo)數(shù)由JF(p)給出(這是求該點(diǎn)導(dǎo)數(shù)最簡便的方法). 在此情況下, 由F(p)描述的線性算子即接近點(diǎn)p的F的最優(yōu)線性逼近,x逼近于p:

F(x)≈F(p)+JF(p)?(x–p)

?

雅可比行列式

如果m = n, 那么F是從n維空間到n維空間的函數(shù), 且它的雅可比矩陣是一個方塊矩陣. 于是我們可以取它的行列式, 稱為雅可比行列式.

在某個給定點(diǎn)的雅可比行列式提供了 在接近該點(diǎn)時的表現(xiàn)的重要信息. 例如, 如果連續(xù)可微函數(shù)F在p點(diǎn)的雅可比行列式不是零, 那么它在該點(diǎn)附近具有反函數(shù). 這稱為反函數(shù)定理. 更進(jìn)一步, 如果p點(diǎn)的雅可比行列式是正數(shù), 則F在p點(diǎn)的取向不變；如果是負(fù)數(shù), 則F的取向相反. 而從雅可比行列式的絕對值, 就可以知道函數(shù)F在p點(diǎn)的縮放因子；這就是為什么它出現(xiàn)在換元積分法中.

對于取向問題可以這么理解, 例如一個物體在平面上勻速運(yùn)動, 如果施加一個正方向的力F, 即取向相同, 則加速運(yùn)動, 類比于速度的導(dǎo)數(shù)加速度為正；如果施加一個反方向的力F, 即取向相反, 則減速運(yùn)動, 類比于速度的導(dǎo)數(shù)加速度為負(fù).

?

2. 海森Hessian矩陣

在數(shù)學(xué)中, 海森矩陣(Hessian matrix或Hessian)是一個自變量為向量的實(shí)值函數(shù)的二階偏導(dǎo)數(shù)組成的方塊矩陣,

此函數(shù)如下：

f(x1,x2…,xn)

如果f 的所有二階導(dǎo)數(shù)都存在, 那么f

的海森矩陣即：

H(f)ij(x)=DiDjf(x)

其中x=(x1,x2…,xn), 即H(f)為:

(也有人把海森定義為以上矩陣的行列式)海森矩陣被應(yīng)用于牛頓法解決的大規(guī)模優(yōu)化問題.

海森矩陣在牛頓法中的應(yīng)用

一般來說, 牛頓法主要應(yīng)用在兩個方面, 1, 求方程的根; 2, 最優(yōu)化.

1), 求解方程

并不是所有的方程都有求根公式, 或者求根公式很復(fù)雜, 導(dǎo)致求解困難. 利用牛頓法, 可以迭代求解.

原理是利用泰勒公式, 在x0處展開, 且展開到一階, 即f(x)=f(x0)+(x–x0)f′(x0)

求解方程f(x)=0, 即f(x0)+(x–x0)f′(x0)=0, 求解x=x1=x0–f(x0)/f′(x0), 因?yàn)檫@是利用泰勒公式的一階展開, f(x)=f(x0)+(x–x0)f′(x0)處并不是完全相等, 而是近似相等, 這里求得的x1并不能讓f(x)=0, 只能說f(x1)的值比f(x0)更接近f(x)=0, 于是乎, 迭代求解的想法就很自然了, 可以進(jìn)而推出?xn+1=xn–f(xn)/f′(xn), 通過迭代, 這個式子必然在f(x?)=0的時候收斂.

整個過程如下圖：

?

2), 最優(yōu)化

在最優(yōu)化的問題中, 線性最優(yōu)化至少可以使用單純形法(或稱不動點(diǎn)算法)求解, 但對于非線性優(yōu)化問題, 牛頓法提供了一種求解的辦法.

假設(shè)任務(wù)是優(yōu)化一個目標(biāo)函數(shù)f, 求函數(shù)f的極大極小問題, 可以轉(zhuǎn)化為求解函數(shù)f的導(dǎo)數(shù)f′=0的問題, 這樣求可以把優(yōu)化問題看成方程求解問題(f′=0). 剩下的問題就和第一部分提到的牛頓法求解很相似了.

這次為了求解f′=0的根, 把f(x)的泰勒展開, 展開到2階形式：

f(x+Δx)=f(x)+f′(x)Δx+12f′′(x)Δx2

這個式子是成立的, 當(dāng)且僅當(dāng)?Δx無限趨近于0時,f(x+Δx)=f(x), 約去這兩項(xiàng), 并對余項(xiàng)式f′(x)Δx+12f”(x)Δx2=0對Δx求導(dǎo)(注:f′(x),f”(x)

均為常數(shù)項(xiàng). 此時上式等價與：

????????? f′(x)+f′′(x)Δx=0

求解：

????????? Δx=?f′(xn)f′′(xn)

得出迭代公式：

????????? xn+1=xn?f′(xn)f′′(xn),n=0,1,...

一般認(rèn)為牛頓法可以利用到曲線本身的信息, 比梯度下降法更容易收斂（迭代更少次數(shù)）, 如下圖是一個最小化一個目標(biāo)方程的例子, 紅色曲線是利用牛頓法迭代求解, 綠色曲線是利用梯度下降法求解.

???????????

在上面討論的是2維情況, 高維情況的牛頓迭代公式是：

?????? xn+1=xn?[Hf(xn)]–1?f(xn),n≥0

其中H是hessian矩陣, 定義見上.?

高維情況依然可以用牛頓迭代求解, 但是問題是Hessian矩陣引入的復(fù)雜性, 使得牛頓迭代求解的難度大大增加, 但是已經(jīng)有了解決這個問題的辦法就是Quasi-Newton method, 不再直接計(jì)算hessian矩陣, 而是每一步的時候使用梯度向量更新hessian矩陣的近似.

[參考: Wikipedia]

此條目由 jacoxu 發(fā)表在 Optimization Theory 分類目錄，并貼了 Hessian、Jacobian 標(biāo)簽。將固定鏈接加入收藏夾。

總結(jié)

以上是生活随笔為你收集整理的三维重建4：Jacobian矩阵和Hessian矩阵的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。