多視圖幾何總結——基礎矩陣、本質矩陣和單應矩陣的求解過程

• 多視圖幾何總結——基礎矩陣、本質矩陣和單應矩陣的求解過程
• • 1. 說明——其實求解過程大同小異
  • 2. 單應矩陣求解過程
  • • 2.1 基于代數誤差的線性估計
    • • 2.1.1 解法一：最小二乘法 / 高斯消去法（最小配置解情況）
      • 2.1.2 解法二：DLT算法
    • 2.2 基于幾何誤差的非線性估計
  • 3. 基礎矩陣求解過程
  • • 3.1 基于代數誤差的線性估計
    • • 3.1.1 七個點——最小配置解情形
      • 3.1.2 八個點——線性解法
      • 3.1.3 n個點——八點法
    • 2.2 基于幾何誤差的非線性估計
  • 4. 本質矩陣求解過程
  • • 4.1 基于代數誤差的線性估計
    • • 4.1.1 八點法
      • 4.1.2 五點法

多視圖幾何總結——基礎矩陣、本質矩陣和單應矩陣的求解過程

在《視覺SLAM十四講》中，僅僅給出了基礎矩陣、本質矩陣和單應矩陣的推導過程，并沒有詳細給出其求解過程，再看過《計算機視覺中的多視圖幾何》之后才發現這里面原來有這么多巧妙的地方，因此在這篇文章中予以總結。

1. 說明——其實求解過程大同小異

為什么說求解過程大同小異呢，不管是那種矩陣，在求解方法的分類上大致是都可以分為基于代數誤差的線性估計和基于幾何誤差的非線性估計，在基于代數誤差的線性估計中，不管是那種矩陣最后的形式一般都是$$Ax=b$$其中$A$是由匹配的點構成的矩陣，而$x$是由待解的基礎矩陣或者單應矩陣的元素構成的向量，$b$是根據解法的不同而不同，在基于幾何誤差的非線性估計中，又幾乎都有黃金標準方法（重投影誤差）和一階幾何誤差（Sampson距離）等方法，因此我個人覺得是比較相似的，因此，我下文主要是單應矩陣的求解過程詳解，其他矩陣主要說明不同。

2. 單應矩陣求解過程

2.1 基于代數誤差的線性估計

首先我們知道，單應矩陣的對應點的方程為：$$H{x}_i=x_i^{\prime }$$其中有

通過令$x_i^{\prime }=(x_i^{\prime },y_i^{\prime },w_i^{\prime })$，求解$x_i^{\prime }\times H{x}_i=0$有

整理得

容易觀察到左邊的矩陣僅有兩個是線性獨立的，因此可以方程組變為

注意上面都是針對一個點變換的，因此知道，一對匹配點可以構造出兩個方程，而我們的單應矩陣自由度是8，因此我們最少需要四對點進行求解。

2.1.1 解法一：最小二乘法 / 高斯消去法（最小配置解情況）

上面方程的右側是一個9維的向量，其實就是H矩陣九個未知量，根據尺度不變性的理解，這里第一種方法是將尺度不變性理解為九個元素中間的某一個為1，這樣就消除了尺度不變性，假定選擇最后一個元素為1的話，方程就可以轉換為《視覺SLAM十四講》里面的方程

這是一個線性方程組，如果匹配點的數量多于4對點的話，就是超定方程，采用最小二乘法，如果是4對點的話，就是普通的非齊次線性方程組，采用高斯消去法就可以。
這種方法的確定是，如果所選為1的元素接近0，結果將導致不穩定解，因此更推薦解法二。

2.1.2 解法二：DLT算法

上述方程形式為$Ah=x$，其中矩陣$A$為的秩為8，未知向量$h$的維數為9，如果四對點都是準確點的話，上述方程存在一維的零空間，即存在一個線性解，但是如果匹配點都存在誤差的話，通常的做法是在約束$||h||=1$的最小化范數$||Ah||$，即求$||Ah||/||h||$的最小值問題，該問題解為$A^{T}A$的最小特征值的特征矢量，也就是$A$的最小奇異值的奇異矢量，總之其基本DLT算法步驟如下：

在多視圖幾何中證明了，DLT算法的結果與點的坐標系有關，為了相處坐標系的影響同時使DLT算法關于相似變換不變，提出了歸一化的問題，包括圖像坐標的平移和尺度縮放，而歸一化是再DLT之前必須實施的。其步驟如下：
（1）對點進行平移使其形心位于原點
（2）對點進行縮放使他們到原點的平均距離等于$\sqrt{2}$
（3）對兩幅圖獨立進行上述變換
因此歸一化的DLT算法如下：

2.2 基于幾何誤差的非線性估計

幾何誤差分好幾種情況，包括單圖像誤差、對稱轉移誤差和重投影誤差，如下圖

上圖的上半圖就是對稱轉移誤差，表示為

上圖的下半圖就是重投影誤差，表示為

可以通過DLT獲得其初始值，然后通過牛頓法或者列溫伯格法進行迭代下降求得最后的值。

基于代數誤差的方法會更快，而基于幾何誤差的方法會根據魯棒性

3. 基礎矩陣求解過程

3.1 基于代數誤差的線性估計

基礎矩陣的求解方法和單應矩陣就比較相似啦，不過還是有區別的，首先基本矩陣的方程如下：$$x_{i}F{x}_i^{\prime }=0$$與單應矩陣不同的是，對于基本矩陣一對點只能確定一個約束方程，給定n對匹配點就得到如下方程組

下面我換個思路按照點的數量多少對求解方法進行分類：

3.1.1 七個點——最小配置解情形

當矩陣A的秩為7時，其解空間維數為2，因此會有$F_1$和$F_2$兩個解，同時$F$又要滿足$det(F)$的要求，因此添加一個強迫約束$det(\alpha F_1+(1?\alpha )F_2)=0$，此種情況下矩陣可能有一種或者三種解。

3.1.2 八個點——線性解法

這就是解解空間為1維的線性方程組

3.1.3 n個點——八點法

多視圖幾何中將n個點的解法成為八點法（明明不是八個點…）

其實就對應著前面的求解單應矩陣的DLT算法，歸一化的8點法就是歸一化 DLT算法，在此不贅述，需要注意的一點是，單應矩陣不是奇異矩陣，而基礎矩陣是奇異矩陣（為什么是奇異矩陣參見MVG總結——基礎矩陣、本質矩陣和單應矩陣的自由度分析），因此需要添加一個強迫約束， 即求解在Frobenius范數下最接近$F$的奇異矩陣$F^{\prime }$代替$F$，采用SVD分解，具體解法如下：

2.2 基于幾何誤差的非線性估計

多視圖幾何中介紹的除了重投影誤差，還介紹了一種對稱對極點距離的幾何誤差，如下：

這里順便插一句，目前state of art的一種過濾動態物體的算法就是基于這種思想完成的DS SLAM

4. 本質矩陣求解過程

4.1 基于代數誤差的線性估計

4.1.1 八點法

本質矩陣的八點法求解與基礎矩陣是一致的，不同的一點是其強迫約束不同，因為本質矩陣的性質中有一條是其奇異值分解的兩個非零奇異值相等，因此再SVD的處理中按照如下方式處理;

4.1.2 五點法

5點算法的大概思路就是把本征方程展開，再加上本質矩陣的充要條件。化簡后得到一個高次多項式方程，該多項式實數解中的一個確定出的本質矩陣是系統的真實本質矩陣，對偽解進行剔除。該方法的具體原理可見論文An efficient solution to the five-point relative pose problem

總結大致如此， 有什么問題歡迎交流～

此外，對SLAM算法感興趣的同學可以看考我的博客SLAM算法總結——經典SLAM算法框架總結

總結

以上是生活随笔為你收集整理的多视图几何总结——基础矩阵、本质矩阵和单应矩阵的求解过程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。