文稿整理者：小蘿卜

審稿&修改：趙季博士

---

本文總結自12月4日趙季博士關于【相對位姿估計的進展和新方法】公開課。

位姿估計是多視圖幾何的重要方向。趙博士在公開課第一部分首先概述了位姿估計的背景，然后回顧了經典的最小配置問題、多項式方程組的解法，介紹了目前學術界的研究方向，最后給出學習資料和相關軟件資源。

第二部分中，趙博士介紹了經典的最小配置問題(5點法&6點法)的新解法。這部分包括趙博士的工作（把rotation和translation解耦，構造只包含rotation的方程組）。

第三部分，趙博士介紹了從新的幾何特征“射線－點－射線”中估計位姿。第四部分，趙博士介紹了N點法的全局最優位姿估計。

01

位姿估計背景介紹和經典方法介紹

位姿估計是三維視覺的重要基礎，有著非常廣泛的應用，例如無人機定位，無人車定位，三維重建等。

按照給定的觀測不同，位姿估計可以分為三大類。根據點云求位姿，屬于3D-3D位姿估計，稱作點云配準問題，代表算法包括ICP，NDT，LOAM等。根據圖像點和地圖點求位姿，屬于3D-２D位姿估計，稱作絕對位姿估計，代表算法包括P3P，PnP等。根據具有公共視野的圖像求位姿，屬于2D-2D位姿估計，稱作相對位姿估計，代表算法包括5點法、8點法、單應矩陣法等。本公開課重點關注2D-2D相對位姿估計方法。

趙博士首先介紹了經典的最小配置問題以及其最小配置解，即至少需要多少個點（觀測）來求相對位姿。對于單目相機，最少需要5個點，對于多目相機或者廣義相機，最少需要6個點。參考論文[C. Longuet-Higgins 1981], [D.Nister 2004], [H. Stewenius et al 05,06].

隨后，趙博士介紹了定制化最小配置問題的三個研究方向，分別是：

1.利用先驗降低問題的自由度，例如已知旋轉角、已知旋轉軸、平面運動約束、阿克曼運動模型等

2.將其他變量和位姿同時估計，例如相機焦距、主點、畸變參數等。

3.處理非標準的位姿估計問題，例如使用新型的特征匹配恢復位姿（仿射匹配，射線-點-射線匹配）、處理新型相機或場景等。

最小配置問題的核心是求解多項式方程組。接下來，趙博士介紹了多項式方程組求解的方法以及工具。常見方法包括closed-form solution, companion matrix, Sturm sequence, Gr?bner basis (格羅布納基), resultant method (結式法), Wu’s method (吳文俊方法), homotopy continuation (同倫連續)等。工具包括Macaulay2, Maple,以及方程求解器的自動生成程序。趙博士在公開課中著重介紹了針對多元高階方程的Gr?bner basis方法。Gr?bner basis方法當前分為離線和在線兩部分，離線構造出消元模板，在線填充消元模板中的非零元素，便于提高計算效率。感興趣的同學可以看原公開課視頻。

第一部分最后，趙博士介紹了最優位姿估計的研究方向，包括設計具有魯棒性和全局最優性的算法，解的最優性認證，從兩視圖的位姿估計擴展到多視圖，基于機器學習的位姿估計方法等。

02

5點法 &?6點法

趙博士在第二部分中介紹了他和合作者的工作，主要是對經典最小配置問題提出新的解法。在最小配置問題中，對于單目相機，最少需要5個點可以恢復位姿。而對于一般的多目相機，最少需要6個點。

（圖1）左：單目相機 右：多目相機

單目相機和多目相機的位姿恢復都可以根據方向向量和平移的共面性建立幾何約束。

（1）單目相機

對于單目相機，經典的對極幾何刻畫了兩個方向向量、平移向量t之間的共面關系。具體做法是建立約束，即，令，稱為本質矩陣，則。也可以不引入本質矩陣，使用更加直接的方式建模。例如，在[Kneip et al 2012 ECCV]中潛在地使用了一種表示形式：

此時可以去掉t，令矩陣不滿秩即可，任取矩陣3行構造的行列式應為0。這樣就得到了只與R相關的約束，實現了R和t的解耦。當R求出后，對相應的5*3矩陣做SVD分解求t。

（2）多目相機

對于多目相機，不同相機的光心之間還有一個相對偏置，因此多目相機的對極幾何變得復雜，為：

可以看出，單目情況的3維方向向量變成了6維的普呂克直線表示，單目情況的3*3的本質矩陣變成了6*6的廣義本質矩陣。單目的五點法[D. Nister 2004]沒法推廣到多目情況。為了解決這個問題，[Stewenius, Astrom, Nister 2005]提出了一種匹配點深度參數化的解法，成為多年來幾乎唯一的解法。

我們的旋轉-平移解耦方法可以輕易地推廣到多目相機。區別在于單目的5*3矩陣變成了6*4矩陣，再任取其中的4*4矩陣，令它門的行列式為0。此外，如果存在三個匹配在兩個視圖中都被相同的單相機成像，則需要增加3*3子矩陣的行列式為0的約束。

需要對旋轉R給出合適的參數化方法，用于構建多項式方程。R有多種表示方法，趙博士列舉了Cayley，Quaternion，Direction cosine matrix（DCM）三種方法。

如何去選擇旋轉的表示方法呢？好的表示方法要使方程組的階次盡量低，未知變量盡量少，對稱性盡量少。

趙博士工作用Cayley和quaternion表示方法來求解5點法[1]和6點法[3]中旋轉矩陣R。Cayley表示旋轉的具體5點/6點法求解步驟在視頻中有講解，感興趣的同學請看原公開課，在此不贅述。

趙博士總結了R和ｔ解耦方法的一般步驟［３］：

1.?用R和t寫出約束，R建議用Cayley或quaternion表示。

2.?將約束表示為M*t=0，其中M只和R相關。單相機的t是3維，多相機系統的t是4維齊次坐標。

3.?讓M子矩陣的行列式為0，構造多項式方程。

4. 對于多相機，如果存在三個匹配在兩個視圖中都被相同的單相機成像，則需要增加3*3子矩陣的行列式為0的約束。

5. 對于步驟3和4的多項式方程，除以Cayley或quaternion相關的尺度因子。

6.?使用多項式方程求解的工具鏈求出R，再求出t。

本部分最后，趙博士介紹了其工作的實驗結果。5點法對純旋轉比較友好，擴展性強。6點法相比于之前方法具有更高的效率，更好的數值穩定性，擴展性更強，可以方便地推廣到各種復雜的定制化問題。

03

從射線－點－射線(RPR)中恢復位姿

（圖2）室內RPR幾何結構

結構化環境中建圖和定位時，注意到室內有很多線段結構。但是，理論上可以證明無法從兩視圖的線段匹配中恢復位姿。因此，提出了將射線-點-射線組成角進行匹配，這種結構稱為RPR (ray-point-ray)。如果知道這種角結構在3D空間中的真實角度，我們就可以建立約束來估計位姿。如圖三所示，為角結構的幾何約束示意圖。

（圖3） 二視圖中的RPR約束

每個ray的觀測引入了一個平面，可以求出平面的法向量。由于3D空間中的ray同時位于兩個平面上，它的方向向量正比于兩個法向量的叉乘。因此我們可以建立約束。

對于90度角：

對于一般角：

趙博士的實驗結果如下。其中消元模板的尺寸是求解效率相關的指標，模板尺寸越小越好。可以看出，Cayley表示的求解效率是最高的。這種RPR約束具有理論價值，也為結構化場景的視覺定位提供了新思路。

（圖4）不同R表示方法對RPR約束求解對比

04

N點法的全局最優位姿估計

第四部分中，趙博士介紹了用多點法求全局最優位姿。在實際工作中，冗余觀測較多，而且存在噪聲。因此，多點法相比于最小配置解法，具有更高的精度。

趙博士首先介紹了一些經典工作和相關論文。

1.代數誤差

·LMI optimization [Chesi 2009 PAMI]

·local optimization, BnB [Kneip & Lynen 2013 ICCV]

·SDP + R-T representation [Briales et al 2018 CVPR]

2.幾何誤差（例如重投影誤差）

·Gauss-Newton, Levenberg-Marquardt.

3.DLT method

·8 point method + normalization [Hartley 1997 PAMI]

4.Certifiable solvers for related tasks

·geometric perception [H. Yang & Luca Carlone ICCV’19, RAL’20, CVPR’20, NIPS’20]

·certifiable solvers [Briales et al IROS’16, ICRA’17, CVPR’17, Garcia-Salguero et al IVC’21]

·rotation averaging [Rosen et al IJRR’19, Eriksson et al CVPR’18, Dellaert et al ECCV’20]

然后趙博士介紹了通過幾何約束建立約束模型、和最小配置解不同的是，多點法需要考慮噪聲，因此從解方程問題變成了優化問題，優化目標是使方程的殘差盡可能接近0。

使用代數誤差時，優化問題為

其中，歸一化本質矩陣的集合定義為：

對目標函數進行整理，變為標準的二次型

由于歸一化本質矩陣的充分必要條件為

可以減少約束中的未知數，把問題重新整理為標準QCQP問題：

我們需要對上述優化問題進行求最優值，下圖為非凸QCQP問題的求解框架。核心思想是把原來的非凸優化通過半正定松弛轉化為凸優化。求解完畢后再將最優解返回到原問題。

最后，趙博士介紹了一些相關的主題：

1. 松弛緊性（tightness）的判斷、松弛的局部穩定性證明；

2. 把N點法嵌入到魯棒框架，得到魯棒N點法；

3. 實驗結果，包括效率評估、魯棒N點法的精度和魯棒性、匹配點的個數與位姿精度的關系等。

05

推薦的學習資源

Tutorial & Survey

1).The art of solving minimal problems

-http://cmp.felk.cvut.cz/minimal-iccv-2015/

-http://cmp.felk.cvut.cz/minimal-cvpr-2019/

2).Minimal Problems in Computer Vision

-http://aag.ciirc.cvut.cz/minimal/

6).Global Optimization for Geometric Understanding with Provable Guarantees?

-https://mit-spark.github.io/GlobalOptimization-ICCV2019/

CAS Software

1).Macaulay2:

- http://www2.macaulay2.com/Macaulay2/

2).Maple software

Automatic solver generator程序

1).Automatic generator for minimal solvers.?

- http://people.inf.ethz.ch/vlarsson/

2).Automatic generator.?

- https://github.com/PavelTrutman/Automatic-Generator

3).Polyjam.?

- https://github.com/laurentkneip/polyjam

4).Gaps.?

- https://github.com/prclibo/gaps

教材

1).D.Cox et al. Ideals, Varieties, and Algorithms. Springer, 2013.

2).D.Cox et al. Using Algebraic Geometry. Springer, 2006.

中文資料

1).王東明, 等. 計算機代數(第二版), 清華大學出版社, 2007.

2).李超, 等. 計算機代數系統的數學原理. 清華大學出版社, 2010.

3).北航牟老師. 計算機代數課程視頻：

?https://www.bilibili.com/video/BV1p7411c7mz?p=1

06

參考文獻

[1] Ji Zhao, Laurent Kneip, Yijia He, and Jiayi Ma. Minimal Case Relative Pose Computation using Ray-Point-Ray Features.

IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(5): 1176 - 1190, 2020.

[2] Ji Zhao. An Efficient Solution to Non-Minimal Case Essential Matrix Estimation. IEEE Transactions on Pattern Analysis?and Machine Intelligence. DOI: 10.1109/TPAMI.2020.3030161.

[3] Ji Zhao, and Banglei Guan. On Relative Pose Recovery for Multi-Camera Systems. ArXiv:2102.11996.

Webpage:?

https://sites.google.com/site/drjizhao/

Github:?

https://github.com/jizhaox

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載黃海廣老師《機器學習課程》視頻課黃海廣老師《機器學習課程》711頁完整版課件

本站qq群955171419，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【CV】相对位姿估计的进展和新方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。