????????? 還是不要看了，高翔的科普讀物已經(jīng)出版了，讀他的《slam十四講》就可以了。

????????? ORB_SLAM整個(gè)工程中冗長(zhǎng)的數(shù)據(jù)關(guān)聯(lián)策略使分析起來(lái)非常困難，閉環(huán)檢測(cè)作為整個(gè)優(yōu)化誤差策略的方法并未得到顯而易見(jiàn)的效果

????????? 三維重建過(guò)程中，濾波方法可以看做是一種追蹤方法。EM方法的長(zhǎng)期使用造成在相對(duì)整個(gè)世界坐標(biāo)系中累計(jì)誤差的指數(shù)級(jí)增長(zhǎng)。若是檢測(cè)到可信的閉環(huán)，閉環(huán)之內(nèi)的標(biāo)記幀的位姿可以全部進(jìn)行誤差矯正，重新調(diào)整在世界坐標(biāo)系中的位置。

????????? BA方法對(duì)兩兩關(guān)鍵幀之間的位姿誤差和世界地圖誤差累計(jì)進(jìn)行共同優(yōu)化，而閉環(huán)檢測(cè)對(duì)檢測(cè)到閉環(huán)之后，對(duì)所有閉環(huán)關(guān)鍵幀以及世界地圖所有點(diǎn)進(jìn)行位姿優(yōu)化。

?

閉環(huán)檢測(cè)在整個(gè)重建過(guò)程中的地位...............閉環(huán)檢測(cè)是如何降低地圖總誤差的？

1.? 在濾波方法中添加的閉環(huán)檢測(cè)

??????? 類似于PTAM方法中，一般使用閉環(huán)檢測(cè)在另一個(gè)線程里面，BOW方法是使用恰當(dāng)?shù)摹？梢詫?duì)所有得到的特征點(diǎn)即時(shí)構(gòu)建詞包，在濾波優(yōu)化的并行過(guò)程中，對(duì)每一幀進(jìn)行閉環(huán)檢測(cè)。

??????? 在SLAM中，閉環(huán)檢測(cè)是一種強(qiáng)數(shù)據(jù)關(guān)聯(lián)，置信度應(yīng)該比VO描述子匹配的置信度要高。

增量詞包方法：

?????? 根據(jù)閉環(huán)檢測(cè)的定義，與地圖構(gòu)建類似，構(gòu)建詞包理應(yīng)是一個(gè)增量的過(guò)程。記錄VO過(guò)程中的特征點(diǎn)描述子，運(yùn)行于平行于VO的另一個(gè)線程里。詞包的數(shù)量量級(jí)理論上等同于世界地圖標(biāo)記點(diǎn)的量級(jí)。

?????? 對(duì)每一幀的描述子進(jìn)行記錄，并在新的一幀描述子到來(lái)之后重構(gòu)詞包，力圖覆蓋已觀測(cè)到的整個(gè)環(huán)境。

?????? 地圖是數(shù)據(jù)關(guān)聯(lián)完成的最終形式，詞包是完成閉環(huán)檢測(cè)數(shù)據(jù)關(guān)聯(lián)的一個(gè)工具。???

固定詞包方法：

???????? BOW的構(gòu)建是一個(gè)非監(jiān)督機(jī)器學(xué)習(xí)的過(guò)程，構(gòu)建合適結(jié)構(gòu)的詞包需要一定的訓(xùn)練時(shí)間，詞包重構(gòu)有可能重構(gòu)整個(gè)詞匯樹(shù)，并不一定能實(shí)時(shí)完成。許多SLAM工程使用固定詞包方法，對(duì)一個(gè)特定的數(shù)據(jù)集（例如TMU室內(nèi)場(chǎng)景數(shù)據(jù)集）構(gòu)建一個(gè)碩大無(wú)比的詞包模型， 只進(jìn)行場(chǎng)景的相似度計(jì)算，而不進(jìn)行模型更新。

??????? 流傳已久的ORB_SLAM方法即使用了固定詞包的方法，在工程運(yùn)行之前，會(huì)提前載入一個(gè)碩大無(wú)比的詞包模型到內(nèi)存中。

?

2. SFM方法中的閉環(huán)檢測(cè)

????????? SFM方法為離線結(jié)構(gòu)恢復(fù)的方法，丟失了幀間關(guān)系，因此不能預(yù)先完成VO過(guò)程，需要重建軌跡，即重新恢復(fù)離散數(shù)據(jù)為圖結(jié)構(gòu)。步驟需要兩次優(yōu)化：尋找最優(yōu)序列結(jié)構(gòu)；根據(jù)最優(yōu)序列結(jié)構(gòu)重建整個(gè)地圖。

????????? 從無(wú)序圖片提取圖像特征描述子，用樹(shù)模型去計(jì)算兩張圖片特征點(diǎn)之間的歐式距離進(jìn)行特征點(diǎn)的匹配，從而找到特征點(diǎn)匹配個(gè)數(shù)達(dá)到要求的圖像對(duì)，此過(guò)程為關(guān)系重建。對(duì)于每一個(gè)圖像匹配對(duì)，計(jì)算對(duì)極幾何，估計(jì)F矩陣并通過(guò)ransac算法優(yōu)化改善匹配對(duì)。這樣子如果有特征點(diǎn)可以在這樣的匹配對(duì)中鏈?zhǔn)降貍鬟f下去，一直被檢測(cè)到，那么就可以重新形成軌跡。

???????? 若已重建軌跡可以被假定是最優(yōu)的，則SFM的后期處理與在線SLAM別無(wú)二致，使用BA算法和閉環(huán)檢測(cè)重建局部地圖和全局關(guān)聯(lián)。

??????

閉環(huán)檢測(cè)的CNN方法

???????? 閉環(huán)檢測(cè)是一種模式識(shí)別過(guò)程，可以使用CNN方法，并且當(dāng)下有這樣的趨勢(shì)。CNN模型在普遍數(shù)據(jù)集如ImageNet上，特征點(diǎn)檢測(cè)和場(chǎng)景相似度計(jì)算已遠(yuǎn)超過(guò)傳統(tǒng)的BOW算法，因此可以在使用固定BOW的場(chǎng)合，使用CNN模型取代BOW模型。

???????? 對(duì)SLAM的改造體現(xiàn)在對(duì)BOW模型的替換上，對(duì)已標(biāo)記的關(guān)鍵幀，使用CNN模型取代BOW計(jì)算關(guān)鍵幀之間的相似度，使用ANN方法和NN方法，檢測(cè)是否產(chǎn)生閉環(huán)。完成閉環(huán)檢測(cè)，并應(yīng)用于后續(xù)的BA過(guò)程。

????????? 名滿天下的殘差網(wǎng)絡(luò)和MaskRCNN網(wǎng)絡(luò)，對(duì)特征點(diǎn)和目標(biāo)的分割檢測(cè)上已經(jīng)遠(yuǎn)超過(guò)傳統(tǒng)檢測(cè)方法和DPM方法，在新的閉環(huán)檢測(cè)過(guò)程中可以直接使用其網(wǎng)絡(luò)結(jié)構(gòu)。

?

3.閉環(huán)檢測(cè)是如何降低總殘差的？

???????? 閉環(huán)有場(chǎng)景閉環(huán)和Agent/相機(jī)pose閉環(huán)兩種情況，但場(chǎng)景閉環(huán)和整體閉環(huán)不是充要條件，因此使用Pose閉環(huán)表示檢測(cè)閉環(huán)，表現(xiàn)為Agent/相機(jī)的位姿圖產(chǎn)生閉環(huán)。在機(jī)器人學(xué)中，釋義為機(jī)器人又走到了原來(lái)的位置，這比機(jī)器人又看到了相同的場(chǎng)景表示閉環(huán)可信，但此方法嚴(yán)重依賴于已構(gòu)建世界地圖的可信度。

?????? 場(chǎng)景閉環(huán)優(yōu)化殘差一般應(yīng)用于對(duì)相機(jī)沒(méi)有太過(guò)關(guān)注點(diǎn)的純粹三維重建之中。在SLAM中，長(zhǎng)時(shí)間后的大閉環(huán)檢測(cè)也是使用場(chǎng)景閉環(huán)檢測(cè)的方式（關(guān)鍵幀的相似度計(jì)算），同時(shí)需要更多的判定條件。

?????? 二維環(huán)，閉環(huán)檢測(cè)一般使用二維環(huán)，即假設(shè)Agent/機(jī)器人的六自由度運(yùn)動(dòng)限定在在同一個(gè)海拔或者一個(gè)水平或者傾斜的平面上。

先決條件：

?????? 1.已觀測(cè)的世界地圖的誤差已經(jīng)降低到置信范圍；2.Agent又回到以往的pose附近，即將要形成閉環(huán)。

?????? 閉環(huán)的判斷條件：測(cè)地距離閾值（稀疏圖的大環(huán)和小環(huán)）、歐式多邊形的面積（大閉環(huán)和小閉環(huán)）；

?????? 使用Agent位姿獲取閉環(huán)可信狀態(tài)，對(duì)場(chǎng)景匹配完成鏈接閉環(huán)，完成閉環(huán)檢測(cè)。

殘差優(yōu)化：

?????? 檢測(cè)閉環(huán)之后，可清楚的得到一個(gè)拓?fù)溟]環(huán)-稀疏拓?fù)鋱D，或者進(jìn)而得到一個(gè)歐式多邊形閉環(huán)-歐式空間二維多邊形，可使用此環(huán)進(jìn)行誤差優(yōu)化。此閉環(huán)并非完全可信，優(yōu)化的時(shí)候需要對(duì)地圖和位姿同時(shí)優(yōu)化。

?????? ORB_SLAM中閉環(huán)檢測(cè)的優(yōu)化方式：在場(chǎng)景閉環(huán)鏈接處，使用RANSAC和ICP等方法匹配鏈接閉環(huán)。矯正閉環(huán)上鏈接的所有關(guān)鍵幀。對(duì)每一個(gè)關(guān)鍵幀的點(diǎn)云都進(jìn)行更新。若需要構(gòu)建更準(zhǔn)確的地圖，則再次更新整個(gè)Agent軌跡和每個(gè)pose處的觀測(cè)地圖。

?????? 借用一張圖：https://blog.csdn.net/u010128736/article/details/53409199

?

殘差優(yōu)化方程：

????? 參考：SLAM中的位姿優(yōu)化

2.4? 閉環(huán)處的Sim3位姿優(yōu)化

?????? 當(dāng)檢測(cè)到閉環(huán)時(shí)，閉環(huán)連接的兩個(gè)關(guān)鍵幀的位姿需要通過(guò)Sim3優(yōu)化（以使得其尺度一致）。優(yōu)化求解兩幀之間的相似變換矩陣，使得二維對(duì)應(yīng)點(diǎn)（feature）的投影誤差最小。

?????? 如下圖所示，Pos6和Pos2為一個(gè)可能的閉環(huán)。通過(guò)和之間的投影誤差來(lái)優(yōu)化。

???????

2.3 全局優(yōu)化

在全局優(yōu)化中，所有的關(guān)鍵幀（除了第一幀）和三維點(diǎn)都參與優(yōu)化。

?更新整個(gè)位姿軌跡和全部關(guān)鍵幀以及所有的地圖位置之后，閉環(huán)檢測(cè)完成。

?

????????

?

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的三维重建：闭环检测-相机闭环的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。