?點(diǎn)云PCL免費(fèi)知識星球，點(diǎn)云論文速讀。

標(biāo)題：ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual-Inertial and Multi-Map SLAM

作者：Carlos Campos?, Richard Elvira?, Juan J. Gomez Rodr ′ ′?guez, Jose M.M. Montiel and Juan D. Tard ′ os

編譯：particle

歡迎各位加入免費(fèi)知識星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈分享快樂。

ORB-SLAM3！！！！真的開源了！學(xué)生黨發(fā)論文的希望，工作黨的kpi，自動駕駛企業(yè)的demo方案源泉！是不是為之興奮呢？接下來公眾號將率先分享這篇文章。本篇文章將簡要的介紹ORB-SLAM的創(chuàng)新點(diǎn)以及demo視頻，接下來，將發(fā)布翻譯版的全部內(nèi)容（內(nèi)容較多，將分篇幅發(fā)布，敬請關(guān)注）。

作為一篇能帶動學(xué)生發(fā)論文，工作kpi,帶動績效，甚至可以帶來融資的開源方案，值得SLAM研究者學(xué)習(xí)一波，這里我們將組織群友開啟ORB-SLAM3的一起學(xué)活動。有興趣的小伙伴可以后臺發(fā)送“ORB-SLAM3”獲取群聊二維碼，開啟我們的論文學(xué)習(xí)，代碼注釋的學(xué)習(xí)之旅吧。

摘要

ORB-SLAM3：這是一個能夠使用單目，立體，RGB-D相機(jī)，兼容針孔以及魚眼相機(jī)模型進(jìn)行視覺，視覺+慣導(dǎo)和多地圖的SLAM方案。

該方案的創(chuàng)新點(diǎn)：

第一創(chuàng)新點(diǎn)是實(shí)現(xiàn)了基于視覺特征與慣導(dǎo)的緊耦合SLAM系統(tǒng)，該系統(tǒng)完全依賴Maximum-a-Posteriori（MAP）估計，即便在初始化階段也是如此。這種方案無論在小型或者大型室內(nèi)室外環(huán)境中都能夠穩(wěn)定的運(yùn)行，并且比以前的方法精確了2-5倍。（朋友們？你聽到這個結(jié)果興奮嗎？可以養(yǎng)活一大批SLAM工作者和企業(yè)）

第二個主要的創(chuàng)新是一個多地圖的系統(tǒng)，依賴于一種新的位置識別和改進(jìn)的回環(huán)檢測，能夠保證ORB-SLAM3能夠長時間的在特征點(diǎn)不良的環(huán)境下有效的運(yùn)行，并且當(dāng)它跟丟的時候，就會重新啟動一個新的地圖，當(dāng)相機(jī)故地重游的時候，系統(tǒng)能夠無縫的合并多個地圖。

第三個創(chuàng)新點(diǎn)是與一般的視覺里程計只能利用最后相鄰幾幀圖像數(shù)據(jù)相比，ORB-SLAM3是第一個能夠在算法階段重用所有歷史信息的系統(tǒng)，其中包含了共視幀之間的捆集調(diào)整（BA），即使共視幀在時間上相差甚遠(yuǎn)，甚至來自不同的地圖，實(shí)驗表明，在所有的傳感器配置中，ORB－SLAM3與文獻(xiàn)中可用的最好的系統(tǒng)一樣健壯，并且更精確。值得注意的是，我們的立體慣性SLAM在EuRoC無人機(jī)上的平均精度為3.6厘米，在TUM-VI數(shù)據(jù)集（AR/VR場景的一個典型場景）中，快速手持式移動時的平均精度為9毫米。

為了社區(qū)的利益，我們公開了源代碼

https://github.com/UZ-SLAMLab/ORB_SLAM3

內(nèi)容簡介

在這項工作是建立在ORB-SLAM[2]、[3]和ORBSLAM視覺慣性[4]的基礎(chǔ)上，這是第一個能夠充分利用短期、中期和長期數(shù)據(jù)關(guān)聯(lián)的視覺和視覺慣性系統(tǒng)，在地圖中能夠達(dá)到零漂移。并且我們進(jìn)一步提供了多地圖之間的數(shù)據(jù)關(guān)聯(lián)，它允許我們匹配和使用歷史地圖中的信息，建立BA地圖mark點(diǎn)的優(yōu)化關(guān)系，從而實(shí)現(xiàn)SLAM系統(tǒng)的真正目標(biāo)：構(gòu)建一個之后可以用來提供精確定位的地圖。從上面的表格中是不是感受到了這個系統(tǒng)的強(qiáng)大？

所有這些創(chuàng)新之外，再加上一些代碼改進(jìn)，使ORB-SLAM3成為新的可以參考的視覺和視覺慣導(dǎo)的開源SLAM庫，與文獻(xiàn)中可用的最好的開源系統(tǒng)一樣健壯，并且更加精確。系統(tǒng)還提供了單目、立體、單目慣性和立體慣性SLAM結(jié)果之間的比較，這些結(jié)果可能會引起從業(yè)人員的興趣。（簡而言之就是你們直接用就行了，開不開心？）

ORB-SLAM3是一個完整的多地圖系統(tǒng)，能夠在純視覺或視覺慣性模式下工作，使用單目、立體或RGB-D傳感器，使用針孔和魚眼相機(jī)模型。上圖展示了與ORB-SLAM2具有平行關(guān)系的主要模塊，并且ORB-SLAM3具有一些顯著的新穎性，下面將對其進(jìn)行總結(jié)：

?地圖集是由一組斷裂的局部地圖組成的多個地圖。當(dāng)在跟蹤線程在傳入的新的圖像幀的時，由局部地圖線程不斷優(yōu)化和增加新的關(guān)鍵幀，此時構(gòu)建成一個活動地圖。我們把系統(tǒng)中地圖集中的其他地圖稱為非活動地圖。該系統(tǒng)建立了一個獨(dú)特的DBoW2關(guān)鍵幀數(shù)據(jù)庫，用于重定位、閉環(huán)檢測和地圖合并。

?跟蹤線程處理傳感器圖像信息，實(shí)時計算當(dāng)前幀在當(dāng)前活動地圖中的姿態(tài)，最大限度地減少匹配地圖特征的重投影誤差。它還決定當(dāng)前幀是否成為關(guān)鍵幀。在視覺慣性模式下，通過在優(yōu)化中加入慣性殘差來估計物體速度和慣性慣導(dǎo)的偏差。當(dāng)跟蹤丟失時，跟蹤線程將嘗試重新定位所有地圖集地圖中的當(dāng)前幀。如果重定成功，則繼續(xù)跟蹤，并在需要時切換活動地圖。否則，在一段時間后，活動地圖將被存儲為非活動映射，并從頭開始初始化新的活動地圖。

?局部地圖線程將關(guān)鍵幀和特征點(diǎn)添加到活動地圖中，移除多余的關(guān)鍵幀，并使用視覺或視覺慣性捆集調(diào)整來優(yōu)化地圖，在最接近當(dāng)前幀的關(guān)鍵幀的局部窗口中執(zhí)行。另外，在慣性情況下，利用我們新的MAP估計技術(shù)，通過地圖線程初始化和優(yōu)化IMU參數(shù)。

?回環(huán)和地圖合并線程以關(guān)鍵幀速率檢測活動地圖和整個地圖集之間的共視區(qū)域。如果共視區(qū)域?qū)儆诨顒拥貓D，則執(zhí)行回環(huán)校正；如果共視區(qū)域?qū)儆诓煌牡貓D，則兩個地圖將無縫合并為一個單獨(dú)的地圖，并成為活動地圖。在回環(huán)校正之后，在一個獨(dú)立的線程中啟動一個完整的BA，以便在不影響實(shí)時性能的情況下進(jìn)一步地圖點(diǎn)優(yōu)化。

系統(tǒng)中不同優(yōu)化的因子圖表示

局部地圖合并融合模塊示意圖

實(shí)驗結(jié)果與總結(jié)

各個數(shù)據(jù)集上的表現(xiàn)

在[2]-[4]的基礎(chǔ)上，我們推出了ORB-SLAM3，這是一個最完整的可視化、視覺慣性和多地圖的SLAM開源庫，配備了單目、立體、RGB-D、針孔和魚眼攝像頭。我們的主要貢獻(xiàn)，除了集成庫本身之外，還有快速準(zhǔn)確的IMU初始化技術(shù)和多地圖合并功能，這些功能依賴于一種新的具有改進(jìn)召回能力的地點(diǎn)識別技術(shù)，使ORB-SLAM3非常適合于長期和大規(guī)模的SLAM實(shí)際應(yīng)用。

參考文獻(xiàn)

[1] C. Cadena, L. Carlone, H. Carrillo, Y. Latif, D. Scaramuzza, J. Neira,I. Reid, and J. J. Leonard, “Past, present, and future of simultaneous localization and mapping: Toward the robust-perception age,” IEEE Transactions on Robotics, vol. 32, no. 6, pp. 1309–1332, 2016.

[2] R. Mur-Artal, J. M. M. Montiel, and J. D. Tardos, “ORB-SLAM: a versatile and accurate monocular SLAM system,” IEEE Transactions on Robotics, vol. 31, no. 5, pp. 1147–1163, 2015.

[3] R. Mur-Artal and J. D. Tardos, “ORB-SLAM2: An open-source SLAM ′system for monocular, stereo, and RGB-D cameras,” IEEE Transactions on Robotics, vol. 33, no. 5, pp. 1255–1262, 2017.

[4] “Visual-inertial monocular SLAM with map reuse,” IEEE Robotics and Automation Letters, vol. 2, no. 2, pp. 796–803, 2017

如果你對本文感興趣，請點(diǎn)擊“原文閱讀”獲取知識星球二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費(fèi)知識星球，免費(fèi)下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內(nèi)容如有錯誤請留言評論，歡迎指正交流。如有侵權(quán)，請聯(lián)系刪除

總結(jié)

以上是生活随笔為你收集整理的【开源方案共享】ORB-SLAM3开源啦！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。