小觅智能 | VINS 学习笔记
摘自：https://zhuanlan.zhihu.com/p/48728586
小覓智能 | VINS 學(xué)習(xí)筆記（持續(xù)更新中）
小覓智能
專注立體視覺技術(shù)整體解決方案，網(wǎng)站 http://myntai.com
VINS 基本介紹
VINS-Mono 和 VINS-Mobile 是香港科技大學(xué)沈劭劼老師開源的單目視覺慣導(dǎo) SLAM 方案。2017年發(fā)表于《IEEE Transactions on Robotics》。另外，VINS 的最新一篇論文獲得了 iROS 2018 最佳學(xué)生論文獎。它是基于優(yōu)化和滑動窗口的 VIO ，使用 IMU 預(yù)積分構(gòu)建緊耦合框架，同時還有自動初始化，在線外參標(biāo)定，重定位，閉環(huán)檢測，以及全局位姿圖優(yōu)化功能。
?
VINS-Mono 是基于單目視覺慣性系統(tǒng)的實時 SLAM 框架， 是目前非常先進(jìn)的單目 VIO 算法，更是視覺與 IMU 的融合中的經(jīng)典之作，其定位精度可以媲美 OKVIS，而且具有比 OKVIS 更加完善和魯棒的初始化以及閉環(huán)檢測過程，代碼在 Linux 上運行，并與 ROS 完全集成。VINS-Mono 主要用于自主無人機(jī)的狀態(tài)估計和反饋控制，但它也能夠為 AR 應(yīng)用提供精確的定位。VINS-Mobile 可以運行在 iOS 系統(tǒng)，值得一提的是，沈劭劼老師開源了 ROS 和 iOS 版本，前端寫的很簡潔，代碼非常清晰，值得大家學(xué)習(xí)，鏈接：https://arxiv.org/pdf/1708.03852.pdf。
?
VINS 的整體系統(tǒng)框架圖
?
前端基于 KLT 跟蹤算法， 后端基于滑動窗口的優(yōu)化(采用 ceres 庫)， 基于 DBoW 的回環(huán)檢測。
?
整體框架分為五部分，如上圖所示：
1. Measuremen Preprocessing ：觀測值數(shù)據(jù)預(yù)處理，包含圖像數(shù)據(jù)跟蹤IMU數(shù)據(jù)預(yù)積分；
2. Initialization：初始化，包含單純的視覺初始化和視覺慣性聯(lián)合初始化；
3. Local Visual-Inertia BA and Relocalization：局部 BA 聯(lián)合優(yōu)化和重定位，包含一個基于滑動窗口的 BA 優(yōu)化模型；
4. Global Pose Graph Optimization：全局圖優(yōu)化，只對全局的位姿進(jìn)行優(yōu)化；
5. Loop detection：回環(huán)檢測。
?
VINS 為什么采用「視覺 + IMU」 融合？
單一的傳感器不能適用所有的場景，比如視覺傳感器在大多數(shù)紋理豐富的場景中效果很好，但是如果遇到玻璃，白墻等特征較少的場景，基本上無法工作，而通過多個傳感器的融合可以達(dá)到理想的定位效果。
?
小覓雙目攝像頭采用了「雙目+慣導(dǎo)+結(jié)構(gòu)光」的融合方案
?
雖然 IMU 長時間使用有非常大的累積誤差，但是在短時間內(nèi)，其相對位移數(shù)據(jù)又有很高的精度，所以當(dāng)視覺傳感器失效時，融合 IMU 數(shù)據(jù)，能夠提高其定位的精度。與此同時，視覺和慣性測量的互補(bǔ)特性， 使它們特別適合融合， 而魯棒性和準(zhǔn)確的定位與地圖繪制是任何移動機(jī)器人都需要解決的主要需求。此外， 這兩種傳感器在大多數(shù)智能手機(jī)中都有，融合可以有效解決移動手機(jī)上的視覺-慣性同時定位與制圖。
卜小乂 總結(jié)道：
- 視覺與 IMU 的融合可以借助 IMU 較高的采樣頻率，進(jìn)而提高系統(tǒng)的輸出頻率。
- 視覺與 IMU 的融合可以提高視覺的魯棒性，如視覺 SLAM 因為某些運動或場景出現(xiàn)的錯誤結(jié)果。
- 視覺與 IMU 的融合可以有效的消除 IMU 的積分漂移。
- 視覺與 IMU 的融合能夠校正 IMU 的 Bias。
- 單目與 IMU 的融合可以有效解決單目尺度不可觀測的問題。
?
小覓雙目攝像頭標(biāo)準(zhǔn)版跑 VINS 實測：
?
?
VINS 相較 OKVIS 方案搭建很快，CPU 占用率低，更適合朋友們快速上手。
VINS-Fusion
最近港科大開源的 VINS-Fusion 贏得了很多知友的關(guān)注，非常榮幸推薦我們的相機(jī)呀～
VINS-Fusion 是一種基于優(yōu)化的多傳感器狀態(tài)估計器，可實現(xiàn)自主應(yīng)用（無人機(jī)，汽車和 AR / VR）的精確自定位。 VINS-Fusion 是 VINS-Mono 的擴(kuò)展，支持多種視覺慣性傳感器類型（單目攝像機(jī)+ IMU，雙目攝像機(jī)+ IMU，甚至僅限雙目攝像機(jī)）。開源項目組還展示了將 VINS 與 GPS 融合的模組示例。
特征如下：
多傳感器支持（立體攝像機(jī)/單聲道攝像機(jī)+ IMU /立體攝像機(jī)+ IMU）
在線空間校準(zhǔn)（相機(jī)和 IMU 之間的轉(zhuǎn)換）
在線時間校準(zhǔn)（相機(jī)和 IMU 之間的時間偏移）
視覺循環(huán)閉合
小覓雙目攝像頭標(biāo)準(zhǔn)版跑 VINS-Fusion 實測：
?
VINS 未來方向
相機(jī)和 IMU 的天然互補(bǔ)性和智能手機(jī)的普及，使得視覺慣性里程計 VIO 近幾年很流行，蘋果的 ARKit 和谷歌的 ARCore 都是 VIO 的典型應(yīng)用。VIO 為將來 SLAM 的小型化與低成本化提供了一個有效的方向，而且結(jié)合稀疏直接法，有望在低端硬件上取得良好的 SLAM 或 VO 效果，是非常有未來前景的。
?
文章內(nèi)容部分出自小覓智能 & 深藍(lán)學(xué)院舉辦的公開課：
小覓智能 | 如何進(jìn)行 VSLAM 技術(shù)選型?
www.shenlanxueyuan.com
感興趣的朋友可以前往觀看完整內(nèi)容。（網(wǎng)站需要注冊登陸查看）
更多 SLAM 學(xué)習(xí)資源：
小覓智能 | 視覺里程計（VO）學(xué)習(xí)筆記?zhuanlan.zhihu.com小覓智能 | ORB-SLAM 學(xué)習(xí)筆記?zhuanlan.zhihu.com小覓智能 | 學(xué)習(xí) SLAM 該如何入門？?zhuanlan.zhihu.com小覓智能：小覓智能 | OKVIS 學(xué)習(xí)筆記?zhuanlan.zhihu.com
歡迎大家點贊呀～ 點贊的人兒最美麗～
想購買的朋友可以點這里 ：
小覓智能 的推薦
小覓雙目深度相機(jī)系列
立即購買
總結(jié)
以上是生活随笔為你收集整理的小觅智能 | VINS 学习笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 字符串匹配经典题目——KMP算法（Lee
- 下一篇： 网易基于 Envoy 的云原生网关实践