第一講：預(yù)備知識(shí)
第二講：經(jīng)典視覺(jué)SLAM框架，傳感器 前端VO 后端優(yōu)化 回環(huán)檢測(cè) 地圖構(gòu)建
第三講：三維剛體運(yùn)動(dòng)，主要了解旋轉(zhuǎn)矩陣，歐拉角，四元數(shù)，練習(xí)使用Eigon
第四講：學(xué)習(xí)李群和李代數(shù)，定義及使用方式；練習(xí)使用Sophus操作
第五講：針孔相機(jī)模型，圖像在計(jì)算機(jī)中的表達(dá)；用OpenCV調(diào)用相機(jī)內(nèi)外參

焦距f：光心到成像平面的距離 相機(jī)內(nèi)參：f_x、f_y、c_x、c_y --->f_x, f_y表示像素坐標(biāo)在u,v軸上縮放了多少倍 * 焦距f --->c_x，c_y表示像素坐標(biāo)平移了多少 --->單目相機(jī)有：c_x≈image_width/2, c_y≈image_height/2 相機(jī)外參：R、t 雙目相機(jī)基線：兩相機(jī)光心距離 視差：uL-uR RGBD：不適用于室外，遇到透視不會(huì)反射，且很容易被干擾。

第六講：非線性優(yōu)化，包括狀態(tài)估計(jì)理論基礎(chǔ)，最小二乘問(wèn)題，梯度下降法；使用Ceres和g2o進(jìn)行曲線擬合實(shí)驗(yàn)

狀態(tài)估計(jì)問(wèn)題 (1)最大后驗(yàn)與最大似然 (2)最小二乘法 非線性最小二乘 (1)一階和二階梯度法 (2)高斯牛頓法 (3)列文伯格--馬夸爾特方法

第七講：基于特征點(diǎn)法視覺(jué)里程計(jì)，特征提取與匹配，對(duì)極幾何約束的計(jì)算、PnP和ICP等。利用以上方法估計(jì)兩個(gè)圖像之間的運(yùn)動(dòng)。

1、特征點(diǎn)法（提取和匹配）： (1)特征點(diǎn) (2)ORB特征 (3)特征匹配最小化重投影誤差： 2、2D-2D：（已知兩張圖像中一對(duì)匹配好的特征點(diǎn)） 矩陣自由度分析 -本質(zhì)矩陣-3x3矩陣，6個(gè)獨(dú)立參數(shù)(3個(gè)線元素，3個(gè)角元素)，自由度6-尺度等價(jià)，自由度-1-自由度=5 -基礎(chǔ)矩陣-3x3矩陣，至少14個(gè)獨(dú)立參數(shù)(4+4+6)，自由度9-尺度等價(jià)，自由度-1-矩陣秩=2，自由度-1-自由度=7 -單應(yīng)矩陣-3x3矩陣，自由度9-尺度等價(jià)，自由度-1-自由度=8(1)對(duì)極幾何模型：本質(zhì)矩陣E/基礎(chǔ)矩陣F --->五點(diǎn)法估計(jì)E：E=t^R共有6個(gè)自由度(x,y,z,r,p,y)，但由于尺度等價(jià)性，故E實(shí)際上有5個(gè)自由度，最少5個(gè)點(diǎn)求解問(wèn)題 --->八點(diǎn)法估計(jì)E：但是E內(nèi)在性質(zhì)是一種非線性性質(zhì)，使用5點(diǎn)法需要線性化，最好只考慮尺度等價(jià)性，使用8對(duì)點(diǎn)來(lái)估計(jì)E(2)單應(yīng)矩陣H模型 --->四點(diǎn)法估計(jì)H：自由度為8(尺度等價(jià)性)的單應(yīng)矩陣H可以通過(guò)4對(duì)匹配特征點(diǎn)計(jì)算(公式只在特征點(diǎn)共面時(shí)成立)注意： --->當(dāng)**特征點(diǎn)共面，或者相機(jī)發(fā)生純旋轉(zhuǎn)**的時(shí)候，基礎(chǔ)矩陣的自由度下降，出現(xiàn)**退化現(xiàn)象**?，F(xiàn)實(shí)中的數(shù)據(jù)總包含一些噪聲，這時(shí)候如果繼續(xù)使用八點(diǎn)法求解基礎(chǔ)矩陣，基礎(chǔ)矩陣多余的自由度將會(huì)主要由噪聲決定。為了能夠避免退化現(xiàn)象造成的影響，通常我們會(huì)同時(shí)估計(jì)基礎(chǔ)矩陣F和單應(yīng)矩陣H，選擇重投影誤差比較小的那個(gè)作為最終的運(yùn)動(dòng)估計(jì)矩陣。 --->主要用E分解運(yùn)動(dòng)，H需要假設(shè)特征點(diǎn)在平面上。 --->E本身具有尺度等價(jià)性，通常對(duì)t進(jìn)行歸一化，令它的長(zhǎng)度為1，因此會(huì)有尺度不確定性。 --->尺度不確定性：對(duì)t的歸一化相當(dāng)于固定了尺度，導(dǎo)致單目視覺(jué)的尺度不確定性，厘米還是米。對(duì)t乘以任意常數(shù)，對(duì)極約束依然成立 --->初始化：用于初始化的兩幀之間需要有一定程度的平移t，而后的軌跡和地圖都將以此步的平移為單位。 --->初始化的純旋轉(zhuǎn)：純旋轉(zhuǎn)導(dǎo)致t為0，這樣E也是0，無(wú)法求解R。單目初始化不能只有純旋轉(zhuǎn)，必須要有一定平移。 --->多余8點(diǎn)的情況：傾向于用RANSAC(3)三角測(cè)量：估計(jì)空間點(diǎn)深度，需要一定平移，這樣才有對(duì)極幾何中的三角形 --->x1 X s1x1 = 0 = x1 X (s2Rx2+t) --->此時(shí)尺度還是不確定的(即只知道地圖比例，不知道具體尺寸單位)。因?yàn)榇藭r(shí)代入的R和t還是尺度丟失的 --->三角化的矛盾：平移太大特征匹配會(huì)失敗，平移太小由于分辨率太小會(huì)使三角化精度不夠大 --->尺度要由Sim(3)求解https://blog.csdn.net/LittleEmperor/article/details/105212252 3、3D-2D：PnP（已知3D空間點(diǎn)及其投影位置） --->單目vo中，必須先進(jìn)行初始化，然后才能使用PnP· (1)直接線性變換(DLT)：六點(diǎn)法，3x4矩陣每個(gè)點(diǎn)提供2個(gè)約束。 (2)P3P（3點(diǎn)計(jì)算，1點(diǎn)驗(yàn)證）、EPnP、UPnP等 (3)BA(Bundle adjustment)：https://www.cnblogs.com/Jessica-jie/p/7739775.html4、3D-3D：ICP (已知一組配對(duì)好的3D點(diǎn)) --->ICP：Iterative Closest Point (1)ICP求解SVD (2)BA5、相機(jī)測(cè)距 (1)單目相機(jī)：通過(guò)移動(dòng)相機(jī)之后進(jìn)行三角化測(cè)量像素的距離（三角測(cè)量或三角化）。 (2)雙目相機(jī)：利用左右目的視差計(jì)算像素的距離。 (3)RGB-D相機(jī)：直接獲取像素距離。

第八講：直接法視覺(jué)里程計(jì)，學(xué)習(xí)光流法和直接法原理，利用以上方法實(shí)現(xiàn)簡(jiǎn)單的直接法運(yùn)動(dòng)估計(jì)。

基本假設(shè)：灰度不變假設(shè) 1、光流法 （1）稀疏光流：以LK光流為代表 （2）稠密光流 2、直接法：最小化光度誤差 （1）稀疏法 （2）半稠密法 （3）稠密法

第九講：后端優(yōu)化，主要對(duì)Bundle Adjustment（BA）深入討論，利用稀疏性加速求解過(guò)程，利用Ceres和g2o分別書(shū)寫B(tài)A程序。

前端：負(fù)責(zé)特征匹配。 后端：負(fù)責(zé)優(yōu)化整個(gè)問(wèn)題。

第十講：后端優(yōu)化中的位姿圖，介紹SE(3)，Sim(3)位姿圖，使用g2o對(duì)一個(gè)位姿球進(jìn)行優(yōu)化

位姿圖定義的誤差，左乘擾動(dòng)推導(dǎo)雅克比矩陣？？？

第十一講：回環(huán)檢測(cè)，介紹以詞袋模型為主的回環(huán)檢測(cè)，使用DBoW3書(shū)寫字典訓(xùn)練程序和回環(huán)檢測(cè)程序
第十二講：地圖構(gòu)建，使用單目進(jìn)行稠密深度圖的估計(jì)，討論RGB-D的稠密地圖構(gòu)建過(guò)程

稠密地圖可以用于避障。

第十三講：工程實(shí)踐，搭建雙目視覺(jué)里程計(jì)框架，綜合運(yùn)用之前的知識(shí)，利用Kitti數(shù)據(jù)集測(cè)試性能
第十四講：介紹當(dāng)前開(kāi)源SLAM方案以及未來(lái)的發(fā)展方向

---

總結(jié)

提示：這里對(duì)文章進(jìn)行總結(jié)：
高翔博客：高翔博客
前五章筆記：視覺(jué)SLAM十四講筆記（超級(jí)通俗易懂哦~）
李群與李代數(shù)：添加鏈接描述
筆記

總結(jié)

以上是生活随笔為你收集整理的《视觉SLAM十四讲》学习笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。