文章目錄

• 摘要
• • 關(guān)鍵詞
• 1 引言
• 2 系統(tǒng)框架
• • 2.1 點(diǎn)云地圖與重定位
  • 2.2 生成模型地圖
  • • Step 1： 去噪聲和降采樣
    • Step 2： 計(jì)算每個(gè)點(diǎn)的法線
    • Step 3： Possion 曲面重建生成模型
    • Step 4： 點(diǎn)云三角化生成紋理貼圖
    • Step 5： 模型和紋理貼圖進(jìn)行配對(duì)
• 3 實(shí)驗(yàn)與分析
• • 3.1 SLAM 點(diǎn)云地圖生成
  • • 結(jié)論
  • 3.2 三維地圖模型的生成
  • • 結(jié)論
  • 3.3 重定位
  • • 結(jié)論
• 4 結(jié)論

摘要

【針對(duì)問(wèn)題】傳統(tǒng)的虛擬現(xiàn)實(shí)技術(shù)存在速度慢和模型與現(xiàn)實(shí)物體尺度之間存在偏差的問(wèn)題。

【提出模型】基于 VR 的移動(dòng)機(jī)器人的真實(shí)環(huán)境三維建模系統(tǒng)。

【具體細(xì)節(jié)】（1）視覺SLAM——高精度的、稠密的三維點(diǎn)云地圖；（2）將三維點(diǎn)云通過(guò)曲面重建為室內(nèi)三維
模型并導(dǎo)入到 unity 3D 中；（3）借助 VR 設(shè)備將室內(nèi)三維模型置于三維立體的虛擬環(huán)境中；（4）再用視覺SLAM技術(shù)實(shí)現(xiàn)室內(nèi)重定位，實(shí)時(shí)映射機(jī)器人在模型中完成交互。

【達(dá)到效果】（1）具有快速性；（2）解決了場(chǎng)景尺度偏差問(wèn)題；（3）生成地圖具有復(fù)用性；（4）讓操作人員具有場(chǎng)景感。

關(guān)鍵詞

視覺 SLAM；

虛擬現(xiàn)實(shí)；

三維建模；

室內(nèi)建模；

1 引言

虛擬現(xiàn)實(shí)（Virtual Reality, VR）通過(guò)計(jì)算機(jī)模擬虛擬環(huán)境從而給人以沉浸感

意義：對(duì)實(shí)際物體建立合適的數(shù)學(xué)模型，以便機(jī)器人更好地分析作業(yè)

虛擬三維場(chǎng)景的構(gòu)建工具：

建模軟件 $\to$ 3DS MAX $\to$ 通用性軟件；建模效率低，建模者要求高（對(duì)實(shí)時(shí)渲染環(huán)境要求更高）；

三維激光掃描建模技術(shù) $\to$ 速度快、精度高、成本低；數(shù)據(jù)量大 $\to$ 難以在 VR 系統(tǒng)內(nèi)運(yùn)行，要和全站儀等測(cè)繪設(shè)備一同使用 $\to$ 對(duì)操作者要求高；

SLAM技術(shù) $\to$ 可以更加高效地構(gòu)建場(chǎng)景 $\to$ 分為基于激光雷達(dá)的和基于視覺傳感器的

基于激光雷達(dá) $\to$ 優(yōu)點(diǎn)：不受光照的影響 $\to$ 代表：Junhao Xiao 等人提出通過(guò) LOAM 算法構(gòu)建點(diǎn)云地圖實(shí)現(xiàn)三維場(chǎng)景地圖 $\to$ 不足之處：每個(gè)點(diǎn)顏色表示其高度但卻缺失了地圖原有的顏色和紋理信息， 點(diǎn)云地圖的表示形式也使結(jié)構(gòu)細(xì)節(jié)模糊或缺失

基于視覺傳感技術(shù) $\to$ 體積小、便攜容易、具有豐富的色彩和紋理信息

（1）ORB-SLAM 2：第一個(gè)用于單目相機(jī)、雙目相機(jī)和RGB-D相機(jī)的開源系統(tǒng)；具有閉環(huán)、重定位和地圖重用部分；缺點(diǎn)是使用單目相機(jī) $\to$ 魯棒性較差

（2）VINS-Mono：單目視覺慣性系統(tǒng)的實(shí)時(shí)SLAM框架；慣性單元 + 視覺信息 緊耦合；能解決單目上尺度不確定的問(wèn)題；構(gòu)建出稀疏三維地圖

（3）Voxgraph：基于符號(hào)距離函數(shù)的大規(guī)模三維重建方法；子地圖 $\to$ 降低存儲(chǔ)和優(yōu)化的代價(jià)；通過(guò)實(shí)時(shí)獲得重力方向來(lái)降低位姿估計(jì)問(wèn)題的維度（系統(tǒng)假設(shè)）。

本文工作 $\to$ 視覺SLAM技術(shù)與VR技術(shù)結(jié)合 $\to$ 基于 VR 的移動(dòng)機(jī)器人的真實(shí)環(huán)境三維建模系統(tǒng) $\to$ 效果：解決人工建模效率低下、激光SLAM缺乏紋理結(jié)構(gòu)信息問(wèn)題；驗(yàn)證重定位模塊有效、模型地圖可以復(fù)用。

2 系統(tǒng)框架

由機(jī)器人端和虛擬現(xiàn)實(shí)端兩個(gè)模塊組成

機(jī)器人端：

（對(duì)機(jī)器人自身的位姿估計(jì)）利用 RGB-D 相機(jī)和 IMU 采集相應(yīng)的數(shù)據(jù)，通過(guò)視覺里程計(jì)前端估計(jì)機(jī)器人位姿；

（對(duì)機(jī)器人所在的地圖構(gòu)建估計(jì)）Voxgraph 算法作為后端優(yōu)化位姿和構(gòu)建全局地圖 $\to$ 三維點(diǎn)云地圖 $\to$ 經(jīng)過(guò)表面重建生成三維模型地圖 $\to$ 發(fā)送到 VR 端；

VR端：

操作人員根據(jù)實(shí)時(shí)視頻流和三維模型地圖中機(jī)器人位姿做出決策 $\to$ VR手柄發(fā)出控制命令；

實(shí)現(xiàn)機(jī)器人重定位，在三維模型地圖中可視化‘；

2.1 點(diǎn)云地圖與重定位

VR手柄控制 $\to$ 數(shù)據(jù)采集；

視覺SLAM算法 $\to$ 稠密點(diǎn)云三維場(chǎng)景地圖構(gòu)建；

前端 $\to$ 采用 VINS-Mono 作為視覺-慣導(dǎo)里程計(jì)初步估計(jì)位姿、生成子點(diǎn)云地圖； $\to$ 完成后端所需要的三個(gè)約束計(jì)算；

后端 $\to$ 三種約束（配準(zhǔn)約束、里程計(jì)約束和回環(huán)約束）構(gòu)造最小二乘完成對(duì)位姿圖的優(yōu)化；

$$\arg \underset{x}{\min }\sum _{(i,j)\in R}||e_{reg}^{i,j}(T_{W{S}^i}{T}_{W{S}^i},T_{W{S}^j}{T}_{W{S}^j})|{|}_{{\sigma }_r}^2+\sum _{(i,j)\in O}||e_{odom}^{i,j}(T_{W{S}^i}{T}_{W{S}^i},T_{W{S}^j}{T}_{W{S}^j})|{|}_{{\Sigma }_O}^2+\sum _{(i,j)\in L}||e_{loop}^{i,j}(T_{W{S}^i}{T}_{W{S}^i},T_{W{S}^j}{T}_{W{S}^j})|{|}_{{\Sigma }_L}^2$$

? $\chi =\{T_{W{S}^1}{T}_{W{S}^1},T_{W{S}^2}{T}_{W{S}^2},?,T_{W{S}^N}{T}_{W{S}^N}\}\to$ 里程計(jì)初始估計(jì)的位姿，是四維向量；

? R、O、L $\to$ 準(zhǔn)配約束（registration）、里程計(jì)約束（odometry）、回環(huán)約束（loop）

重定位模塊 $\to$ 條件：再次進(jìn)入環(huán)境；措施：使當(dāng)前滑動(dòng)窗口幀與過(guò)去的位姿圖對(duì)齊 $\to$ 判斷當(dāng)前圖像中的特征點(diǎn)與位姿圖中特征點(diǎn)的相似度是否大于設(shè)定的閾值 $\to$ 如果超過(guò)了閾值即判斷為重定位成功 $\to$ 通過(guò)逆深度求解相機(jī)在地圖中的位姿實(shí)現(xiàn)重定位

2.2 生成模型地圖

稠密三維點(diǎn)云 $\to$ 曲面重建算法處理 $\to$ 精細(xì)化三維場(chǎng)景模型和與之對(duì)應(yīng)的紋理貼圖

曲面重建算法：基于 Possion 重建改進(jìn)

Step 1： 去噪聲和降采樣

去噪 $\to$ 統(tǒng)計(jì)濾波器 $\to$ 除去離群點(diǎn) $\to$ 離群點(diǎn)存在會(huì)導(dǎo)致建模出的場(chǎng)景不平滑

? 原理：點(diǎn)$p_i$通過(guò)KNN鄰近算法得到領(lǐng)域快$B_j\in NbhdNbhd(p_i)$，計(jì)算$p_i$與領(lǐng)域中心點(diǎn)的距離$x$，根據(jù)距離分布滿足高斯分布的原理，剔除平均距離在標(biāo)準(zhǔn)差范圍之外的點(diǎn)即為剔除離群點(diǎn)；

降采樣 $\to$ 最遠(yuǎn)點(diǎn)采樣法 $\to$ 滿足完備性的基礎(chǔ)上提高速度 $\to$ 盡可能覆蓋空間中所有點(diǎn)

? 原理：在輸入點(diǎn)云數(shù) $N$ 的集合 $A$ 中隨機(jī)選擇點(diǎn) $P_0$ 作為起始點(diǎn) $\to$ 得到采樣集合 $B=\{P_0\}$ $\to$ 計(jì)算集合 $A$ 中剩余點(diǎn)到集合 $B$ 中點(diǎn)的距離 $\to$ 選擇距離最遠(yuǎn)的點(diǎn)作為 $P_1$ 添加到集合 $B$ 中

? $\to$ 當(dāng)集合 B 中點(diǎn)數(shù)大于1，滿足公式：
$$\max \left(\min \right[\begin{array}{cccc}{d}_{1,1}& d_{1,2}& ?& d_{1,N}\\ d_{2,1}& d_{2,2}& ?& d_{2,N}\\ ?& ?& ?& ?\\ d_{N?2,1}& d_{N?2,2}& ?& d_{N?2,N}\\ d_{N?1,1}& d_{N?1,2}& ?& d_{N?1,N}\end{array}\left]\right)$$
? $d_{i,j}\to$ 集合 $A$ 中剩余點(diǎn)到采樣集合 $B$ 中的距離

? $\max \min (?)\to$ 先取矩陣中每一列的最小值 $\to$ 一個(gè)行向量 $\to$ 向量中元素最大值對(duì)應(yīng)的點(diǎn) $\to$ 采樣點(diǎn)

? $\to$ 直到獲得 $N$ 個(gè)采樣點(diǎn)

Step 2： 計(jì)算每個(gè)點(diǎn)的法線

根據(jù)領(lǐng)域計(jì)算質(zhì)心 $\to o_i=\frac{1}{k}{\sum }_{j=0}^{j<k}{p}_j$

構(gòu)建協(xié)方差矩陣 $\to$ $covcov=\frac{1}{k}{\sum }_{B_j\in NbhdNbhd(p_i)}(B_j?o_i)(p_i?o_i{)}^T$

協(xié)方差矩陣 SVD 分解 $\to$ 最小特征值對(duì)應(yīng)的特征向量即為法線 $NN$

Step 3： Possion 曲面重建生成模型

思想：for 點(diǎn)云$S$，$M$ = 物體表面 $\to$ $?M$ = 物體的邊界，$NN\to$ 物體內(nèi)外的方向

隱式地?cái)M合一個(gè)由物體派生的指示函數(shù) ${\chi }_M$：曲面重構(gòu)問(wèn)題 $\to$ 重構(gòu)指示函數(shù) $\to$ 等值面提取

$${\chi }_M(q)=\{\begin{array}{ll}1,& q\in M\\ 0,& q\notin M\end{array},q代表點(diǎn)云中的一個(gè)點(diǎn)$$

基本原理：

? （1）對(duì)輸入點(diǎn)集建立深度為 $DD$ 的八叉樹 $??$ 拓?fù)潢P(guān)系并對(duì)每一個(gè)節(jié)點(diǎn) $o$ 附加 一個(gè)節(jié)點(diǎn)函數(shù) $F_o$

? $o_c\to$ 節(jié)點(diǎn)的中心； $o_w\to$ 節(jié)點(diǎn)的寬度
$$F_o(q)=F(\frac{q?o_c}{o_w})\frac{1}{o_w^3}\text{\hspace{1em}(1)}$$
? （2）引入基函數(shù) $FF$ 描述節(jié)點(diǎn)函數(shù)和向量場(chǎng) $VV$ 之間的關(guān)系
$$F(q)=F(\frac{q}{2^D})\text{\hspace{1em}(2)}$$
? （3）引入高通濾波器將有向點(diǎn)集的表面重建轉(zhuǎn)換為一個(gè)空間泊松問(wèn)題
$$\begin{gathered} F(x,y,z)=(B(x)B(y)B(z){)}^{?n} \\ B(t)=\{\begin{array}{ll}1,& |t|<5\\ 0,& otherwise\end{array}\text{\hspace{1em}(3)} \end{gathered}$$
? （4）指示函數(shù)所代表的表面梯度域的向量場(chǎng)
$$VV(q)=\sum _{s\in S}\sum _{o\in Ngb{r}_D(s)}{\alpha }_{o,s}{F}_o(q)s.NN\text{\hspace{1em}(4)}$$
? $Ngb{r}_D(s)$ $\to$ 當(dāng)前節(jié)點(diǎn) $s.p$ 的八個(gè)臨近節(jié)點(diǎn)

? $\alpha \{o,s\}$ $\to$ 插值的權(quán)重

? （5）求解問(wèn)題簡(jiǎn)化
$$\sum _{o\in ?}\left|\right|?\Delta \chi ???VV,F_o?|{|}^2=\sum _{o\in ?}||?\Delta \chi ,F_o?????VV,F_o?|{|}^2\text{\hspace{1em}(5)}$$
? 求解函數(shù) $\chi$ 的方法：通過(guò)該函數(shù)在函數(shù)空間投影的拉普拉斯算子與 $F_o$ 構(gòu)成的向量逼近 $v$ 解決轉(zhuǎn)換成 ${\sum }_{o\in ?}||v?v_o|{|}^2$；

? 矩陣操作求解向量 $\to$ 算法定義了一個(gè) $v\times v$ 階矩陣 $L$ $\to$ 每一項(xiàng)是拉普拉斯算子和每一個(gè)節(jié)點(diǎn)函數(shù)的點(diǎn)乘結(jié)果 $?$ 求解 ${\min }_{x\in R^{|?|}}||Lx?vLx?v||$ $?$ 移動(dòng)立方體法 $?$ 提取得到等值面

Step 4： 點(diǎn)云三角化生成紋理貼圖

對(duì)在表面 $S$ 的點(diǎn)進(jìn)行三角化操作：沿著三角化的頂點(diǎn)與貼圖平面 $UV$ 坐標(biāo)進(jìn)行匹配映射，貼圖顏色信息為三個(gè)點(diǎn)對(duì)應(yīng)的三個(gè)通道的灰度平均值

Step 5： 模型和紋理貼圖進(jìn)行配對(duì)

將貼圖與法線正向方向 的模型一側(cè)匹配映射

3 實(shí)驗(yàn)與分析

構(gòu)建方法評(píng)估數(shù)據(jù)集 $\to$ EuRoC數(shù)據(jù)集

• 三維重建數(shù)據(jù)包獲得工具 $\to$ Release D435i 相機(jī)

• 系統(tǒng)運(yùn)行平臺(tái) $\to$ Ubuntu 16.04 64 位臺(tái)式機(jī)

• CPU $\to$ i9-10900X(10 核@3.70GHz)

• GPU $\to$ 64G 內(nèi)存 GTX 2080Ti

• 機(jī)器人運(yùn)行平臺(tái) $\to$ NVIDIA Jetson Xavier

3.1 SLAM 點(diǎn)云地圖生成

對(duì)比 $\to$ ORB-SLAM 2 、OKVIS

運(yùn)行次數(shù) $\to$ 每個(gè)系統(tǒng) 10 次，

計(jì)算指標(biāo) $\to$ 在數(shù)據(jù)集上的絕對(duì)軌跡誤差（ATE）中的均方根誤差 （RMSE）的平均值來(lái)評(píng)估本文系統(tǒng)的定位精度

結(jié)論

工廠數(shù)據(jù)集（MH-）中：本系統(tǒng)以及其他 SLAM 系統(tǒng)的定位誤差均較小， ORB-SLLAM2 表現(xiàn)最優(yōu)

室內(nèi)場(chǎng)景（V-）中，除了在 V202 中，本系統(tǒng)（Ours） 的定位精度不僅遠(yuǎn)高于 OKVIS 系統(tǒng)且優(yōu)于 ORB-SLAM 2 系統(tǒng)，在所有數(shù)據(jù)集上表現(xiàn)出較高的穩(wěn)定性， 沒有出現(xiàn)跟蹤失敗的結(jié)果

稠密的三維點(diǎn)云地圖結(jié)構(gòu)細(xì)節(jié)更加豐富

3.2 三維地圖模型的生成

最后本系統(tǒng)經(jīng)過(guò)統(tǒng)計(jì)濾波器（K=50）去噪后獲得具有 86560 個(gè)點(diǎn)的稠密點(diǎn)云地圖

通過(guò)對(duì)改稠密點(diǎn)云地圖進(jìn)行 FPS 降采樣到不同的點(diǎn)云數(shù)，再通過(guò)曲面重建生成三維地圖模型

COLMAP、OpenMVG、OpenMVS 作為對(duì)比項(xiàng)

計(jì)算指標(biāo)：對(duì)比模型化所消耗的時(shí)間，相應(yīng)產(chǎn)生的面數(shù)

結(jié)論

COLMAP+OpenMVS 和 OpenMVG+OpenMVS 由于提取的特征點(diǎn)數(shù)較多所以在時(shí)間上耗時(shí)嚴(yán)重

隨著采樣點(diǎn)的減少，模型重建的時(shí)間也相應(yīng)減少

降采樣到 30000 個(gè)點(diǎn)云左右為模型的最佳選擇

3.3 重定位

結(jié)論

每次都成功初始化和重定位

系統(tǒng)的重定位平均誤差為 0.31$m$

4 結(jié)論

可推廣應(yīng)用于室內(nèi)特殊環(huán)境下的信息規(guī)劃、室內(nèi)建筑與裝飾設(shè)計(jì)、計(jì)算機(jī)設(shè)施管理以及古文物修復(fù)等多個(gè)領(lǐng)域

總結(jié)

以上是生活随笔為你收集整理的【论文笔记】基于 VR 的移动机器人真实环境三维建模系统的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。