文章目錄

• 摘要
• • 關鍵詞
• 1 引言
• 2 系統框架
• • 2.1 點云地圖與重定位
  • 2.2 生成模型地圖
  • • Step 1： 去噪聲和降采樣
    • Step 2： 計算每個點的法線
    • Step 3： Possion 曲面重建生成模型
    • Step 4： 點云三角化生成紋理貼圖
    • Step 5： 模型和紋理貼圖進行配對
• 3 實驗與分析
• • 3.1 SLAM 點云地圖生成
  • • 結論
  • 3.2 三維地圖模型的生成
  • • 結論
  • 3.3 重定位
  • • 結論
• 4 結論

摘要

【針對問題】傳統的虛擬現實技術存在速度慢和模型與現實物體尺度之間存在偏差的問題。

【提出模型】基于 VR 的移動機器人的真實環境三維建模系統。

【具體細節】（1）視覺SLAM——高精度的、稠密的三維點云地圖；（2）將三維點云通過曲面重建為室內三維
模型并導入到 unity 3D 中；（3）借助 VR 設備將室內三維模型置于三維立體的虛擬環境中；（4）再用視覺SLAM技術實現室內重定位，實時映射機器人在模型中完成交互。

【達到效果】（1）具有快速性；（2）解決了場景尺度偏差問題；（3）生成地圖具有復用性；（4）讓操作人員具有場景感。

關鍵詞

視覺 SLAM；

虛擬現實；

三維建模；

室內建模；

1 引言

虛擬現實（Virtual Reality, VR）通過計算機模擬虛擬環境從而給人以沉浸感

意義：對實際物體建立合適的數學模型，以便機器人更好地分析作業

虛擬三維場景的構建工具：

建模軟件 $\to$ 3DS MAX $\to$ 通用性軟件；建模效率低，建模者要求高（對實時渲染環境要求更高）；

三維激光掃描建模技術 $\to$ 速度快、精度高、成本低；數據量大 $\to$ 難以在 VR 系統內運行，要和全站儀等測繪設備一同使用 $\to$ 對操作者要求高；

SLAM技術 $\to$ 可以更加高效地構建場景 $\to$ 分為基于激光雷達的和基于視覺傳感器的

基于激光雷達 $\to$ 優點：不受光照的影響 $\to$ 代表：Junhao Xiao 等人提出通過 LOAM 算法構建點云地圖實現三維場景地圖 $\to$ 不足之處：每個點顏色表示其高度但卻缺失了地圖原有的顏色和紋理信息， 點云地圖的表示形式也使結構細節模糊或缺失

基于視覺傳感技術 $\to$ 體積小、便攜容易、具有豐富的色彩和紋理信息

（1）ORB-SLAM 2：第一個用于單目相機、雙目相機和RGB-D相機的開源系統；具有閉環、重定位和地圖重用部分；缺點是使用單目相機 $\to$ 魯棒性較差

（2）VINS-Mono：單目視覺慣性系統的實時SLAM框架；慣性單元 + 視覺信息 緊耦合；能解決單目上尺度不確定的問題；構建出稀疏三維地圖

（3）Voxgraph：基于符號距離函數的大規模三維重建方法；子地圖 $\to$ 降低存儲和優化的代價；通過實時獲得重力方向來降低位姿估計問題的維度（系統假設）。

本文工作 $\to$ 視覺SLAM技術與VR技術結合 $\to$ 基于 VR 的移動機器人的真實環境三維建模系統 $\to$ 效果：解決人工建模效率低下、激光SLAM缺乏紋理結構信息問題；驗證重定位模塊有效、模型地圖可以復用。

2 系統框架

由機器人端和虛擬現實端兩個模塊組成

機器人端：

（對機器人自身的位姿估計）利用 RGB-D 相機和 IMU 采集相應的數據，通過視覺里程計前端估計機器人位姿；

（對機器人所在的地圖構建估計）Voxgraph 算法作為后端優化位姿和構建全局地圖 $\to$ 三維點云地圖 $\to$ 經過表面重建生成三維模型地圖 $\to$ 發送到 VR 端；

VR端：

操作人員根據實時視頻流和三維模型地圖中機器人位姿做出決策 $\to$ VR手柄發出控制命令；

實現機器人重定位，在三維模型地圖中可視化‘；

2.1 點云地圖與重定位

VR手柄控制 $\to$ 數據采集；

視覺SLAM算法 $\to$ 稠密點云三維場景地圖構建；

前端 $\to$ 采用 VINS-Mono 作為視覺-慣導里程計初步估計位姿、生成子點云地圖； $\to$ 完成后端所需要的三個約束計算；

后端 $\to$ 三種約束（配準約束、里程計約束和回環約束）構造最小二乘完成對位姿圖的優化；

$$\arg \underset{x}{\min }\sum _{(i,j)\in R}||e_{reg}^{i,j}(T_{W{S}^i}{T}_{W{S}^i},T_{W{S}^j}{T}_{W{S}^j})|{|}_{{\sigma }_r}^2+\sum _{(i,j)\in O}||e_{odom}^{i,j}(T_{W{S}^i}{T}_{W{S}^i},T_{W{S}^j}{T}_{W{S}^j})|{|}_{{\Sigma }_O}^2+\sum _{(i,j)\in L}||e_{loop}^{i,j}(T_{W{S}^i}{T}_{W{S}^i},T_{W{S}^j}{T}_{W{S}^j})|{|}_{{\Sigma }_L}^2$$

? $\chi =\{T_{W{S}^1}{T}_{W{S}^1},T_{W{S}^2}{T}_{W{S}^2},?,T_{W{S}^N}{T}_{W{S}^N}\}\to$ 里程計初始估計的位姿，是四維向量；

? R、O、L $\to$ 準配約束（registration）、里程計約束（odometry）、回環約束（loop）

重定位模塊 $\to$ 條件：再次進入環境；措施：使當前滑動窗口幀與過去的位姿圖對齊 $\to$ 判斷當前圖像中的特征點與位姿圖中特征點的相似度是否大于設定的閾值 $\to$ 如果超過了閾值即判斷為重定位成功 $\to$ 通過逆深度求解相機在地圖中的位姿實現重定位

2.2 生成模型地圖

稠密三維點云 $\to$ 曲面重建算法處理 $\to$ 精細化三維場景模型和與之對應的紋理貼圖

曲面重建算法：基于 Possion 重建改進

Step 1： 去噪聲和降采樣

去噪 $\to$ 統計濾波器 $\to$ 除去離群點 $\to$ 離群點存在會導致建模出的場景不平滑

? 原理：點$p_i$通過KNN鄰近算法得到領域快$B_j\in NbhdNbhd(p_i)$，計算$p_i$與領域中心點的距離$x$，根據距離分布滿足高斯分布的原理，剔除平均距離在標準差范圍之外的點即為剔除離群點；

降采樣 $\to$ 最遠點采樣法 $\to$ 滿足完備性的基礎上提高速度 $\to$ 盡可能覆蓋空間中所有點

? 原理：在輸入點云數 $N$ 的集合 $A$ 中隨機選擇點 $P_0$ 作為起始點 $\to$ 得到采樣集合 $B=\{P_0\}$ $\to$ 計算集合 $A$ 中剩余點到集合 $B$ 中點的距離 $\to$ 選擇距離最遠的點作為 $P_1$ 添加到集合 $B$ 中

? $\to$ 當集合 B 中點數大于1，滿足公式：
$$\max \left(\min \right[\begin{array}{cccc}{d}_{1,1}& d_{1,2}& ?& d_{1,N}\\ d_{2,1}& d_{2,2}& ?& d_{2,N}\\ ?& ?& ?& ?\\ d_{N?2,1}& d_{N?2,2}& ?& d_{N?2,N}\\ d_{N?1,1}& d_{N?1,2}& ?& d_{N?1,N}\end{array}\left]\right)$$
? $d_{i,j}\to$ 集合 $A$ 中剩余點到采樣集合 $B$ 中的距離

? $\max \min (?)\to$ 先取矩陣中每一列的最小值 $\to$ 一個行向量 $\to$ 向量中元素最大值對應的點 $\to$ 采樣點

? $\to$ 直到獲得 $N$ 個采樣點

Step 2： 計算每個點的法線

根據領域計算質心 $\to o_i=\frac{1}{k}{\sum }_{j=0}^{j<k}{p}_j$

構建協方差矩陣 $\to$ $covcov=\frac{1}{k}{\sum }_{B_j\in NbhdNbhd(p_i)}(B_j?o_i)(p_i?o_i{)}^T$

協方差矩陣 SVD 分解 $\to$ 最小特征值對應的特征向量即為法線 $NN$

Step 3： Possion 曲面重建生成模型

思想：for 點云$S$，$M$ = 物體表面 $\to$ $?M$ = 物體的邊界，$NN\to$ 物體內外的方向

隱式地擬合一個由物體派生的指示函數 ${\chi }_M$：曲面重構問題 $\to$ 重構指示函數 $\to$ 等值面提取

$${\chi }_M(q)=\{\begin{array}{ll}1,& q\in M\\ 0,& q\notin M\end{array},q代表點云中的一個點$$

基本原理：

? （1）對輸入點集建立深度為 $DD$ 的八叉樹 $??$ 拓撲關系并對每一個節點 $o$ 附加 一個節點函數 $F_o$

? $o_c\to$ 節點的中心； $o_w\to$ 節點的寬度
$$F_o(q)=F(\frac{q?o_c}{o_w})\frac{1}{o_w^3}\text{\hspace{1em}(1)}$$
? （2）引入基函數 $FF$ 描述節點函數和向量場 $VV$ 之間的關系
$$F(q)=F(\frac{q}{2^D})\text{\hspace{1em}(2)}$$
? （3）引入高通濾波器將有向點集的表面重建轉換為一個空間泊松問題
$$\begin{gathered} F(x,y,z)=(B(x)B(y)B(z){)}^{?n} \\ B(t)=\{\begin{array}{ll}1,& |t|<5\\ 0,& otherwise\end{array}\text{\hspace{1em}(3)} \end{gathered}$$
? （4）指示函數所代表的表面梯度域的向量場
$$VV(q)=\sum _{s\in S}\sum _{o\in Ngb{r}_D(s)}{\alpha }_{o,s}{F}_o(q)s.NN\text{\hspace{1em}(4)}$$
? $Ngb{r}_D(s)$ $\to$ 當前節點 $s.p$ 的八個臨近節點

? $\alpha \{o,s\}$ $\to$ 插值的權重

? （5）求解問題簡化
$$\sum _{o\in ?}\left|\right|?\Delta \chi ???VV,F_o?|{|}^2=\sum _{o\in ?}||?\Delta \chi ,F_o?????VV,F_o?|{|}^2\text{\hspace{1em}(5)}$$
? 求解函數 $\chi$ 的方法：通過該函數在函數空間投影的拉普拉斯算子與 $F_o$ 構成的向量逼近 $v$ 解決轉換成 ${\sum }_{o\in ?}||v?v_o|{|}^2$；

? 矩陣操作求解向量 $\to$ 算法定義了一個 $v\times v$ 階矩陣 $L$ $\to$ 每一項是拉普拉斯算子和每一個節點函數的點乘結果 $?$ 求解 ${\min }_{x\in R^{|?|}}||Lx?vLx?v||$ $?$ 移動立方體法 $?$ 提取得到等值面

Step 4： 點云三角化生成紋理貼圖

對在表面 $S$ 的點進行三角化操作：沿著三角化的頂點與貼圖平面 $UV$ 坐標進行匹配映射，貼圖顏色信息為三個點對應的三個通道的灰度平均值

Step 5： 模型和紋理貼圖進行配對

將貼圖與法線正向方向 的模型一側匹配映射

3 實驗與分析

構建方法評估數據集 $\to$ EuRoC數據集

• 三維重建數據包獲得工具 $\to$ Release D435i 相機

• 系統運行平臺 $\to$ Ubuntu 16.04 64 位臺式機

• CPU $\to$ i9-10900X(10 核@3.70GHz)

• GPU $\to$ 64G 內存 GTX 2080Ti

• 機器人運行平臺 $\to$ NVIDIA Jetson Xavier

3.1 SLAM 點云地圖生成

對比 $\to$ ORB-SLAM 2 、OKVIS

運行次數 $\to$ 每個系統 10 次，

計算指標 $\to$ 在數據集上的絕對軌跡誤差（ATE）中的均方根誤差 （RMSE）的平均值來評估本文系統的定位精度

結論

工廠數據集（MH-）中：本系統以及其他 SLAM 系統的定位誤差均較小， ORB-SLLAM2 表現最優

室內場景（V-）中，除了在 V202 中，本系統（Ours） 的定位精度不僅遠高于 OKVIS 系統且優于 ORB-SLAM 2 系統，在所有數據集上表現出較高的穩定性， 沒有出現跟蹤失敗的結果

稠密的三維點云地圖結構細節更加豐富

3.2 三維地圖模型的生成

最后本系統經過統計濾波器（K=50）去噪后獲得具有 86560 個點的稠密點云地圖

通過對改稠密點云地圖進行 FPS 降采樣到不同的點云數，再通過曲面重建生成三維地圖模型

COLMAP、OpenMVG、OpenMVS 作為對比項

計算指標：對比模型化所消耗的時間，相應產生的面數

結論

COLMAP+OpenMVS 和 OpenMVG+OpenMVS 由于提取的特征點數較多所以在時間上耗時嚴重

隨著采樣點的減少，模型重建的時間也相應減少

降采樣到 30000 個點云左右為模型的最佳選擇

3.3 重定位

結論

每次都成功初始化和重定位

系統的重定位平均誤差為 0.31$m$

4 結論

可推廣應用于室內特殊環境下的信息規劃、室內建筑與裝飾設計、計算機設施管理以及古文物修復等多個領域

總結

以上是生活随笔為你收集整理的【论文笔记】基于 VR 的移动机器人真实环境三维建模系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。