S121：采用Kintinuous框架，進行視覺里程計估計，得到每幀深度圖像下的相機位姿信息。

S122：根據相機位姿信息，將由每幀深度圖像對應的點云數據反投影到初始坐標系下，用投影后得到的深度圖像與初始幀的深度圖像進行相似度比較，并當相似度低于相似度閾值時，初始化相機位姿，進行分段。

S123：提取每一分段點云數據中的PFFH幾何描述子，并在每兩段之間進行粗配準，以及采用GICP算法進行精配準，得到段與段之間的匹配關系。

本步驟對段與段之間做閉環(huán)檢測。

S124：利用每一分段的位姿信息以及段與段之間的匹配關系，構建圖并采用G2O框架進行圖優(yōu)化，得到優(yōu)化后的相機軌跡信息，從而實現(xiàn)全局優(yōu)化。

本步驟在優(yōu)化時應用(Simultaneous Localization and Calibration,SLAC)模式改善非剛性畸變，引入line processes約束刪除錯誤的閉環(huán)匹配。

上述步驟S122還可以具體包括：

S1221：計算每幀深度圖像與第一幀深度圖像的相似度。

S1222：判斷該相似度是否低于相似度閾值，若是，則執(zhí)行步驟S1223；否則，執(zhí)行步驟S1224。

S1223：對深度圖像序列進行分段。

本步驟基于視覺內容對深度圖像序列進行分段處理。這樣既可以有效地解決視覺里程計估計產生的累積誤差問題，又可以將相似的內容融合在一起，從而提高配準精度。

S1224：對深度圖像序列不進行分段。

S1225：將下一幀深度圖像作為下一分段的起始幀深度圖像，并重復執(zhí)行步驟S1221和步驟S1222，直至處理完所有幀深度圖像。

在上述實施例中，計算每幀深度圖像與第一幀深度圖像的相似度的步驟具體可以包括：

S12211：根據投影關系和任一幀深度圖像的深度值，并利用下式計算深度圖像上每個像素所對應的第一空間三維點：

p＝π-1(up,Z(up))

其中，up是深度圖像上的任一像素；Z(up)和p分別表示up對應的深度值和第一空間三維點；π表示投影關系，即每幀深度圖像對應的點云數據反投影到初始坐標系下的2D-3D投影變換關系。

S12212：根據下式將第一空間三維點旋轉平移變換到世界坐標系下，得到第二空間三維點：

q＝Tip

其中，Ti表示第i幀深度圖對應空間三維點到世界坐標系下的旋轉平移矩陣，其可以通過視覺里程計估計得到；i取正整數；p表示第一空間三維點，q表示第二空間三維點，p和q的坐標分別為：

p＝(xp,yp,zp)，q＝(xq,yq,zq)。

S12213：根據下式將第二空間三維點反投影到二維圖像平面，得到投影后的深度圖像：

其中，uq是q對應的投影后深度圖像上的像素；fx、fy、cx和cy表示深度相機的內參；xq、yq、zq表示q的坐標；T表示矩陣的轉置。

S12214：分別計算起始幀深度圖像和任一幀投影后的深度圖像上的有效像素個數，并將兩者比值作為相似度。

舉例來說，根據下式來計算相似度：

其中，n0和ni分別表示起始幀深度圖像和任一幀投影后的深度圖像上的有效像素個數；ρ表示相似度。

圖3示例性地示出了基于視覺內容分段融合、配準的流程示意圖。

本發(fā)明實施例采用基于視覺內容自動分段算法，能有效降低視覺里程計估計中的累積誤差，提高了配準精度。

S130：根據處理結果，進行加權體數據融合，從而重建室內完整場景三維模型。

具體地，本步驟可以包括：根據基于視覺內容的分塊融合和配準處理結果，利用截斷符號距離函數(TSDF)網格模型融合各幀的深度圖像，并使用體素網格來表示三維空間，從而得到室內完整場景三維模型。

本步驟還可以進一步包括：

S131：基于噪聲特點與興趣區(qū)域，利用Volumetric method框架進行截斷符號距離函數數據加權融合。

S132：采用Marching cubes算法進行Mesh模型提取。

在實際應用中，可以根據視覺里程計的估計結果，利用TSDF網格模型融合各幀的深度圖像使用分辨率為m的體素網格來表示三維空間，即每個三維空間被分為m塊，每個網格v存儲兩個值：截斷符號距離函數fi(v)及其權重wi(v)。

其中，可以根據下式來確定截斷符號距離函數：

fi(v)＝[K-1zi(u)[uT,1]T]z-[vi]z

其中，fi(v)表示截斷符號距離函數，也即網格到物體模型表面的距離，正負表示該網格是在表面被遮擋一側還是在可見一側，而過零點就是表面上的點；K表示相機的內參數矩陣；u表示像素；zi(u)表示像素u對應的深度值；vi表示體素。其中，該相機可以為深度相機或深度攝像機。

其中，可以根據下式進行數據加權融合：

其中，fi(v)和wi(v)分別表示體素v對應的截斷符號距離函數(TSDF)及其權值函數；n取正整數；F(v)表示融合后體素v所對應的截斷符號距離函數值；W(v)表示融合后體素v所對應的截斷符號距離函數值的權重。

在上述實施例中，權值函數可以根據深度數據的噪聲特點以及興趣區(qū)域來確定，其值是不固定的。為了保持物體表面的幾何細節(jié)，將噪聲小的區(qū)域以及感興趣區(qū)域的權值設置得大，將噪聲大的區(qū)域或不感興趣區(qū)域的權值設置得小。

具體地，權值函數可以根據下式來確定：

其中，di表示興趣區(qū)域的半徑，半徑越小表示越感興趣，權值越大；δs是深度數據中的噪聲方差，其取值與自適應雙邊濾波算法空間域核函數的方差一致；w為常數，優(yōu)選地，其可以取值為1或0。

圖4示例性地示出了加權體數據融合過程示意圖。

本發(fā)明實施例采用加權體數據融合算法可以有效保持物體表面的幾何細節(jié)，能夠得到完整、準確、精細化的室內場景模型，具有良好的魯棒性和擴展性。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結

以上是生活随笔為你收集整理的深度相机 物体三维重建_基于深度相机进行室内完整场景三维重建的方法及系统_2017100513665_说明书_专利查询_专利网_钻瓜专利网...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。