全景圖數據集制作概述

• • 公開數據集存在問題
  • PanoSU數據集簡介
  • 全景圖收集與標注
  • • 全景圖收集
    • 全景圖標注
  • PanoAnnotatorV2簡介

公開數據集存在問題

??HorizonNet 論文中用到的公開數據集存在以下問題。將問題大致分為以下三類。

全景圖收集時相機高度有誤，或者不滿足曼哈頓假設即墻體之間不垂直。

全景圖是L 型房間甚至是 T 型房間但是標注成了立方體房間。

全景圖標注有誤差，大部分修正時間花費在標注誤差修正。

??修正數據在 horizonNet 模型下訓練準確度得到了提升。此外，還有一些全景圖是樓梯過道，它們并不屬于房間一類且墻體邊緣線難以確定。
??如下圖，圖一的問題為相機高度過低，圖二、三的問題為不滿足室內曼哈頓布局假設。此外，該數據集混合了不同環境下的室內全景圖，不僅包含會議室、辦公室、雜貨間等非家居空間，而且包含難以識別的樓梯過道。墻體邊緣標注準確度同樣存在一定的誤差。為此提出了PanoSU數據集，它基于PanoAnnotatorV2標注了室內墻體邊緣，有效減少了誤差。而且它只包含7個室內類別，專注于家居環境下的墻體邊緣識別。

PanoSU數據集簡介

??從虛擬 SketchUp 模型中收集室內家裝全景圖數據, 并用 PanoAnnotatorV2 進行墻體布局標注, 簡稱 PanoSU 數據集. 它包括 591 張全景圖和對應的文本標簽, 且對每張圖像進行人工類別分類。其它空間包含了儲物間、衣帽間、玄關、過道、洗手臺、入戶花園、電梯間、前室、門廳類別. 為了訓練方便我們將 PanoSU 數據集分為三個部分。 第一部分有 197 張圖, 訓練集有 176 張預測集有 19 張. 虛擬的 SketchUp模型來自歐神諾公司,模型是由專業的室內 CAD 設計師完成的. 通過虛擬的模型獲取的全景圖, 不僅避免了實地拍取全景圖, 而且虛擬的 SketchUp 模型具有一定的可擴展性, 即對模型稍加修改就可以生成一張全新的室內家裝全景圖。如下圖，為一個SU模型收集到的室內全景圖，并以房間類型+唯一ID命名。

全景圖收集與標注

全景圖收集

??將SU模型逐一導入到 lumion 景觀渲染軟件中，對每個模型的每個房間都拍取全景圖，并嚴格的以房間類型加上序號的形式命名圖像。Lumion是景觀渲染軟件，它能將設計好的 CAD 草圖進行渲染，并且能夠生成 VR，軟件中有的全景相機拍照功能，并且能夠將相機的高度固定在 1.6m 的高度。這種方式采集全景圖簡單高效，它僅依賴于豐富的 SKup 素材，不需要專業的人帶著全景相機及支架到每個房間去拍取全景圖像。

全景圖標注

??將收集到的室內全景圖用PanoAnnotatorV2進行處理。首先進行全景圖預處理，將圖像對齊。如果沒有進行這一步將會導致軟件運行不了！！室內全景圖墻體標注方法詳見我的博客。半自動室內整體布局標注系統（上）

PanoAnnotatorV2簡介

??圖 像 語 義 分 割 的 標 注 工 具 有 很 多， 常用 的 有 labelImg、LabelMestyle、visim 、PanoAnnotator、planner5D。這些都是 RBG 圖像人工標注時所使用到的工具，它們的適用場景也不一樣，例如 LabelMestyle 它的風格是有 3D 線框的，將每個物體用了一個立方體框住。而 PanoAnnotator 工具專注于房間布局的標注，引入了一些傳統布局識別算法，稱它為半自動標注工具。若只專注于房間布局標注來說PanoAnnotator 工具顯然要快很多。也有人提出了一些自動的標注算法，它是基于 RGB-D圖像的。擁有景深的 RGB 圖像可以用算法很容易的算出來，但也不乏出現一些問題。那么對于不帶景深圖像的數據，使用 PanoAnnotator 來標注是比較合適的。但它有許多缺點，我們在它的基礎之上改進了，使得它在房間布局標注任務中表現出色，熟練的標注一個房間僅需要 30s，而傳統的 labelImg 則需要幾分鐘。
??此外，PanoAnnotatorV2 增加了全景圖俯視、仰視視角，并且在標注時可以很準確的看出墻體邊緣的線框的標注情況，為標注準確性起到一定的輔助作用。針對部分數據在采集時環境的影響，我們還增加了調整圖像亮度、對比度等功能，目的是讓墻體線清晰可見，增加標注的準確性。此外我們還增加了模型 3D 可視化，目的是將標注結果整體可視化。為了提高標注的速度，工具在數據標簽的加載和系統架構的兩個方面做出調整。首先刪除了TensorFlow 深度學習部分保留傳統算法的校正功能，因為深度學習部分模型復雜龐大，一般只需要人工標注，追求高速，深度學習對于電腦的 GPU要求較高。其次，工具優化了圖像標簽數據的加載，再標注文件中增加了墻體、相機高度，目的是在加載時不需要根據墻角數據進行重復計算提高運行速度。

## 資源鏈接

室內全景圖整體布局標注工具（python語言）
PanoSU數據集（第一部分）

總結

以上是生活随笔為你收集整理的室内全景图数据集的设计及制作流程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。