這是專欄《圖像分割模型》的第10篇文章。在這里，我們將共同探索解決分割問題的主流網(wǎng)絡(luò)結(jié)構(gòu)和設(shè)計思想。

深度信息的引入往往會給分割帶來更好的結(jié)果。之前提到的ENet除了直接變成ReSeg分割網(wǎng)絡(luò)，同樣也可以結(jié)合RGB-D信息實現(xiàn)更準(zhǔn)確的分割。

作者 | 孫叔橋

編輯 | 言有三

本期論文：《LSTM-CF: Unifying Context Modeling and Fusion with LSTMs for RGB-D Scene Labeling》

?

1 RGB-D分割

前面我們已經(jīng)討論過許多基于RGB信息的分割網(wǎng)絡(luò)了，今天就來談?wù)凴GB-D分割。RGB-D分割中的D指的是“Depth”，即“深度”，也就是相機到物體在實際空間中的距離。

那么既然RGB信息已經(jīng)能夠?qū)崿F(xiàn)分割，為什么要用到深度信息呢？原因很簡單：引入深度信息后，其提供的額外結(jié)構(gòu)信息能夠有效輔助復(fù)雜和困難場景下的分割。比如，與室外場景相比，由于語義類別繁雜、遮擋嚴(yán)重、目標(biāo)外觀差異較大等原因，室內(nèi)場景的分割任務(wù)要更難實現(xiàn)。此時，在結(jié)合深度信息的情況下，能夠有效降低分割的難度。

雖然道理容易，但是如何實現(xiàn)RGB-D分割還是有些問題需要解決的：

如何有效地表述和融合共存的深度和光度（RGB）數(shù)據(jù)

如何在特征學(xué)習(xí)過程中有效獲取全局場景上下文

下面我們就通過LSTM-CF網(wǎng)絡(luò)結(jié)構(gòu)來了解一下，如何實現(xiàn)RGB-D下的分割。

?

2 LSTM-CF

上一篇文章我們已經(jīng)介紹過了ReNet，這里簡單回顧一下。ReNet是通過在兩個正交方向上級聯(lián)應(yīng)用RNN來獲取圖像中的2D依賴項。ReNet的具體實現(xiàn)方式如下圖所示：

?

基于ReNet，LSTM-CF利用長短時間記憶和DeepLab實現(xiàn)分割。LSTM-DF主要包括四個部分：用于豎直深度上下文提取的層，用于豎直光度上下文提取的層，用于整合光度和深度上下文成2D全局上下文的記憶融合層，和像素級場景分割層。

下圖是LSTM-CF網(wǎng)絡(luò)模型：

輸入深度信息后，LSTM-CF利用HHA描述，將深度信息轉(zhuǎn)換成視差、表面法線和高這三個通道的信息。隨后，利用ReNet提取不同方向上的上下文信息，并在兩個方向進行雙向傳播。

與此同時，對于RGB通道信息，網(wǎng)絡(luò)利用如上圖所示的卷積結(jié)構(gòu)提取特征，利用插值將各級特征恢復(fù)到相同分辨率下，并級聯(lián)。之后，同樣利用ReNet獲取上下文信息。

細心的讀者可能注意到了，RGB通道比深度通道多出了兩層。這是因為，考慮到光度圖像比離散、稀疏的深度圖像包含的信息多，網(wǎng)絡(luò)對光度圖像分支給予更多的關(guān)注。

概括起來，LSTM-CF的分割流程可以總結(jié)為下圖的形式：

?

?

3 實驗結(jié)果

為了驗證深度信息和長短信息記憶等模塊對于分割任務(wù)的影響，LSTM-CF對網(wǎng)絡(luò)結(jié)構(gòu)進行了剝離實驗。下圖是實驗結(jié)果：

?

可見，分割的主要精度還是來源于RGB信息的，但是引入了深度信息和上下文信息后，網(wǎng)絡(luò)的精度能夠得到一定的提升。

下圖是LSTM-CF在SUNRGBD數(shù)據(jù)庫下的實驗結(jié)果：

?

第一行為圖像，第二行為真值，第三行為LSTM-CF分割結(jié)果

經(jīng)過10期的介紹，語義分割問題上應(yīng)該了解的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)就基本說完了。下一期我們來聊聊與語義分割稍有差異的實例分割網(wǎng)絡(luò)結(jié)構(gòu)。

本專欄文章：

第一期：【圖像分割模型】從FCN說起

第二期：【圖像分割模型】編解碼結(jié)構(gòu)SegNet

第三期：【圖像分割模型】感受野與分辨率的控制術(shù)—空洞卷積

第四期：【圖像分割模型】快速道路場景分割—ENet

第五期：【圖像分割模型】以RNN形式做CRF后處理—CRFasRNN

第六期：【圖像分割模型】多感受野的金字塔結(jié)構(gòu)—PSPNet

第七期：【圖像分割模型】全局特征與局部特征的交響曲—ParseNet

第八期：【圖像分割模型】多分辨率特征融合—RefineNet

第九期：【圖像分割模型】用BRNN做分割—ReSeg

第十期：【圖像分割模型】BRNN下的RGB-D分割—LSTM-CF

第十一期：【圖像分割模型】實例分割模型—DeepMask

第十二期：【圖像分割模型】全景分割是什么？

感謝各位看官的耐心閱讀，不足之處希望多多指教。后續(xù)內(nèi)容將會不定期奉上，歡迎大家關(guān)注有三公眾號 有三AI！

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的【图像分割模型】BRNN下的RGB-D分割—LSTM-CF的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。