原文：Convolutional-Recursive Deep Learning for 3D Object Classification

總體思想：

1、同時使用CNN-RNN進行圖像特征的學習，對RGB-D圖像進行分類

2、使用單層CNN提取圖像低維特征，使用這種方法的原因在于這種低維特征能夠允許物體的部分形變，從而具有一定的魯棒性。將單層CNN的輸出作為輸入輸入至RNN中，讓RNN去學習特征間的組合關系（應該也可以理解為是RNN學習到的隱關系）

3、嘗試探索新的用于機器視覺的深度學習架構，在之前的用于自然語言處理和計算機視覺中，嘗試使用（1）對每種輸入采取不同樹結構（2）對單層RNN使用一套權重（3）嚴格限制樹的結構為二維（4）使用反向傳播訓練RNN。在本文中使用固定樹結構，允許n進制樹。

4、使用非監督學習的方法學習濾波器權重。

5、總體結構示意圖（引自原文）

左側為RGB圖像，右側為深度圖像。首先使用K個濾波器進行卷積操作，將卷積層輸出結果按序輸入至RNN中。這里有一點不明白，就是為什么CNN和RNN的塊輸入順序不同。

Convolutional-Recursive Neural Networks

1、非監督學習CNN濾波器

實現方法，首先將RGB和深度圖像的patch分別進行提取放入到兩個集合內，而后分別進行歸一化和白化。對這些預處理過的patch使用k-means進行聚類，下圖為進行聚類后得到的結果（引自原文）

2、單層CNN

使用單層CNN結構是為了使提取的特征具有平移不變性。使用了what is the best multi-stage architecture for object recognition的結構，并且加入了矯正和LCN（局部對比度歸一化，用于在一個feature map中實現對比特征）。

使用K個filter，大小為dp，進行卷積操作，然后再使用size為dl，stride為s進行平均池化。最終得到一個K×r×r的3D矩陣為輸出。

3、Fixed-Tree Recursive Neural Networks

本文中使用的結構是一個固定的樹結構，葉節點為K維向量（來自于CNN池化后的結果），為了方便理解，畫了兩個示意圖（字略丑，湊合看）第一個就是經池化后從CNN輸出的結果，第二張是k為128，block大小為3×3的拼接。

整個部分的目的就是為了提取圖像的隱特征，并且最終輸出的結果是一個k維的向量。每一步的操作都類似于金子塔，其計算方式如下，W為權重，維度為K×b^2K

在實現過程中，第一個matrix P1的數量應該為（r/b）^2個，其中r為經過CNN處理后的輸入圖像的大小，b表示block的大小。從X到P1的合并就使用上述公式，對將P1合并為P2同樣也使用相同的方法，直至最后只剩下一個P矩陣。使用后向傳播，最小交叉熵進行訓練。下圖為合并過程示意圖，摘自原文。

4、Multiple Random RNNs

對于3D矩陣的輸入，可以使用N個RNN，每個RNN都輸出K維向量，然后將這N個輸出進行連接，作為softmax分類器的輸入。實驗表明即使RNN使用random weight，仍能夠獲得較高質量的特征向量。

總結

以上是生活随笔為你收集整理的CNN-RNN结合的3D物体识别分类的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。