歡迎大家來到《知識(shí)星球》專欄，這兩天有三AI知識(shí)星球?qū)Ｗ⒏?D相關(guān)的網(wǎng)絡(luò)模型解讀，共10期左右。3D網(wǎng)絡(luò)在視頻數(shù)據(jù)，點(diǎn)云圖像，3D醫(yī)學(xué)圖像，光流估計(jì)等領(lǐng)域有重要的作用，是當(dāng)前的一類主流模型。

作者&編輯 | 言有三

有三AI知識(shí)星球-網(wǎng)絡(luò)結(jié)構(gòu)1000變

PointNet

點(diǎn)云就是一些三維點(diǎn)的集合，處理點(diǎn)云技術(shù)需要三維的卷積架構(gòu)，早期處理點(diǎn)云首先將其轉(zhuǎn)換為有固定順序的三維晶格，然后用普通的三維卷積網(wǎng)絡(luò)處理，但是這種轉(zhuǎn)換往往帶來副作用。PointNet是首個(gè)直接處理無序點(diǎn)云數(shù)據(jù)的網(wǎng)絡(luò)，可以用于點(diǎn)云分類和分割任務(wù)，取得了很好的效果。

作者/編輯 言有三

點(diǎn)云數(shù)據(jù)是一組無序的向量集合，若不考慮其他諸如顏色等因素，只考慮點(diǎn)的坐標(biāo)，相同的點(diǎn)云可以由兩個(gè)完全不同的矩陣表示。有N個(gè)點(diǎn)的點(diǎn)云，實(shí)際上有N！種排序，對(duì)于沒有固定規(guī)則的排序，卷積神經(jīng)網(wǎng)絡(luò)CNN中的權(quán)重共享等策略就無法應(yīng)用，因此CNN無法直接應(yīng)用于點(diǎn)云數(shù)據(jù)。

要使得網(wǎng)絡(luò)對(duì)點(diǎn)云的這些輸入組合輸出相同的結(jié)果，有三種常見思路。其一是按照坐標(biāo)進(jìn)行排序，但是排序方法也不是唯一和穩(wěn)定的。其二就是將所有的排序組合作為一個(gè)序列輸入RNN等網(wǎng)絡(luò)，但這樣顯然計(jì)算效率極低。其三就是設(shè)計(jì)一些函數(shù)，使其輸出對(duì)輸入的順序不敏感，這就是PointNet的處理思路。

網(wǎng)絡(luò)結(jié)構(gòu)如下：

以上網(wǎng)絡(luò)包含了兩個(gè)重要的技術(shù)：

(1) 使用maxpooling解決無序性問題。特征提取網(wǎng)絡(luò)得到的特征為n×1024，使用maxpooling將其變成1x1024的全局特征，然后送入分類網(wǎng)絡(luò)。

(1) 使用空間變換網(wǎng)絡(luò)獲取空間轉(zhuǎn)換不變性。利用網(wǎng)絡(luò)學(xué)習(xí)點(diǎn)云本身的位姿信息，得到旋轉(zhuǎn)矩陣，圖中包括兩次。第一次是input transform，它對(duì)空間中的點(diǎn)云進(jìn)行旋轉(zhuǎn)調(diào)整后得到更有利于任務(wù)的角度，變換矩陣為3×3，這屬于數(shù)據(jù)預(yù)處理。第二次是feature transform，它將提取出的64維特征進(jìn)行對(duì)齊，變換矩陣為64×64。由于變換矩陣過大，通過添加正則項(xiàng)，使變換矩陣近似于正交矩陣，從而大大降低參數(shù)量。

如果是分割問題，則將feature transform后的特征和全局特征進(jìn)行concat得到特征，然后輸入分割模塊。

以上是該方法和其他主流模型在3D形狀數(shù)據(jù)集Model40上的分類結(jié)果，除了多視角模型之外，有較大的性能優(yōu)勢。

上圖展示的是Kinect數(shù)據(jù)集和Model40的分割結(jié)果。

更多相關(guān)的模型解讀

加入有三AI知識(shí)星球即可獲取

每日更新

已經(jīng)超過3萬字的內(nèi)容

覆蓋各類主流網(wǎng)絡(luò)架構(gòu)

轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系

侵權(quán)必究

往期精選

• 【知識(shí)星球】千奇百怪的網(wǎng)絡(luò)結(jié)構(gòu)板塊更新到哪里了？

• 【知識(shí)星球】動(dòng)態(tài)推理網(wǎng)絡(luò)結(jié)構(gòu)上新，不是所有的網(wǎng)絡(luò)都是不變的

• 【知識(shí)星球】做作業(yè)還能贏獎(jiǎng)金，傳統(tǒng)圖像/機(jī)器學(xué)習(xí)/深度學(xué)習(xí)盡在不言中

• 【知識(shí)星球】數(shù)據(jù)集板塊重磅發(fā)布，海量數(shù)據(jù)集介紹與下載

• 有三AI知識(shí)星球官宣，BAT等大咖等你來撩

• 揭秘7大AI學(xué)習(xí)板塊，這個(gè)星球推薦你擁有

• 有三AI“夏季劃”出爐，今夏進(jìn)階中級(jí)CV算法工程師

總結(jié)

以上是生活随笔為你收集整理的【知识星球】3D网络结构解读系列上新的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。