機器之心發(fā)布作者：趙悠悠

中科院計算所、香港城市大學、英國卡迪夫大學以及加拿大西蒙弗雷澤大學的研究者，近日提出了一種能夠表達幾何細節(jié)和復雜拓撲結構的三維模型深度生成方法 SDM-NET，解決了之前方法的一部分局限性，使得生成的模型具有高質(zhì)量的幾何細節(jié)并可以支持快速編輯。該研究已被計算機圖形學頂會 Siggraph Asia 2019 接收。

三維模型的生成一直是計算機圖形學領域一個熱門方向。不同于三維模型，二維圖像的生成在深度神經(jīng)網(wǎng)絡的幫助下，已經(jīng)有了高質(zhì)量的結果，基于深度網(wǎng)絡的圖像生成方法生成的圖像已經(jīng)足夠以假亂真。

例如，Deep Fake 已經(jīng)可以做到非常真實的人臉替換。許多研究者嘗試將深度網(wǎng)絡類似地應用于三維模型的生成上，但因為缺乏有效的表示方法，生成的模型不具有精細的幾何細節(jié)。例如，基于點云的方法，是在空間中離散分布的采樣，無法刻畫幾何模型的細節(jié)和拓撲；基于體素的方法受限于復雜度的問題，分辨率較低；基于片網(wǎng)的方法對模型的表面進行逼近，但是仍然無法表示連續(xù)曲面。因此，學界及業(yè)界尚未有合適的高質(zhì)量的三維模型深度生成方法。
中國科學院計算技術研究所的學者在三維模型的高質(zhì)量生成方法上進行探索，在三維模型的表示上有了系列的研究基礎 [1,2,3]。為了進一步生成具有復雜拓撲結構及高質(zhì)量幾何的三維模型，中科院計算所，聯(lián)合香港城市大學、英國卡迪夫大學以及加拿大西蒙弗雷澤大學的研究者，提出了一種能夠表達幾何細節(jié)和復雜拓撲結構的三維模型深度生成方法 SDM-NET，解決了之前方法的一部分局限性，使得生成的模型具有高質(zhì)量的幾何細節(jié)并可以支持快速編輯。
論文地址：https://arxiv.org/pdf/1908.04520.pdf
項目主頁：http://geometrylearning.com/sdm-net/論文：SDM-NET: Deep Generative Network for Structured Deformable Mesh
該方法涉及一種新的三維模型編碼方式，同時深度生成網(wǎng)絡的設計也與這種編碼方式耦合在一起，完成對三維模型的生成，生成的三維模型可以直接進行編輯。圖一展示了在 SDM-NET 隱含層上插值生成的高質(zhì)量結果，能夠?qū)崿F(xiàn)模型拓撲之間的連續(xù)變換，如飛機引擎的從無到有。圖二展示了 SDM-NET 與其他方法在細節(jié)上的比較。

圖一：SDM-NET 隱含層插值生成模型結果

圖二：細節(jié)展示及對比
SDM-NET 的生成模型具有的另一大優(yōu)勢是可直接編輯，如下面這段動圖所展示的，由 SDM-NET 生成的模型可以直接進行交互式的變形(如刪除扶手、拉長椅腿及椅背等)。

SDM-NET 生成的模型可以直接變形編輯
研究人員在最近于澳大利亞布里斯班舉行的 Siggraph Asia 2019 上展示了他們的研究成果，Siggraph Asia 是 CCF A 類會議，計算機圖形學領域的頂級會議，每年都會發(fā)布圖形學領域中高質(zhì)量的最新研究和學術成果，今年的會議吸引了將近一萬人參會，包括學者、工程師、藝術家和學生等。
被該會議接收的論文都會發(fā)表在 ACM Transactions on Graphics 期刊上。該期刊的 SCI 影響因子在 ACM 出版的所有期刊中排名第一，享有極高的聲譽，是被學界及業(yè)界高度認可的 ACM 匯刊。如下圖(來自 ACM TOG 官網(wǎng))所示，SIGGRAPH、SIGGRAPH ASIA 和 ACM Transactions on Graphics 具有同樣高的質(zhì)量。

方法概述
一個咖啡杯能夠由一個簡單的圓圈變換得到，如圖三所示，這是因為它們實際上是同胚的。一個咖啡杯的細節(jié)可以由變換來刻畫，研究人員便利用細節(jié)等同于變換的思想來表示三維幾何模型的細節(jié)。
同時，直接對模型整體建模比分塊建模要更困難，為了實現(xiàn)高質(zhì)量的三維模型生成，論文作者將完整的模型分割為具有特定語義標簽的部件，逐一對每個部件進行建模。
如圖四所示，為每一個部件構建軸對齊的包圍盒，將包圍盒同胚變換到被包圍的部件上，刻畫幾何細節(jié)。對一類模型(如椅子類別)的不同部件分別進行上述操作，便將模型轉(zhuǎn)換為幾個同胚集合的并集。每個標簽的部件集合對應一個同胚集合，集合中的變換進一步送到每個部件語義標簽各自的變分自編碼器(VAE)進行編碼與學習。

圖三：咖啡杯和圓圈是同胚的

圖四：對模型逐部件分析，構建網(wǎng)格包圍盒，通過包圍盒的變換刻畫幾何細節(jié)

三維模型不只具有精細的幾何細節(jié)，同時還有復雜的拓撲結構。如圖五所示，研究人員通過部件包圍盒之間的支撐關系、對稱關系來對模型的復雜結構進行建模。相比采用相鄰關系，支撐關系更能準確描述部件之間的物理支持屬性，從而保證生成的三維模型是物理上具有穩(wěn)定支撐的特性。

圖五：分析部件之間的支撐關系、對稱關系對模型復雜拓撲結構建模

將結構信息與刻畫部件細節(jié)的變形信息串聯(lián)在一起，得到模型部件完整的編碼，如圖六所示。研究人員進一步構建一個變分自編碼器來聯(lián)合編碼模型的幾何形狀與拓撲結構，保證生成模型的幾何與結構的一致性。這也是第一次嘗試運用神經(jīng)網(wǎng)絡結構，對支撐形狀結構進行編碼。最終的網(wǎng)絡由兩級 VAE 組成，部件層次編碼變形的 VAE 與模型層次聯(lián)合編碼幾何和結構的 VAE，用于結構化變形網(wǎng)格的編碼與生成，被稱作 SDM-NET。在網(wǎng)絡訓練完成后，可生成高質(zhì)量、平滑的三維模型。

圖六：模型部件的完整編碼結果展示

圖七：與基于點云和片網(wǎng)的三維模型表示方法的比較

圖八：與基于體素的三維模型生成方法的比較
如圖八所示，作者與基于體素的三維模型生成方法做了比較，可以看到在生成模型的質(zhì)量上 SDM-NET 具有很大的優(yōu)勢。
下面這個動圖展示了模型插值的結果，可以看到 SDM-NET 可以實現(xiàn)在不同拓撲結構模型之間的插值。

SDM-NET 可以在不同拓撲結構模型之間插值

有關論文的更多細節(jié)，及論文、視頻、代碼的下載，請瀏覽項目主頁。

參考文獻：[1] Lin Gao, Jie Yang, Yi-Ling Qiao, Yu-Kun Lai, Paul L. Rosin, Weiwei Xu, and Shihong Xia. 2018. Automatic unpaired shape deformation transfer. ACM Trans. Graph. 37, 6 (2018), 237:1–237:15.

[2] Qingyang Tan, Lin Gao, Yu-Kun Lai, Jie Yang, Shihong Xia. 2018. Mesh-based Autoencoders for Localized Deformation Component Analysis. AAAI Conference on Artificial Intelligence (spotlight). 2452-2459.

[3] Lin Gao, Yu-Kun Lai, Jie Yang, Ling-Xiao Zhang, Shihong Xia, and Leif Kobbelt. 2019. Sparse Data Driven Mesh Deformation. IEEE Trans. Vis. Comput. Graph. (2019).

總結

以上是生活随笔為你收集整理的点云数据生成三维模型_可直接编辑的高质量3D生成模型：三维深度生成方法SDM-NET...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。