生成式 AI 席卷了 2022 年，我們最近決定 Physna 不應錯過這個熱點。 因此，盡管生成 AI 并不是我們的商業模式—Physna 是一家 3D 搜索和分析公司，專注于 AR/VR 和制造中的工程和設計應用—我們還是決定為 3D 模型和場景生成 AI 構建一個非常基本的原型，由三名工程師進行為期兩周的沖刺。 為什么？

1、生成式AI與3D

隨著 Metaverse、增強現實、虛擬現實和混合現實變得更加主流，3D 內容消費將急劇增加。 這增加了對 3D 內容的需求，并為 3D 創作者提供了千載難逢的機會。 生成式AI——如果使用得當和公平——有可能大大提高創作者的生產力。 我們相信，通過克服 3D 數據固有的復雜性問題，我們可以釋放 3D 的最大優勢：它的數據非常豐富。 這可能意味著可以使用相當少量的 3D 模型來創建或影響全新生成的模型。 換句話說：創作者自己過去的作品可以用于新作品的開發。 這將使 3D 模型和場景不僅對用戶更有價值，而且可以克服與使用第三方數據相關的風險。

盡管有機會和巨大的潛力，生成 AI 比其他地方需要更長的時間才能達到 3D：

紅杉資本對生成式 AI 應用程序的概覽展示了一系列公司生成從創意文本到視頻、代碼和圖像的一切內容。 但作為一家專注于 3D 的科技公司，Physna 引起我們注意的是那個空的粉紅色盒子：用于 3D 模型和場景的生成 AI 是唯一留空的盒子。

那么，是什么讓生成式 AI 在 3D 中如此困難，而它在其他地方發展得如此之快？

2、3D模型生成式AI的挑戰

問題 1：3D 模型……很復雜

一個問題是 3D 本身的復雜性所固有的：模型傳統上很難創建，存在各種不兼容的格式中，令人驚訝的是，與 2D（文本、圖像、視頻、 ETC。）相比，越來越少的公司有能力專注于 3D，因為它在分析層面通常更難突破——更不用說生成 AI 了。

問題 2：缺乏標記的 3D 數據

谷歌的 DreamFusion 團隊在他們 9 月份的文章中或許對另一個問題做了最好的總結：3D 數據不如 2D 數據多。 就像 Nvidia 最近宣布的 Magic3D 一樣，Google 的 DreamFusion 團隊使用了 NeRFs（神經輻射場），最好將其視為介于 2D 和 3D 之間的東西……考慮到這篇博文的“2.5D”。 它們也是空的“殼”，因為它們沒有任何內部組件和幾何形狀。 這意味著擬不僅掌握的關于手頭物體的信息更少，而且也更難得出關于是什么造就了它的結論。 因此，盡管在 NeRFs 上進行訓練可能比使用 2D 更有益，但正如谷歌的 DreamFusion 團隊指出的那樣：NeRFs 根本不是真正的、帶標簽的 3D 模型的很好替代品。 這意味著，如果沒有解決方案，在可預見的未來，生成式 AI 將無法在 3D 領域和其他領域發揮作用。

3、如何克服困難

我們意識到可以通過一種非常簡單的方式克服 3D 數據稀缺的問題：Physna 擁有世界上最大的標記 3D 數據庫，以及使用它的適當許可。 但考慮到生成式 AI 的計算成本，利用它來運行原型將是一種昂貴的方式。 相反，我們意識到更有價值的是簡單地確定是否可以用比以前想象的少得多的 3D 數據在生成式 AI 中完成更多工作。

我們的假設很簡單：對手頭 3D 模型的更深入理解意味著需要更少的模型來實現可擴展且有意義的 3D 生成 AI。 畢竟，雖然 3D 的缺點是數據的復雜性，但優點是與 2D 圖像等其他資產相比，這些 3D 模型的數據有多豐富。

這是一個我們認為非常適合解決的問題。 我們的整個業務都建立在我們的核心技術之上，該技術“編碼”了 3D 模型——也就是說，它創建了一個數字“DNA”，以標準化的方式代表模型的幾何形狀、特征和屬性。 這樣做使我們能夠確定所有模型如何相互關聯——包括在子模型級別。 這個關系矩陣允許我們使用人工生成的標簽以指數方式傳播更多的標簽（在兩到三個數量級之間）。 而且這個標簽系統不僅具有可擴展性，而且相當可靠，因為我們在創建過程中使用了兩個步驟：

第 1 步：我們使用一組獲得專利的確定性算法來創建模型“DNA”的第一層。 這會繪制出模型的每個屬性、其確切的幾何形狀和特征，并對模型進行標準化。 這一步對于確保在精度是關鍵時不會錯誤識別看起來模糊的事物至關重要，并且它顯示了每個特征或部分應該如何組合在一起。

第 2 步：然后，我們使用一組由深度學習增強的專有非確定性算法，這對于啟用模型生成同樣重要。 此步驟還確保在概念層面理解不同大小和形狀的模型（即沒有“匹配”的幾何或屬性）。

這兩層的結合使我們能夠深入了解每個模型、它與其他模型的關系、構成模型的特征/組件以及它們存在的其他位置。 這意味著對于訓練中使用的每個 3D 模型或場景，我們可以學到更多——并使 3D 模型和場景生成更有效——所有這些都需要更少的數據。

3、3D模型生成式AI測試

在我們生成芝士漢堡和紙杯蛋糕（我們喜歡食物）的 3D 模型的簡短“階段 1”之后，我們進入階段 2 中更具挑戰性的原型：場景生成。 畢竟，一旦可以同時生成模型和整個場景，你距離添加運動并創建你選擇的整個“Metaverse”或混合現實世界的能力僅一步之遙（也許非常小）。

我們將我們的項目限制在 Amazon-Berkeley 庫中的大約 8,000 個模型。 以任何標準來看，這都沒有什么可訓練的（二維穩定擴散最初訓練了大約 6 億張圖像以進行比較）。 我們相信，通過首先分析上述模型，這個小數據集很有可能足以創建一個非常簡單的原型。

我們提到的簡單，確實意味著簡單。 正如你在下面的視頻中注意到的那樣，這個原型僅限于家具。 展示的一些例子可能有點傻——比如在外太空沙發周圍布置的花瓶——但重點是從中獲得樂趣，看看有什么——如果有的話——可以由三名工程師在短短兩周內完成，同時接受培訓 8,000 個模型。

4、結束語

結果肯定比我們希望的要多。 從這些測試中得出的一個意外收獲是，使用上述方法，3D 生成式 AI 中最困難的部分不是生成模型或場景本身，而是在較短的開發時間框架內克服相對簡單的錯誤（如模型碰撞）。 雖然只使用如此小的數據集的決定肯定會限制原型的范圍，但結果證明，3D 中的生成式 AI——無論是在對象還是場景級別——都可以利用 3D 模型中存在的龐大數據量。

這對最終用戶來說是一個特別有希望的消息：即使是相對較小的數據集也足以極大地影響生成的模型。 這意味著個人和企業可以使用他們自己的模型來生成為他們量身定制的新 3D 資產。 3D 生成 AI 不僅可以作為設計師和創作者的力量倍增器，還可以讓你牢記自己的風格和用例。

志愿參與這項工作的三位工程師正在休幾天假來恢復體力，由于他們的努力和測試的積極結果，我們正在 Physna 積極擴大對 AI 的關注。

這篇文章的目的有兩個：分享我們的發現和它們所帶來的機會，并向任何可能有興趣加入該團隊的人工智能研究人員敞開大門。

---

原文鏈接：3D模型生成式AI — BimAnt

總結

以上是生活随笔為你收集整理的3D模型的生成式AI的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。