詳細英文文檔地址：

? ? ? 地址1：https://github.com/tensorflow/graphics

? ? ? 地址2：https://tensorflow.google.cn/graphics（自動跳轉到 地址1）

????? 說明：因為tensorflow地址大部分無法訪問，可以在https://github.com/tensorflow/下找到需要的內容

TensorFlow重磅推出一個全新的圖形工具TensorFlow Graphics，結合計算機圖形學和計算機視覺技術，以無監督的方式解決復雜3D視覺任務。

近年來，可插入到神經網絡架構中的一種新型可微圖形層(differentiable graphics layers)開始興起。

從空間變換器(spatial transformers)到可微圖形渲染器，這些新型的神經網絡層利用計算機視覺、圖形學研究獲得的知識來構建新的、更高效的網絡架構。它們將幾何先驗和約束顯式地建模到神經網絡中，為能夠以自監督的方式進行穩健、高效訓練的神經網絡架構打開了大門。

1.概述（Overview）

從高級層面來說，計算機圖形學的pipeline需要3D物體及其在場景中的絕對位置、構成它們的材質的描述、光、以及攝像頭。然后，渲染器對這個場景描述進行解釋，生成一個合成渲染。

相比之下，計算機視覺系統是從圖像開始的，并試圖推斷出場景的相關參數。也就是說，計算機視覺系統可以預測場景中有哪些物體，它們由什么材料構成，以及它們的3D位置和方向。

?

訓練一個能夠解決這些復雜的3D視覺任務的機器學習系統通常需要大量的數據。由于給數據打標簽是一個成本高昂而且復雜的過程，因此設計能夠理解三維世界、而且無需太多監督的機器學習模型的機制非常重要。

將計算機視覺和計算機圖形學技術結合起來，我們得以利用大量現成的無標記數據。

如下圖所示，這個過程可以通過合成分析來實現，其中視覺系統提取場景參數，圖形系統根據這些參數返回圖像。如果渲染結果與原始圖像匹配，則說明視覺系統已經準確地提取出場景參數了。

在這種設置中，計算機視覺和計算機圖形學相輔相成，形成了一個類似于自動編碼器的機器學習系統，能夠以一種自監督的方式進行訓練。

2.安裝 TensorFlow Graphics?

地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/install.md

?CPU 版：pip install --upgrade tensorflow-graphics

?GPU 版：pip install --upgrade tensorflow-graphics-gpu

3.API Documentation

地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/api_docs/python/tfg.md

4.兼容性（Compatibility）

TensorFlow Graphics完全兼容最新發布的穩定版本TensorFlow，tf-nightly和tf-nightly-2.0-preview。 所有功能都與graph and eager execution.兼容。

5.調試（Debugging）

Tensorflow Graphics 嚴重依賴 L2 normalized tensors,以及處于預定范圍內的特定功能的輸入，檢查所有這些都需要在循環中，因此默認情況下不會激活。建議在特定的訓練周期內打開這些檢查，以確保一切都按預期運行。

地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/debug_mode.md（該文檔提供了啟用該功能的說明）

6.Colab 教程

為了幫助您開始使用TF Graphics提供的一些功能，下面提供了一些Colab筆記本，并且大致按順序排序。涉及大范圍的主題，包括物體姿態估計（object pose estimation），插值interpolation，物體材料object materials，照明lighting，非剛性表面變形non-rigid surface deformation，球面諧波?spherical harmonics和網格卷積mesh convolutions。

6.1.入門級（Beginner）

?物體姿態估計（?Object pose estimation?）

???? 備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/6dof_alignment.ipynb

Camera intrisic optimization

??? 備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/intrinsics_optimization.ipynb

???????????????????????? Object pose estimation???????????????????????????????? Camera intrisic optimization

6.2.中等難度（Intermediate）

B-spline and slerp interpolationReflectanceNon-rigid surface deformation

?B樣條和球面線性插值（? B-spline and slerp interpolation）

? 備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/interpolation.ipynb

反射率（Reflectanc）

備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/reflectance.ipynb

?非剛性表面變形（Non-rigid surface deformation）

? 備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/non_rigid_deformation.ipynb

6.3.高等難度（Advanced）

Spherical harmonics renderingEnvironment map optimizationSemantic mesh segmentation

球面諧波渲染（Spherical harmonics rendering）

備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/spherical_harmonics_approximation.ipynb

環境地圖優化（Environment map optimization）

備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/spherical_harmonics_optimization.ipynb

語義網格分割（Semantic mesh segmentation）

備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb

7.TensorBoard 3D

可視化debug是評估實驗是否朝著正確方向進行的一種很好的方法。為此，TensorFlow Graphics提供了一個TensorBoard插件，可以交互式地對3D網格和點云進行可視化。

地址1：https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/tensorboard/plugins/

???????????? mesh/Mesh_Plugin_Tensorboard.ipynb（插件使用方法）——無法訪問

地址1-1.https://github.com/tensorflow/tensorboard/tree/master/tensorboard/plugins/mesh（內容與地址二相同）

說明：因為地址1無法訪問，可以在https://github.com/tensorflow/下找到需要的內容

地址2：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/tensorboard.md（安裝和配置）

注意：TensorBoard 3D目前與急切執行和TensorFlow 2不兼容。

8.后續更新（Coming next...）

在許多方面，我們希望發布重新采樣器，額外的3D卷積和池操作符，以及可區分的光柵化器！

在Twitter上關注我們，了解最新消息！

地址:https://twitter.com/_TFGraphics_? （無法訪問）

9.附加信息（Additional Information）

您可以在Apache 2.0許可下使用此軟件。

10.社區（Community）

作為TensorFlow的一部分，我們致力于營造一個開放和熱情的環境。

???? Stack Overflow：詢問或回答技術問題。地址：https://stackoverflow.com/questions/tagged/tensorflow
???? GitHub：報告錯誤或發出功能請求。????? 地址：https://github.com/tensorflow/graphics/issues
???? TensorFlow博客：及時了解TensorFlow團隊的內容和社區的最佳文章。地址：https://medium.com/tensorflow
???? Youtube頻道：關注TensorFlow節目。??? 地址：http://youtube.com/tensorflow/

?

。

?

?

?

?

?

總結

以上是生活随笔為你收集整理的tensorflow graphics详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。