詳細(xì)英文文檔地址：

? ? ? 地址1：https://github.com/tensorflow/graphics

? ? ? 地址2：https://tensorflow.google.cn/graphics（自動(dòng)跳轉(zhuǎn)到 地址1）

????? 說(shuō)明：因?yàn)閠ensorflow地址大部分無(wú)法訪問(wèn)，可以在https://github.com/tensorflow/下找到需要的內(nèi)容

TensorFlow重磅推出一個(gè)全新的圖形工具TensorFlow Graphics，結(jié)合計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺(jué)技術(shù)，以無(wú)監(jiān)督的方式解決復(fù)雜3D視覺(jué)任務(wù)。

近年來(lái)，可插入到神經(jīng)網(wǎng)絡(luò)架構(gòu)中的一種新型可微圖形層(differentiable graphics layers)開(kāi)始興起。

從空間變換器(spatial transformers)到可微圖形渲染器，這些新型的神經(jīng)網(wǎng)絡(luò)層利用計(jì)算機(jī)視覺(jué)、圖形學(xué)研究獲得的知識(shí)來(lái)構(gòu)建新的、更高效的網(wǎng)絡(luò)架構(gòu)。它們將幾何先驗(yàn)和約束顯式地建模到神經(jīng)網(wǎng)絡(luò)中，為能夠以自監(jiān)督的方式進(jìn)行穩(wěn)健、高效訓(xùn)練的神經(jīng)網(wǎng)絡(luò)架構(gòu)打開(kāi)了大門(mén)。

1.概述（Overview）

從高級(jí)層面來(lái)說(shuō)，計(jì)算機(jī)圖形學(xué)的pipeline需要3D物體及其在場(chǎng)景中的絕對(duì)位置、構(gòu)成它們的材質(zhì)的描述、光、以及攝像頭。然后，渲染器對(duì)這個(gè)場(chǎng)景描述進(jìn)行解釋，生成一個(gè)合成渲染。

相比之下，計(jì)算機(jī)視覺(jué)系統(tǒng)是從圖像開(kāi)始的，并試圖推斷出場(chǎng)景的相關(guān)參數(shù)。也就是說(shuō)，計(jì)算機(jī)視覺(jué)系統(tǒng)可以預(yù)測(cè)場(chǎng)景中有哪些物體，它們由什么材料構(gòu)成，以及它們的3D位置和方向。

?

訓(xùn)練一個(gè)能夠解決這些復(fù)雜的3D視覺(jué)任務(wù)的機(jī)器學(xué)習(xí)系統(tǒng)通常需要大量的數(shù)據(jù)。由于給數(shù)據(jù)打標(biāo)簽是一個(gè)成本高昂而且復(fù)雜的過(guò)程，因此設(shè)計(jì)能夠理解三維世界、而且無(wú)需太多監(jiān)督的機(jī)器學(xué)習(xí)模型的機(jī)制非常重要。

將計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)技術(shù)結(jié)合起來(lái)，我們得以利用大量現(xiàn)成的無(wú)標(biāo)記數(shù)據(jù)。

如下圖所示，這個(gè)過(guò)程可以通過(guò)合成分析來(lái)實(shí)現(xiàn)，其中視覺(jué)系統(tǒng)提取場(chǎng)景參數(shù)，圖形系統(tǒng)根據(jù)這些參數(shù)返回圖像。如果渲染結(jié)果與原始圖像匹配，則說(shuō)明視覺(jué)系統(tǒng)已經(jīng)準(zhǔn)確地提取出場(chǎng)景參數(shù)了。

在這種設(shè)置中，計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)相輔相成，形成了一個(gè)類(lèi)似于自動(dòng)編碼器的機(jī)器學(xué)習(xí)系統(tǒng)，能夠以一種自監(jiān)督的方式進(jìn)行訓(xùn)練。

2.安裝 TensorFlow Graphics?

地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/install.md

?CPU 版：pip install --upgrade tensorflow-graphics

?GPU 版：pip install --upgrade tensorflow-graphics-gpu

3.API Documentation

地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/api_docs/python/tfg.md

4.兼容性（Compatibility）

TensorFlow Graphics完全兼容最新發(fā)布的穩(wěn)定版本TensorFlow，tf-nightly和tf-nightly-2.0-preview。 所有功能都與graph and eager execution.兼容。

5.調(diào)試（Debugging）

Tensorflow Graphics 嚴(yán)重依賴(lài) L2 normalized tensors,以及處于預(yù)定范圍內(nèi)的特定功能的輸入，檢查所有這些都需要在循環(huán)中，因此默認(rèn)情況下不會(huì)激活。建議在特定的訓(xùn)練周期內(nèi)打開(kāi)這些檢查，以確保一切都按預(yù)期運(yùn)行。

地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/debug_mode.md（該文檔提供了啟用該功能的說(shuō)明）

6.Colab 教程

為了幫助您開(kāi)始使用TF Graphics提供的一些功能，下面提供了一些Colab筆記本，并且大致按順序排序。涉及大范圍的主題，包括物體姿態(tài)估計(jì)（object pose estimation），插值interpolation，物體材料object materials，照明lighting，非剛性表面變形non-rigid surface deformation，球面諧波?spherical harmonics和網(wǎng)格卷積mesh convolutions。

6.1.入門(mén)級(jí)（Beginner）

?物體姿態(tài)估計(jì)（?Object pose estimation?）

???? 備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/6dof_alignment.ipynb

Camera intrisic optimization

??? 備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/intrinsics_optimization.ipynb

???????????????????????? Object pose estimation???????????????????????????????? Camera intrisic optimization

6.2.中等難度（Intermediate）

B-spline and slerp interpolationReflectanceNon-rigid surface deformation

?B樣條和球面線性插值（? B-spline and slerp interpolation）

? 備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/interpolation.ipynb

反射率（Reflectanc）

備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/reflectance.ipynb

?非剛性表面變形（Non-rigid surface deformation）

? 備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/non_rigid_deformation.ipynb

6.3.高等難度（Advanced）

Spherical harmonics renderingEnvironment map optimizationSemantic mesh segmentation

球面諧波渲染（Spherical harmonics rendering）

備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/spherical_harmonics_approximation.ipynb

環(huán)境地圖優(yōu)化（Environment map optimization）

備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/spherical_harmonics_optimization.ipynb

語(yǔ)義網(wǎng)格分割（Semantic mesh segmentation）

備用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb

7.TensorBoard 3D

可視化debug是評(píng)估實(shí)驗(yàn)是否朝著正確方向進(jìn)行的一種很好的方法。為此，TensorFlow Graphics提供了一個(gè)TensorBoard插件，可以交互式地對(duì)3D網(wǎng)格和點(diǎn)云進(jìn)行可視化。

地址1：https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/tensorboard/plugins/

???????????? mesh/Mesh_Plugin_Tensorboard.ipynb（插件使用方法）——無(wú)法訪問(wèn)

地址1-1.https://github.com/tensorflow/tensorboard/tree/master/tensorboard/plugins/mesh（內(nèi)容與地址二相同）

說(shuō)明：因?yàn)榈刂?無(wú)法訪問(wèn)，可以在https://github.com/tensorflow/下找到需要的內(nèi)容

地址2：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/tensorboard.md（安裝和配置）

注意：TensorBoard 3D目前與急切執(zhí)行和TensorFlow 2不兼容。

8.后續(xù)更新（Coming next...）

在許多方面，我們希望發(fā)布重新采樣器，額外的3D卷積和池操作符，以及可區(qū)分的光柵化器！

在Twitter上關(guān)注我們，了解最新消息！

地址:https://twitter.com/_TFGraphics_? （無(wú)法訪問(wèn)）

9.附加信息（Additional Information）

您可以在Apache 2.0許可下使用此軟件。

10.社區(qū)（Community）

作為T(mén)ensorFlow的一部分，我們致力于營(yíng)造一個(gè)開(kāi)放和熱情的環(huán)境。

???? Stack Overflow：詢(xún)問(wèn)或回答技術(shù)問(wèn)題。地址：https://stackoverflow.com/questions/tagged/tensorflow
???? GitHub：報(bào)告錯(cuò)誤或發(fā)出功能請(qǐng)求。????? 地址：https://github.com/tensorflow/graphics/issues
???? TensorFlow博客：及時(shí)了解TensorFlow團(tuán)隊(duì)的內(nèi)容和社區(qū)的最佳文章。地址：https://medium.com/tensorflow
???? Youtube頻道：關(guān)注TensorFlow節(jié)目。??? 地址：http://youtube.com/tensorflow/

?

。

?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的tensorflow graphics详解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。