NVIDIA? TensorRT? supports different data formats

NVIDIA?TensorRT公司? 支持不同的數(shù)據(jù)格式。需要考慮兩個(gè)方面：數(shù)據(jù)類(lèi)型和布局。 數(shù)據(jù)類(lèi)型格式

數(shù)據(jù)類(lèi)型是每個(gè)單獨(dú)值的表示。它的大小決定了值的范圍和表示的精度；它們是FP32（32位浮點(diǎn)或單精度）、FP16（16位浮點(diǎn)或半精度）、INT32（32位整數(shù)表示）和INT8（8位表示）。

布局格式

布局格式?jīng)Q定了存儲(chǔ)值的順序。通常，批處理維度是最左邊的維度，其他維度是指圖像中每個(gè)數(shù)據(jù)項(xiàng)的方面，例如C是通道，H是高度，W是寬度。忽略批大小（總是在這些值之前），C、H和W通常排序?yàn)?/p>

CHWindex.html#data-format-desc__fig1 or
HWCindex.html#data-format-desc__fig2.


為了實(shí)現(xiàn)更快的計(jì)算，定義了更多的格式來(lái)組合通道值并使用降低的精度。因此，TensorRT還支持NC/2HW2和NHWC8格式。

在NC/2HW2中，通道值對(duì)打包在每個(gè)HxW矩陣中（在奇數(shù)個(gè)通道的情況下，有一個(gè)空值）。結(jié)果是?C/2?HxW矩陣的值是兩個(gè)連續(xù)通道的值對(duì)的格式index.html數(shù)據(jù)index.html#data-format-desc__fig3；請(qǐng)注意，此順序?qū)⒕S度作為步長(zhǎng)為1的通道的值（如果它們?cè)谕粚?duì)中），否則步長(zhǎng)為2xHxW。

在NHWC8中，HxW矩陣的條目包括所有信道的值index.html#data-format-desc__fig4。將這些值加起來(lái)最接近的值是?C/8?和C的相加。

總結(jié)

以上是生活随笔為你收集整理的NVIDIA® TensorRT™ supports different data formats的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。