FLOPS

MFLOPS
GFLOPS
TFLOPS
PFLOPS

GFLOPS是Paper里比較流行的單位。

MFLOPS
Mega(106)/Giga(109)/Tera(1012)/Peta(1015)
Floating-point Operations per Second.

whetstone

whestone測(cè)試浮點(diǎn)運(yùn)算性能

FLOPS vs FLOPs

FLOPS: floating point operations per second的縮寫，意指每秒浮點(diǎn)運(yùn)算次數(shù), 衡量硬件性能的指標(biāo)。

FLOPs：注意s小寫，是floating point operations的縮寫（s表復(fù)數(shù)），意指浮點(diǎn)運(yùn)算數(shù)，用來衡量算法/模型的復(fù)雜度。

DMIPS

DMIPS中D的含義，干石（Dhrystone）測(cè)試的是整數(shù)運(yùn)算性能，而與之相對(duì)的還有濕石（Whetstone），用來測(cè)試浮點(diǎn)運(yùn)算性能。這個(gè)單位就是FLOPS。

TOPS

TOPS中O是什么含義？operation指MAC操作。MAC 數(shù)字相乘再相加。a=a+b*c。

TOPS: Tera Operations per Second

Most operations are MACs (multiply/accumulates), so TOPS = (number of MAC units) x (frequency of MAC operations) x 2.

TOPS/W

在某些情況下，還使用 TOPS/W 來作為評(píng)價(jià)處理器運(yùn)算能力的一個(gè)性能指標(biāo)，TOPS/W 用于度量在1W功耗的情況下，處理器能進(jìn)行多少萬億次操作。

https://semiengineering.com/tops-memory-throughput-and-inference-efficiency/

GMACs

1MAC = 2 OP
即一個(gè)MAC (乘，加，各被認(rèn)為是一個(gè)operation)

http://www.360doc.com/content/21/0211/11/30375878_961672385.shtml

FMA

FMA指令集（Fused-Multiply-Add，積和熔加運(yùn)算）是x86微處理器上的指令集。FMA允許創(chuàng)建新的指令并有效率地執(zhí)行各種復(fù)雜的運(yùn)算，可結(jié)合乘法與加法運(yùn)算（即積和熔加運(yùn)算）。

FMA將a*x+b記為一項(xiàng)運(yùn)算，GMAC=0.5GFLOPs
https://blog.csdn.net/touchwolf/article/details/106997506

FLOPS 度量的局限性

FLOPS并不是一個(gè)有意義的量度（measurement），因?yàn)镕LOPS并不能反應(yīng)出許多對(duì)執(zhí)行效能有影響的因素。例如：I/O的效能、內(nèi)存的架構(gòu)、快取內(nèi)存一致性（cache coherence）、…等。
這意味著電腦的實(shí)際計(jì)算容量，與FLOPS的理論峰值間會(huì)有一段不小的差距。

FLOPs沒有考慮幾個(gè)對(duì)速度有相當(dāng)大影響的重要因素——MAC(Memory Access Cost)\并行度\平臺(tái)

卷積層 包含哪些運(yùn)算

卷積運(yùn)算Conv

BatchNorm

ReLu

Linear

Upsample

Poolings

FLOPS指 (single precision FP32)

雙精度 FP64

總結(jié)

以上是生活随笔為你收集整理的DMIPS, TOPS, FLOPS, FLOPs, GMACs, FMA的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。