基本概念

• 昇騰模型壓縮工具提供了一系列的模型壓縮方法，對(duì)模型進(jìn)行壓縮處理后，生成的部署模型在昇騰AI處理器上可使能一系列性能優(yōu)化操作，提高性能。昇騰模型壓縮工具當(dāng)前使用的壓縮方法主要包括：量化、融合以及張量分解，根據(jù)功能劃分為量化和張量分解。

量化

• 量化是指對(duì)模型的權(quán)重（weight）和數(shù)據(jù)（activation）進(jìn)行低比特處理，讓最終生成的網(wǎng)絡(luò)模型更加輕量化，從而達(dá)到節(jié)省網(wǎng)絡(luò)模型存儲(chǔ)空間、降低傳輸時(shí)延、提高計(jì)算效率，達(dá)到性能提升與優(yōu)化的目標(biāo)。

張量分解

• 張量分解通過分解卷積核的張量，將一個(gè)卷積轉(zhuǎn)化成兩個(gè)小卷積的堆疊來降低推理開銷。

融合

• 融合是指通過數(shù)學(xué)等價(jià)，將模型中的多個(gè)算子運(yùn)算融合單算子運(yùn)算，以減少實(shí)際前向過程中的運(yùn)算量，如將卷積層和BN層融合為一個(gè)卷積層。

總結(jié)

以上是生活随笔為你收集整理的神经网络模型量化的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。