生活随笔
收集整理的這篇文章主要介紹了
神经网络模型量化
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
基本概念
-
昇騰模型壓縮工具提供了一系列的模型壓縮方法,對(duì)模型進(jìn)行壓縮處理后,生成的部署模型在昇騰AI處理器上可使能一系列性能優(yōu)化操作,提高性能。昇騰模型壓縮工具當(dāng)前使用的壓縮方法主要包括:量化、融合以及張量分解,根據(jù)功能劃分為量化和張量分解。
量化
-
量化是指對(duì)模型的權(quán)重(weight)和數(shù)據(jù)(activation)進(jìn)行低比特處理,讓最終生成的網(wǎng)絡(luò)模型更加輕量化,從而達(dá)到節(jié)省網(wǎng)絡(luò)模型存儲(chǔ)空間、降低傳輸時(shí)延、提高計(jì)算效率,達(dá)到性能提升與優(yōu)化的目標(biāo)。
張量分解
-
張量分解通過分解卷積核的張量,將一個(gè)卷積轉(zhuǎn)化成兩個(gè)小卷積的堆疊來降低推理開銷。
融合
-
融合是指通過數(shù)學(xué)等價(jià),將模型中的多個(gè)算子運(yùn)算融合單算子運(yùn)算,以減少實(shí)際前向過程中的運(yùn)算量,如將卷積層和BN層融合為一個(gè)卷積層。
總結(jié)
以上是生活随笔為你收集整理的神经网络模型量化的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。