量化工作流程

PyTorch 提供了三種量化模型的方法。
訓(xùn)練后動態(tài)量化：

這是最簡單的量化形式，其中權(quán)重被提前量化，而激活在推理過程中被動態(tài)量化。 這用于以下情況：模型執(zhí)行時間主要由從內(nèi)存中加載權(quán)重而不是計算矩陣乘法來決定。 對于小批量的 LSTM 和 Transformer 類型的模型，這是正確的。 只需調(diào)用一次 torch.quantization.quantize_dynamic() ，即可將動態(tài)量化應(yīng)用于整個模型。 請參閱量化教程

訓(xùn)練后靜態(tài)量化：這是最常用的量化形式，其中權(quán)重是提前量化的，并且基于觀察校準(zhǔn)過程中模型的行為來預(yù)先計算激活張量的比例因子和偏差。 訓(xùn)練后量化通常是在內(nèi)存帶寬和計算節(jié)省都很重要的情況下進行的，而 CNN 是典型的用例。 進行訓(xùn)練后量化的一般過程是：

準(zhǔn)備模型： 通過添加 QuantStub 和 DeQuantStub 模塊，指定在何處明確量化激活和量化數(shù)量。 b。 確保不重復(fù)使用模塊。 C。 將所有需要重新量化的操作轉(zhuǎn)換為模塊將諸如 conv + relu 或 conv + batchnorm + relu 之類的保險絲操作融合在一起，以提高模型的準(zhǔn)確性和性能。指定'97 量化方法的配置，例如選擇對稱或非對稱量化以及 MinMax 或 L2Norm 校準(zhǔn)技術(shù)。使用 torch.quantization.prepare(

總結(jié)

以上是生活随笔為你收集整理的torch量化的流程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。