現在的模型越來越大，要模型壓縮
paddle slim是一個壓縮庫

自動檢測電網周邊是否有問題，煙霧什么的


總來說分四類


原理上的：
三個中間輸出
A-卷積》B-卷積》C
通過剪掉卷積核減少通道數

那么怎么去確定，剪掉哪些參數？
重要性評估：
剪掉的比例-正確率 curve
定義是這個卷積層是否重要
L1——norm是卷積層的這個通道是否重要

FLOPS（即“每秒浮點運算次數”，“每秒峰值速度”）
手機可以通過PaddleLite進行部署


embedding量化是針對nlp的
量化訓練與離線量化有區別

上面是一個老師模型

紅框在老師里長，學生里短
彈幕可以看看



反饋時對搜索策略進行調優
不加約束會崩


可以看文檔
搜索空間：Block相當于一個模型結構，有很多操作，可以理解成時很多卷積，搜索出來后再自行設計網絡

為什么不急于計算量？：目的和原因
卷積2對卷積1耗時是少的
解決方法：圖上黑字
搜索出模型之后，對模型進行查找，根據耗時判斷硬件是否符合要求
FlopsNAs是基于計算量進行搜索的耗時

summary原理結束了
模型壓縮：工業上縮小模型之后，不減精度甚至提高的黑科技



做了什么：
2.對網絡接口進行裁剪
3.像正常那樣訓練




測試的接口，獲取敏感度會用到

進行訓練：
數據集還挺小，訓練起來挺準的

中間的數組是裁剪的參數



paddle-Lite快速部署





文檔網站



實戰：

總結

以上是生活随笔為你收集整理的飞桨第六课 2020.4.5的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。