模型压缩
模型壓縮
PaddleSlim是一個模型壓縮工具庫,包含模型剪裁、定點量化、知識蒸餾、超參搜索和模型結構搜索等一系列模型壓縮策略。
對于業務用戶,PaddleSlim提供完整的模型壓縮解決方案,可用于圖像分類、檢測、分割等各種類型的視覺場景。 同時也在持續探索NLP領域模型的壓縮方案。另外,PaddleSlim提供且在不斷完善各種壓縮策略在經典開源任務的benchmark, 以便業務用戶參考。
對于模型壓縮算法研究者或開發者,PaddleSlim提供各種壓縮策略的底層輔助接口,方便用戶復現、調研和使用最新論文方法。 PaddleSlim會從底層能力、技術咨詢合作和業務場景等角度支持開發者進行模型壓縮策略相關的創新工作。
功能
? 模型剪裁
o 卷積通道均勻剪裁
o 基于敏感度的卷積通道剪裁
o 基于進化算法的自動剪裁
? 定點量化
o 在線量化訓練(training aware)
o 離線量化(post training)
? 知識蒸餾
o 支持單進程知識蒸餾
o 支持多進程分布式知識蒸餾
? 神經網絡結構自動搜索(NAS)
o 支持基于進化算法的輕量神經網絡結構自動搜索
o 支持One-Shot網絡結構自動搜索
o 支持 FLOPS / 硬件延時約束
o 支持多平臺模型延時評估
o 支持用戶自定義搜索算法和搜索空間
安裝
依賴:
Paddle >= 1.7.0
pip install paddleslim -i https://pypi.org/simple
使用
? 快速開始:通過簡單示例介紹如何快速使用PaddleSlim。
? 進階教程:PaddleSlim高階教程。
? 模型庫:各個壓縮策略在圖像分類、目標檢測和圖像語義分割模型上的實驗結論,包括模型精度、預測速度和可供下載的預訓練模型。
? API文檔
? Paddle檢測庫:介紹如何在檢測庫中使用PaddleSlim。
? Paddle分割庫:介紹如何在分割庫中使用PaddleSlim。
? PaddleLite:介紹如何使用預測庫PaddleLite部署PaddleSlim產出的模型。
部分壓縮策略效果
分類模型
數據: ImageNet2012; 模型: MobileNetV1;
數據:Pascal VOC;模型:MobileNet-V1-YOLOv3
數據:COCO;模型:MobileNet-V1-YOLOv3
搜索
數據:ImageNet2012; 模型:MobileNetV2
總結
- 上一篇: AI框架外部用户贡献代码
- 下一篇: 如何写新的C++ OP