PaddlePaddle推理部署
生活随笔
收集整理的這篇文章主要介紹了
PaddlePaddle推理部署
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
PaddlePaddle推理部署
飛槳推理產品簡介
作為飛槳生態重要的一部分,飛槳提供了多個推理產品,完整承接深度學習模型應用的最后一公里。
整體上分,推理產品主要包括如下子產品
各產品在推理生態中的關系如下
用戶使用飛槳推理產品的工作流 如下
- 獲取一個飛槳的推理模型,其中有兩種方法
i. 利用飛槳訓練得到一個推理模型
ii. 用 X2Paddle 工具從第三方框架(比如 TensorFlow 或者 Caffe 等)產出的模型轉化 - (可選)對模型進行進一步優化, PaddleSlim 工具可以對模型進行壓縮,量化,裁剪等工作,顯著提升模型執行的速度性能,降低資源消耗
- 將模型部署到具體的推理產品上
總結
以上是生活随笔為你收集整理的PaddlePaddle推理部署的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: TVMNN编译Compiler栈
- 下一篇: CPU/GPU/TPU/NPU...XP