MindSpore Lite整体架构介绍
生活随笔
收集整理的這篇文章主要介紹了
MindSpore Lite整体架构介绍
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
MindSpore Lite整體架構介紹
MindSpore Lite框架的總體架構如下所示:
? 前端(Frontend): 負責模型生成,用戶可以通過模型構建接口構建模型,將第三方模型和MindSpore訓練的模型轉換為MindSpore Lite模型,其中第三方模型包括TensorFlow Lite、Caffe 1.0和ONNX模型。
? IR: 負責MindSpore的Tensor定義、算子定義和圖定義。
? Backend: 基于IR進行圖優化,包括GHLO、GLLO和量化三部分。其中,GHLO負責和硬件無關的優化,如算子融合、常量折疊等;GLLO負責與硬件相關的優化;量化Quantizer支持權重量化、激活值量化等訓練后量化手段。
? Runtime: 智能終端的推理運行時,其中session負責會話管理,提供對外接口;線程池和并行原語負責圖執行使用的線程池管理,內存分配負責圖執行中各個算子的內存復用,算子庫提供CPU、GPU和NPU算子。
? Micro: IoT設備的運行時,包括模型生成.c文件、線程池、內存復用和算子庫。
其中,Runtime和Micro共享底層的算子庫、內存分配、線程池、并行原語等基礎設施層。
總結
以上是生活随笔為你收集整理的MindSpore Lite整体架构介绍的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MindSpore整体架构介绍
- 下一篇: MindInsight训练可视整体设计介