今年 5 月，谷歌曾在 I/O 大會上宣布即將推出 TensorFlow Lite，現在，谷歌終于發布了新工具的開發者預覽版本，這是一款 TensorFlow 用于移動設備和嵌入式設備的輕量級解決方案。

TensorFlow 可以在多個平臺上運行，從機架式服務器到小型 IoT 設備。但是隨著近年來機器學習模型的廣泛使用，出現了在移動和嵌入式設備上部署它們的需求。而 TensorFlow Lite 允許設備端的機器學習模型的低延遲推斷。在本文中，TensorFlow 團隊將向我們介紹 TensorFlow Lite 的特點，并展示一個可用的輕量級模型。

設計初衷

• 輕量級：允許小 binary size 和快速初始化／啟動的設備端機器學習模型進行推斷。

• 跨平臺：運行時的設計使其可以在不同的平臺上運行，最先允許的平臺是安卓和 iOS。

• 快速：專為移動設備進行優化，包括大幅提升模型加載時間，支持硬件加速。

現在，越來越多移動設備內置了專門的自定義硬件以高效處理機器學習工作負載。TensorFlow Lite 支持安卓神經網絡 API，以充分利用新的可用加速器。

當加速器硬件不可用時，TensorFlow Lite 返回至經優化的 CPU 執行操作，確保模型仍然可在大量設備上快速運行。

架構

下圖展示了 TensorFlow Lite 的架構設計：

組件包括

• TensorFlow 模型（TensorFlow Model）：訓練后的 TensorFlow 模型，保存在磁盤中。

• TensorFlow Lite 轉換器（TensorFlow Lite Converter）：該程序將模型轉換成 TensorFlow Lite 文件格式。

• TensorFlow Lite 模型文件（TensorFlow Lite Model File）：該格式基于 FlatBuffers，經過優化以適應最大速度和最小規模。

然后將 TensorFlow Lite 模型文件部署到移動 App 中：

• Java API：安卓設備上適用于 C++ API 的便利封裝。

• C++ API：加載 TensorFlow Lite 模型文件，啟動編譯器。安卓和 iOS 設備上均有同樣的庫。

• 編譯器（Interpreter）：使用運算符執行模型。解釋器支持選擇性加載運算符；沒有運算符時，編譯器只有 70KB，加載所有運算符后，編譯器為 300KB。這比 TensorFlow Mobile（具備一整套運算符）的 1.5M 要小得多。

• 在選擇的安卓設備上，編譯器將使用安卓神經網絡 API 進行硬件加速，或者在無可用 API 的情況下默認執行 CPU。

開發者還使用 C++ API 實現自定義 kernel，它可被解釋器使用。

模型

TensorFlow Lite 已經支持多個面向移動端訓練和優化的模型：

• MobileNet：一種能夠識別超過 1000 種不同物體的視覺模型，專為移動端和嵌入式設備設計；

• Inception V3：一種圖像識別模型，功能上類似于 MobileNet，但能提供更高的準確率（當然模型也更大）；

• Smart Reply：一種設備端對話模型，能對接收到的會話聊天信息提供觸發性應答。第一方和第三方通信 App 可在 Android Wear 上使用該特性。

Inception v3 和 MobileNet 都在 ImageNet 數據集上訓練過，你可以通過遷移學習輕松地在自己的圖像數據集上重新訓練這些模型。

關于 TensorFlow Mobile API

如你所知，TensorFlow 已經支持通過 TensorFlow Mobile API 在移動端和嵌入端部署模型。進一步來說，TensorFlow Lite 可以看作 TensorFlow Mobile 的升級，它成熟之后，就可以作為在移動設備、嵌入設備上部署模型的首要推薦。此次公開的 TensorFlow Lite 是開發者預覽版，而 TensorFlow Mobile 依舊支持 APP 開發。

關于 TensorFlow Lite 更多信息請參見：http://tensorflow.org/mobile/tflite。

來源：機器之心

總結

以上是生活随笔為你收集整理的TensorFlow Lite 正式发布，谷歌移动端深度学习框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。