今年 5 月，谷歌曾在 I/O 大會(huì)上宣布即將推出 TensorFlow Lite，現(xiàn)在，谷歌終于發(fā)布了新工具的開發(fā)者預(yù)覽版本，這是一款 TensorFlow 用于移動(dòng)設(shè)備和嵌入式設(shè)備的輕量級(jí)解決方案。

TensorFlow 可以在多個(gè)平臺(tái)上運(yùn)行，從機(jī)架式服務(wù)器到小型 IoT 設(shè)備。但是隨著近年來機(jī)器學(xué)習(xí)模型的廣泛使用，出現(xiàn)了在移動(dòng)和嵌入式設(shè)備上部署它們的需求。而 TensorFlow Lite 允許設(shè)備端的機(jī)器學(xué)習(xí)模型的低延遲推斷。在本文中，TensorFlow 團(tuán)隊(duì)將向我們介紹 TensorFlow Lite 的特點(diǎn)，并展示一個(gè)可用的輕量級(jí)模型。

設(shè)計(jì)初衷

• 輕量級(jí)：允許小 binary size 和快速初始化／啟動(dòng)的設(shè)備端機(jī)器學(xué)習(xí)模型進(jìn)行推斷。

• 跨平臺(tái)：運(yùn)行時(shí)的設(shè)計(jì)使其可以在不同的平臺(tái)上運(yùn)行，最先允許的平臺(tái)是安卓和 iOS。

• 快速：專為移動(dòng)設(shè)備進(jìn)行優(yōu)化，包括大幅提升模型加載時(shí)間，支持硬件加速。

現(xiàn)在，越來越多移動(dòng)設(shè)備內(nèi)置了專門的自定義硬件以高效處理機(jī)器學(xué)習(xí)工作負(fù)載。TensorFlow Lite 支持安卓神經(jīng)網(wǎng)絡(luò) API，以充分利用新的可用加速器。

當(dāng)加速器硬件不可用時(shí)，TensorFlow Lite 返回至經(jīng)優(yōu)化的 CPU 執(zhí)行操作，確保模型仍然可在大量設(shè)備上快速運(yùn)行。

架構(gòu)

下圖展示了 TensorFlow Lite 的架構(gòu)設(shè)計(jì)：

組件包括

• TensorFlow 模型（TensorFlow Model）：訓(xùn)練后的 TensorFlow 模型，保存在磁盤中。

• TensorFlow Lite 轉(zhuǎn)換器（TensorFlow Lite Converter）：該程序?qū)⒛Ｐ娃D(zhuǎn)換成 TensorFlow Lite 文件格式。

• TensorFlow Lite 模型文件（TensorFlow Lite Model File）：該格式基于 FlatBuffers，經(jīng)過優(yōu)化以適應(yīng)最大速度和最小規(guī)模。

然后將 TensorFlow Lite 模型文件部署到移動(dòng) App 中：

• Java API：安卓設(shè)備上適用于 C++ API 的便利封裝。

• C++ API：加載 TensorFlow Lite 模型文件，啟動(dòng)編譯器。安卓和 iOS 設(shè)備上均有同樣的庫(kù)。

• 編譯器（Interpreter）：使用運(yùn)算符執(zhí)行模型。解釋器支持選擇性加載運(yùn)算符；沒有運(yùn)算符時(shí)，編譯器只有 70KB，加載所有運(yùn)算符后，編譯器為 300KB。這比 TensorFlow Mobile（具備一整套運(yùn)算符）的 1.5M 要小得多。

• 在選擇的安卓設(shè)備上，編譯器將使用安卓神經(jīng)網(wǎng)絡(luò) API 進(jìn)行硬件加速，或者在無可用 API 的情況下默認(rèn)執(zhí)行 CPU。

開發(fā)者還使用 C++ API 實(shí)現(xiàn)自定義 kernel，它可被解釋器使用。

模型

TensorFlow Lite 已經(jīng)支持多個(gè)面向移動(dòng)端訓(xùn)練和優(yōu)化的模型：

• MobileNet：一種能夠識(shí)別超過 1000 種不同物體的視覺模型，專為移動(dòng)端和嵌入式設(shè)備設(shè)計(jì)；

• Inception V3：一種圖像識(shí)別模型，功能上類似于 MobileNet，但能提供更高的準(zhǔn)確率（當(dāng)然模型也更大）；

• Smart Reply：一種設(shè)備端對(duì)話模型，能對(duì)接收到的會(huì)話聊天信息提供觸發(fā)性應(yīng)答。第一方和第三方通信 App 可在 Android Wear 上使用該特性。

Inception v3 和 MobileNet 都在 ImageNet 數(shù)據(jù)集上訓(xùn)練過，你可以通過遷移學(xué)習(xí)輕松地在自己的圖像數(shù)據(jù)集上重新訓(xùn)練這些模型。

關(guān)于 TensorFlow Mobile API

如你所知，TensorFlow 已經(jīng)支持通過 TensorFlow Mobile API 在移動(dòng)端和嵌入端部署模型。進(jìn)一步來說，TensorFlow Lite 可以看作 TensorFlow Mobile 的升級(jí)，它成熟之后，就可以作為在移動(dòng)設(shè)備、嵌入設(shè)備上部署模型的首要推薦。此次公開的 TensorFlow Lite 是開發(fā)者預(yù)覽版，而 TensorFlow Mobile 依舊支持 APP 開發(fā)。

關(guān)于 TensorFlow Lite 更多信息請(qǐng)參見：http://tensorflow.org/mobile/tflite。

來源：機(jī)器之心

總結(jié)

以上是生活随笔為你收集整理的TensorFlow Lite 正式发布，谷歌移动端深度学习框架的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。