TensorFlow Lite是開源深度學習框架TensorFlow的輕量級方案，支持設備內置的會話建模，來將智能會話功能插入到聊天應用。TensorFlow團隊最近發布了TensorFlow Lite的開發者預覽版本，可以在移動和嵌入式設備中使用。

\\

在過去的幾年中，在移動和嵌入式設備上部署機器學習模型的需求持續增長。今年早些時候，谷歌團隊發布了Android Wear 2.0技術，將谷歌助手帶到了您的手腕上。這是第一個針對智能通訊的設備內置機器學習技術，也讓基于云的類似Smart Reply（已經在Gmail、Inbox和Allo可用）的技術，能夠不連接到云就直接在應用中使用。

\\

TensorFlow已經應用在從服務器到物聯網設備的許多平臺上。現在，TensorFlow Lite可以用來，使得設備內置的機器學習模型，能夠進行低延遲的推理。TensorFlow Lite被設計成輕量和跨平臺的，使得可以運行在不同的平臺上，首先是Android平臺和iOS平臺。它使用了各種低延遲的技術，例如優化移動應用的內核、預融合激活（pre-fused)以及允許更小和更快（定點數學）模型的量化內核。

\\

重點要提的是，TensorFlow已經支持TensorFlow Mobile API，后者被移動和嵌入式設備中部署的機器學習模型使用。TensorFlow Lite是TensorFlow Mobile的演化版，隨著它逐漸發展成熟，它會成為在設備上部署模型的推薦方案。

\\

TensorFlow Lite的架構設計包括以下組件：

\\

• TensorFlow Model: 一個保存在硬盤上的訓練過的TensorFlow模型。\\t
• Converter: 這個程序將模型轉換成TensorFlow Lite文件格式。\\t
• Model File: 一份基于FlatBuffers格式的優化了速度和大小的模版文件。\

TensorFlow Lite支持用Android Neural Networks API進行硬件加速。它還支持不同的模型，例如MobileNet、Inception v3和Smart Reply。

\\

設備內置的會話建模

\\

作為TensorFlow Lite庫的一部分，TensorFlow團隊還已經發布了一個設備內置的會話模型和一個使用自然語言應用例子的樣本應用。開發者和研究人員可以通過這個應用來構建新的基于設備內置推理的機器智能功能。這個模型使用可以輕松插入到聊天應用的推理功能，生成回復建議，來輸入會話聊天消息。這種推理需要會話智能功能。

\\

這個會話模型使用了一種用來訓練緊湊型神經網絡的新的機器學習架構。這種架構基于一個聯合的優化框架，這種框架在Sujith Ravi關于使用神經投射的設備內置深度網絡的調研報告有所討論。這種架構使用高效的“投射”操作，將輸入轉換成一個緊湊的位向量表示。相似的輸入被投射到相近的向量，而向量的密集或稀疏取決于投射的類型。例如，像“嗨，現在怎么樣了”和“伙計，現在怎么樣了“的消息，可能會被投射到相同的向量表示。

\\

這個設備內置模型被使用一個機器學習框架進行端到端的訓練。這個機器學習框架，混合訓練兩種類型的模型：一種緊湊的投射模型和一種訓練者模型。這個模型被訓練之后，投射模型可以直接用來在設備上進行推理。

\\

在未來的版本中，TensorFlow Lite會支持更多模型和內置操作，提高定點和浮點模型的性能。

\\

TensorFlow Lite開發者預覽版本的文檔、代碼示例、應用樣本都可以在GitHub上查看。你還可以找到被這個會話模型使用的樣本消息列表。

\\

查看英文原文：TensorFlow Lite Supports On-Device Conversational Modeling

\\

---

感謝羅遠航對本文的審校。

\\

給InfoQ中文站投稿或者參與內容翻譯工作，請郵件至editors@cn.infoq.com。也歡迎大家通過新浪微博（@InfoQ，@丁曉昀），微信（微信號：InfoQChina）關注我們。

總結

以上是生活随笔為你收集整理的TensorFlow Lite支持设备内置会话建模的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。