TensorFlow Lite是開(kāi)源深度學(xué)習(xí)框架TensorFlow的輕量級(jí)方案，支持設(shè)備內(nèi)置的會(huì)話建模，來(lái)將智能會(huì)話功能插入到聊天應(yīng)用。TensorFlow團(tuán)隊(duì)最近發(fā)布了TensorFlow Lite的開(kāi)發(fā)者預(yù)覽版本，可以在移動(dòng)和嵌入式設(shè)備中使用。

\\

在過(guò)去的幾年中，在移動(dòng)和嵌入式設(shè)備上部署機(jī)器學(xué)習(xí)模型的需求持續(xù)增長(zhǎng)。今年早些時(shí)候，谷歌團(tuán)隊(duì)發(fā)布了Android Wear 2.0技術(shù)，將谷歌助手帶到了您的手腕上。這是第一個(gè)針對(duì)智能通訊的設(shè)備內(nèi)置機(jī)器學(xué)習(xí)技術(shù)，也讓基于云的類(lèi)似Smart Reply（已經(jīng)在Gmail、Inbox和Allo可用）的技術(shù)，能夠不連接到云就直接在應(yīng)用中使用。

\\

TensorFlow已經(jīng)應(yīng)用在從服務(wù)器到物聯(lián)網(wǎng)設(shè)備的許多平臺(tái)上。現(xiàn)在，TensorFlow Lite可以用來(lái)，使得設(shè)備內(nèi)置的機(jī)器學(xué)習(xí)模型，能夠進(jìn)行低延遲的推理。TensorFlow Lite被設(shè)計(jì)成輕量和跨平臺(tái)的，使得可以運(yùn)行在不同的平臺(tái)上，首先是Android平臺(tái)和iOS平臺(tái)。它使用了各種低延遲的技術(shù)，例如優(yōu)化移動(dòng)應(yīng)用的內(nèi)核、預(yù)融合激活（pre-fused)以及允許更小和更快（定點(diǎn)數(shù)學(xué)）模型的量化內(nèi)核。

\\

重點(diǎn)要提的是，TensorFlow已經(jīng)支持TensorFlow Mobile API，后者被移動(dòng)和嵌入式設(shè)備中部署的機(jī)器學(xué)習(xí)模型使用。TensorFlow Lite是TensorFlow Mobile的演化版，隨著它逐漸發(fā)展成熟，它會(huì)成為在設(shè)備上部署模型的推薦方案。

\\

TensorFlow Lite的架構(gòu)設(shè)計(jì)包括以下組件：

\\

• TensorFlow Model: 一個(gè)保存在硬盤(pán)上的訓(xùn)練過(guò)的TensorFlow模型。\\t
• Converter: 這個(gè)程序?qū)⒛Ｐ娃D(zhuǎn)換成TensorFlow Lite文件格式。\\t
• Model File: 一份基于FlatBuffers格式的優(yōu)化了速度和大小的模版文件。\

TensorFlow Lite支持用Android Neural Networks API進(jìn)行硬件加速。它還支持不同的模型，例如MobileNet、Inception v3和Smart Reply。

\\

設(shè)備內(nèi)置的會(huì)話建模

\\

作為T(mén)ensorFlow Lite庫(kù)的一部分，TensorFlow團(tuán)隊(duì)還已經(jīng)發(fā)布了一個(gè)設(shè)備內(nèi)置的會(huì)話模型和一個(gè)使用自然語(yǔ)言應(yīng)用例子的樣本應(yīng)用。開(kāi)發(fā)者和研究人員可以通過(guò)這個(gè)應(yīng)用來(lái)構(gòu)建新的基于設(shè)備內(nèi)置推理的機(jī)器智能功能。這個(gè)模型使用可以輕松插入到聊天應(yīng)用的推理功能，生成回復(fù)建議，來(lái)輸入會(huì)話聊天消息。這種推理需要會(huì)話智能功能。

\\

這個(gè)會(huì)話模型使用了一種用來(lái)訓(xùn)練緊湊型神經(jīng)網(wǎng)絡(luò)的新的機(jī)器學(xué)習(xí)架構(gòu)。這種架構(gòu)基于一個(gè)聯(lián)合的優(yōu)化框架，這種框架在Sujith Ravi關(guān)于使用神經(jīng)投射的設(shè)備內(nèi)置深度網(wǎng)絡(luò)的調(diào)研報(bào)告有所討論。這種架構(gòu)使用高效的“投射”操作，將輸入轉(zhuǎn)換成一個(gè)緊湊的位向量表示。相似的輸入被投射到相近的向量，而向量的密集或稀疏取決于投射的類(lèi)型。例如，像“嗨，現(xiàn)在怎么樣了”和“伙計(jì)，現(xiàn)在怎么樣了“的消息，可能會(huì)被投射到相同的向量表示。

\\

這個(gè)設(shè)備內(nèi)置模型被使用一個(gè)機(jī)器學(xué)習(xí)框架進(jìn)行端到端的訓(xùn)練。這個(gè)機(jī)器學(xué)習(xí)框架，混合訓(xùn)練兩種類(lèi)型的模型：一種緊湊的投射模型和一種訓(xùn)練者模型。這個(gè)模型被訓(xùn)練之后，投射模型可以直接用來(lái)在設(shè)備上進(jìn)行推理。

\\

在未來(lái)的版本中，TensorFlow Lite會(huì)支持更多模型和內(nèi)置操作，提高定點(diǎn)和浮點(diǎn)模型的性能。

\\

TensorFlow Lite開(kāi)發(fā)者預(yù)覽版本的文檔、代碼示例、應(yīng)用樣本都可以在GitHub上查看。你還可以找到被這個(gè)會(huì)話模型使用的樣本消息列表。

\\

查看英文原文：TensorFlow Lite Supports On-Device Conversational Modeling

\\

---

感謝羅遠(yuǎn)航對(duì)本文的審校。

\\

給InfoQ中文站投稿或者參與內(nèi)容翻譯工作，請(qǐng)郵件至editors@cn.infoq.com。也歡迎大家通過(guò)新浪微博（@InfoQ，@丁曉昀），微信（微信號(hào)：InfoQChina）關(guān)注我們。

總結(jié)

以上是生活随笔為你收集整理的TensorFlow Lite支持设备内置会话建模的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。