自然語言處理NLP星空智能對話機器人系列：理解語言的 Transformer 模型

本文是將葡萄牙語翻譯成英語的一個高級示例。

目錄

• 安裝部署 Tensorflow
• 設置輸入pipeline
• 從訓練數(shù)據集創(chuàng)建自定義子詞分詞器subwords tokenizer
• 如果單詞不在詞典中，則分詞器（tokenizer）通過將單詞分解為子詞來對字符串進行編碼。
• 將開始和結束標記（token）添加到輸入和目標
• 為了使示例較小且相對較快，刪除長度大于40個標記的樣本
• 附錄 最終的運行結果
• 參考文獻
• 星空智能對話機器人系列博客

安裝部署 Tensorflow

import tensorflow_datasets as tfds import tensorflow as tf

總結

以上是生活随笔為你收集整理的自然语言处理NLP星空智能对话机器人系列：理解语言的 Transformer 模型-子词分词器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。