文字預處理

在文字的建模實踐中，一般需要把原始文字拆解成單字、單詞或者詞組，然后將這些拆分的要素進行索引，標記化供機器學習算法使用。這種預處理叫做標注（Tokenize）。雖然這些功能都可以用python實現，但是Keras提供了現成的方法。

對于keras全部封裝在text中

分詞器

Tokenizer

keras.preprocessing.text.Tokenizer(num_words=None, filters='!"#$%&()*+,-.

總結

以上是生活随笔為你收集整理的tf_text的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。