與nlp相關的模型概覽

• word2vec
• • CBOW
  • Skip-Gram
• Doc2Vec
• RNN、LSTM、GRU
• • 循環神經網絡RNN
  • 長短期記憶神經網絡（Long Short Term Memory，LSTM）
  • 門控循環單元（Gated Recurrent Unit，GRU）
• 機器翻譯
• • Encoder-Decoder
  • Attention-based Encoder-Decoder
  • • Global Attention
    • Local Attention
    • Self Attention
    • Hierarchical Attention
  • Bi-Directional Encode layer
  • Residual Encode layer
  • 總結
• Image Caption
• Transformer
• Bert(Bidirectional Encoder Representations from Transformers)
• 分詞
• • 基于BiLSTM+CRF的分詞系統
• 文本分類
• • 簡單模型
  • LSTM
  • 雙向RNN+殘差網絡
  • 堆疊循環神經網絡
  • CNN
  • lstm-attention

word2vec

CBOW

Skip-Gram

Doc2Vec

RNN、LSTM、GRU

循環神經網絡RNN

長短期記憶神經網絡（Long Short Term Memory，LSTM）

計算量大

門控循環單元（Gated Recurrent Unit，GRU）

相比LSTM, 計算量小一些

機器翻譯

Encoder-Decoder

Attention-based Encoder-Decoder

Global Attention

encoder的全部信息

Local Attention

encoder的局部信息

Self Attention

傳統的attention只有source（encoder）和target（decoder）之間的關聯關系，忽略了source和target端分別的關聯關系，Self Attention可以捕捉到詞與詞之間的關系。

Hierarchical Attention

Bi-Directional Encode layer

Residual Encode layer

總結

Image Caption

Transformer

http://nlp.seas.harvard.edu/2018/04/03/attention.html

Bert(Bidirectional Encoder Representations from Transformers)

分詞

基于BiLSTM+CRF的分詞系統

文本分類

簡單模型

LSTM

雙向RNN+殘差網絡

堆疊循環神經網絡

堆疊的目的：
底層rnn捕捉的是基本的信息，如：詞的含義或者詞性
高層rnn捕捉的是更深層次的信息，如：語義

CNN

lstm-attention

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的与nlp相关的模型概览的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。