seq2seq模型

seq2seq模型是由encoder，decoder兩部分組成的。
encoder，decoder可以由CNN，RNN，Transformer三種結構模型中的一種。
引用seq2seq模型詳解

attention

seq2seq模型的編碼與解碼的連接點僅僅是編碼單元輸出的隱含向量，總是缺少更多的有用的信息。attention就是希望能夠在解碼每個單詞的時候能夠考慮到之前編碼器中重要的隱含向量，而不僅僅是最后的隱含向量。
注意力機制就是對輸入權重分配的關注，最開始使用到注意力機制是在編碼器-解碼器(encoder-decoder)中, 注意力機制通過對編碼器所有時間步的隱藏狀態做加權平均來得到下一層的輸入變量

總結

以上是生活随笔為你收集整理的自然语言处理基础概念的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。