Attention技術在 NLP 模型中幾乎已經成了不可或缺的重要組成部分，最早Attention主要應用在機器翻譯中起到了文本對齊的作用，比如下圖，Attention 矩陣會將 法語的 La Syrie 和英語的 Syrie 對齊，Attention 機制極大的提升了機器翻譯模型的性能。

attention 文本對齊

而最近各種花式的Attention機制相繼被提出，同時這些Attention機制也不斷的刷新著各種NLP任務的SOTA（state of the art）。Attention 機制 一般用于RNN，其主要思想是引入一個外部的權重得分值，對RNN每個時刻Cell的輸出做一個重要度打分。由于RNN本質上還是一個特征抽取的過程，所以Attention機制的目標是幫助我們自動找出RNN的哪個時刻Cell的輸出是強特，如果是RNN的輸入是一個句子，我們就希望Attention機制能夠幫我們找出，句子中的哪個詞是比較關鍵的詞 。通俗的說法就是Attention機制使模型在做任務時，將注意力主要集中在了對任務有幫助的的重要的特征上面。

 

廣義的Attention機制

盡管上文通過RNN 引出了Attention這個概念，但是它并不是只適用于RNN

總結

以上是生活随笔為你收集整理的keras 实战系列之Self-Attention详细解析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。