注意力機制的兩種形式：
一、additive attention(tensorflow里面稱為Bahdanau attention)
? ? ? ?這種機制的定義引用了論文https://arxiv.org/pdf/1409.0473.pdf

該注意力機制最顯著的特征就是Q與K的對齊函數使用了一層神經網絡；

二、第二種機制dot-product attention(multiplicative/Luong?? ?attention)

?這種機制引用 attention is all your need論文中解釋：

這種機制最顯著的特征就是Q與K的對齊函數直接點乘；

從其他地方有一個統計，如下所示：

注意力機制理解好文：Attention Mechanism?

總結

以上是生活随笔為你收集整理的注意力机制的两种形式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。