目錄：
自注意力機(jī)制Self-attention（1）
自注意力機(jī)制Self-attention（2）

1 內(nèi)容回顧

以$b^2$的計算過程為例來說明：
query： $q^1=W^q{a}^1$, $q^2=W^q{a}^2$, $q^3=W^q{a}^3$, $q^4=W^q{a}^4$;
key：$k^1=W^k{a}^1$, $k^2=W^k{a}^2$, $k^3=W^k{a}^3$，$k^4=W^k{a}^4$;
value：$v^1=W^v{a}^1$, $v^2=W^v{a}^2$, $v^3=W^v{a}^3$, $v^4=W^v{a}^4$;
attention score：${\alpha }_{2,1}=q^2?k^1$, ${\alpha }_{2,2}=q^2?k^2$, ${\alpha }_{2,3}=q^2?k^3$, ${\alpha }_{2,4}=q^2?k^4$;
Soft-max：${\alpha }_{2,1}^{{}^{\prime }}=\frac{\exp ({\alpha }_{2,1})}{{\sum }_j\exp ({\alpha }_{2,j})}$, ${\alpha }_{2,2}^{{}^{\prime }}=\frac{\exp ({\alpha }_{2,2})}{{\sum }_j\exp ({\alpha }_{2,j})}$, ${\alpha }_{2,3}^{{}^{\prime }}=\frac{\exp ({\alpha }_{2,3})}{{\sum }_j\exp ({\alpha }_{2,j})}$, ${\alpha }_{2,2}^{{}^{\prime }}=\frac{\exp ({\alpha }_{2,4})}{{\sum }_j\exp ({\alpha }_{2,j})}$;
$b^2={\alpha }_{2,1}^{{}^{\prime }}{v}^1+{\alpha }_{2,2}^{{}^{\prime }}{v}^2+{\alpha }_{2,3}^{{}^{\prime }}{v}^3+{\alpha }_{2,4}^{{}^{\prime }}{v}^4={\sum }_i{\alpha }_{2,i}^{{}^{\prime }}{v}^i$.
問：$a^1,\dots ,a^4$是什么？
答：就是輸入的一組向量，如經(jīng)過編碼后的“I saw a saw”。
問：$W^q$, $W^k$, $W^v$是什么？
答：矩陣，需要通過學(xué)習(xí)得到。

下面通過矩陣操作進(jìn)一步來回顧自注意力機(jī)制的計算過程。

查詢矩陣：$Q=W^{q}I$;
關(guān)鍵字矩陣：$K=W^{k}I$;
值矩陣：$V=W^{v}I$.

注意力分?jǐn)?shù)矩陣：$A=K^{T}Q$;
進(jìn)行Soft-max：$A^{{}^{\prime }}=softmax(A)$;

$O=V{A}^{{}^{\prime }}$

唯一需要學(xué)的參數(shù)是$W^q$, $W^k$, $W^v$。

總結(jié)

以上是生活随笔為你收集整理的自注意力机制Self-attention（2）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。