先給出Seq2Seq Attention的計算過程的截圖，來源于知乎Yuanche.Sh的題為真正的完全圖解Seq2Seq Attention模型的文章，也希望你閱讀了我的上一篇文章：Seq2Seq Attention(這三篇就夠了，精心發掘整理)
這樣對Seq2Seq Attention會有一個比較基礎全面的認識。為了進一步加深對于Seq2Seq Attention的認識，我們還需要搞懂，Seq2Seq Attention數據輸入輸出維度的變化。


上述流程圖是常見的一種Seq2Seq Attention，雖然Attention有多種，但是我們搞懂一種維度的變化后，那么其它的類似。這里我采用具體的數據來說明，這樣更直觀一些。我們從第一步開始看，假設輸入數據xt的形狀是[N,100]，其中N表示batch_size,表示批次大小，也即一個批次含有的句子數目，這里我們沒有給出具體是多少，但是不影響接下來的理解，100為input_dim也就是輸入數據的維度。ht-1為時刻t-1的狀態，形狀為[N,128],其中，128為RNN中的神經元數目，也就是Encoder神經網絡輸出的維度大小。ht的形狀當然和ht-1是一樣的。這里你可能會問，xt的形狀和ht-1不一樣，如何一起運算呢？其實這個(1)式省略了系數矩陣，完整的應該是這樣子的：

這里U的形狀為[100,128],W的形狀為[128,128],也就是說，通過一個系數矩陣U，把原來形狀為[N,100]的輸入數據xt轉換成了[N,128],所以說，輸入數據其實無論什么維度，都可以很方便的找到對應的轉換矩陣將之轉換為我們神經網絡所需要的形狀。

再看第二步，由于Decoder網絡的第一個隱狀態s0就是Encoder網絡最后一個時刻的隱狀態，在Seq2Seq中就是我們常見的c，所以Decoder網絡隱狀態的形狀和Encoder的隱狀態的形狀是完全一樣的。即st-1和st的形狀均為[N,128],而y是我們的目標單詞(Target word)所生成的word embedding，也就是一個詞向量，和xt很類似，為了統一，我們也可以將y的維度設為[N,100]。這里和(1)式一樣，也隱藏了系數矩陣。

對于計算Attention的(3),(4),(5)步，我們首先從(5)步說起，這一步作用是計算Attention score，這一步的方式有多種，但是搞懂一種，其它方式的類似。我們這里采取了

hj和si-1的形狀均是[N,128],所以W1和W2形狀也一樣。其中，j和i分別表示Encoder和Decoder的時間序列的時刻。這里有兩種做法，一種是W1和W2的形狀都是[128,128]，這樣得到的eij的形狀為[N,128]，另一種W1和W2的形狀都是[128,1],這樣的話，eij的形狀便為[1，1]，其實就是一個單個的值了。理論上這兩種方法都是可以的，但是前者保留了更細致的維度信息，所以效果可能稍好些，所以也最常用，但是相應的計算量會增加。我們這里采用第一種，這樣便得到了eij的形狀為[N,128].

再看第(4)步，由于分子分母的形狀均是[N,128],，所以αij的大小也為[N,128],通過點乘和累加的方式得到的ct形狀同樣是[N,128]。

(6),(7)步就比較好理解了，每個參數的形狀均是 [N,128]，這里的y<t表示y0,y1…yt-1.

需要注意的是，(7)步只是得到了目標單詞(target word)的概率分布，而得到具體的單詞還需要更近一步，就是將此概率分布設為Ot，也即:

則具體的單詞通過下式求得：

這個公式表示只取概率最大值對應的那一個單詞的索引。Yt的形狀變為[1,1],也就是一個單獨的單詞索引。通過這個索引我們在字典中可以查到相應的單詞：

總結

以上是生活随笔為你收集整理的Seq2Seq Attention输入输出维度分析(最全面细致)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。