前言

谷歌于2017年提出 Transformer網絡架構，此網絡一經推出就引爆學術界。目前，在NLP領域，Transformer模型被認為是比CNN，RNN都要更強的特征提取器。

Transformer算法簡介

Transformer引入了self-attention機制，同時還借鑒了CNN領域中殘差機制（Residuals），由于以上原因導致transformer有如下優勢：

• 模型表達能力較強，由于self-attention機制考慮到了句子之中詞與詞之間的關聯，
• 拋棄了RNN的循環結構，同時借用了CNN中的殘差結構加快了模型的訓練速度。

接下來我們來看看transformer的一些細節：

• 首先Scaled Dot-Product Attention步驟是transformer的精髓所在，作者引入Q，W，V參數通過點乘相識度去計算句子中詞與詞之間的關聯重要程度。其大致過程如圖所示，博主將會在實戰部分具體介紹此過程如何實現。

   

  Scaled Dot-Product Attention

• 第二個是muti-head步驟，直白的解釋就是將上面

總結

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（十一）-Google利器超强特征提取网络（Transformer）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。