Attention基本公式及其變種

一元@煉丹筆記

目前的諸多機(jī)器學(xué)習(xí)相關(guān)的問(wèn)題，諸如推薦問(wèn)題中的序列處理，時(shí)間序列的預(yù)測(cè)，文本分類(lèi)等問(wèn)題都會(huì)涉及到Attention函數(shù)的使用，Attention已經(jīng)成為了這些問(wèn)題在建模時(shí)的最為核心的模塊。

而我們?cè)趯?shí)踐的過(guò)程中發(fā)現(xiàn)，attention計(jì)算方式的不同對(duì)于不同的問(wèn)題會(huì)有些許影響,有的時(shí)候影響還很大，所以在本文我們看看有哪些常用的attention函數(shù)。

1.softmax函數(shù)

softmax函數(shù)是使用最多的函數(shù)也是最為常見(jiàn)的函數(shù)，在實(shí)踐中往往也可以取得不錯(cuò)的效果。

2.TopN softmax

同樣地，也是先使用softmax函數(shù)進(jìn)行計(jì)算，然后取softmax最大的N個(gè)值進(jìn)行保留，將其它的值全部設(shè)置為0，該方法曾經(jīng)出現(xiàn)在一些推薦相關(guān)的問(wèn)題建模中，可以取得非常不錯(cuò)的效果。

Attention函數(shù)手冊(cè)！

總結(jié)

以上是生活随笔為你收集整理的Attention函数手册的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。