Vision Transformer在一些任務(wù)上超越了CNN，得益于全局信息的聚合。在ViT論文中，作者引入了一個(gè)cls_token作為分類特征。

如果沒有cls_token，我們使用哪個(gè)patch token做分類呢？根據(jù)自注意機(jī)制，每個(gè)patch token一定程度上聚合了全局信息，但是主要是自身特征。ViT論文還使用了所有token取平均的方式，這意味每個(gè)patch對預(yù)測的貢獻(xiàn)相同，似乎不太合理。實(shí)際上，這樣做的效果基本和引入cls_token差不多。

cls_token的作用

• cls_token與圖像無關(guān)。它是隨機(jī)生成的，不基于圖像內(nèi)容，因此可以避免對sequence中某個(gè)特定token的偏向性。
• cls_token 對所有其他token上的信息做匯聚（全局特征聚合），cls_token（第0個(gè)token）使用固定的位置編碼能夠避免輸出受到位置編碼的干擾。
• 采用attention機(jī)制來做全局特征聚合而言表達(dá)能力比token取平均的方式更強(qiáng)。因?yàn)椴捎胊ttention機(jī)制來做特征聚合，能夠根據(jù)query和key之間的關(guān)系來自適應(yīng)地調(diào)整特征聚合的權(quán)重，而采用求平均的方式的權(quán)重是相同的。

總結(jié)

以上是生活随笔為你收集整理的ViT为何引入cls_token的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。