作者丨FlyEgle
?編輯丨極市平臺(tái)

論文名稱: CROSSFORMER: A VERSATILE VISION TRANSFORMER BASED ON CROSS-SCALE ATTENTION
論文鏈接: https://arxiv.org/pdf/2108.00154.pdf
論文代碼：https://github.com/cheerss/CrossFormer

1. 出發(fā)點(diǎn)

Transformers模型在處理視覺任務(wù)方面已經(jīng)取得了很大的進(jìn)展。然而，現(xiàn)有的vision transformers仍然不具備一種對(duì)視覺輸入很重要的能力：在不同尺度的特征之間建立注意力。

• 每層的輸入嵌入都是等比例的，沒有跨尺度的特征；
• 一些transformers模型為了減少self-attention的計(jì)算量，衰減了key和value的部分特征表達(dá)。

2. 怎么做

為了解決上面的問題，提出了幾個(gè)模塊。

Cross-scale Embedding Layer (CEL)

Long Short Distance Attention (LSDA)

Dynamic Position Bias (DPB)

這里1和2都是為了彌補(bǔ)了以往架構(gòu)在建立跨尺度注意力方面的缺陷，3的話和上面的問題無關(guān)，是為了使相對(duì)位置偏差更加靈活，更好的適合不定尺寸的圖像和窗口。這篇文章還挺講究，不僅提出兩個(gè)模塊來解決跨尺度特征attention，還附送了一個(gè)模塊來搞一個(gè)搞位置編碼。

閱讀全文：深度探討 CrossFormer 如何解決跨尺度問題

推薦大家關(guān)注極市平臺(tái)公眾號(hào)，每天都會(huì)更新最新的計(jì)算機(jī)視覺論文解讀、綜述盤點(diǎn)、調(diào)參攻略、面試經(jīng)驗(yàn)等干貨~

總結(jié)

以上是生活随笔為你收集整理的深度探讨 CrossFormer 如何解决跨尺度问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。