?作者｜王廷宇

學(xué)校｜杭州電子科技大學(xué)博士生

研究方向｜交叉視角地理定位

本文介紹了杭州電子科技大學(xué)（HDU），悉尼科技大學(xué)（UTS）被 IEEE Transactions on Circuits and Systems for Video Technology （TCSVT）錄用的文章《Each Part Matters: Local Patterns Facilitate Cross-View Geo-Localization》。

交叉視角地理定位被廣泛應(yīng)用在精準(zhǔn)遞送、自動(dòng)駕駛、機(jī)器人導(dǎo)航和事件檢測(cè)等領(lǐng)域。如今，無人機(jī)已逐漸走入人們生活當(dāng)中，如無人機(jī)快遞，無人機(jī)事件監(jiān)測(cè)等任務(wù)，都要求無人機(jī)能夠?qū)崿F(xiàn)一個(gè)較為精確的目標(biāo)定位。

現(xiàn)存的大部分無人機(jī)定位任務(wù)都依靠 GPS 實(shí)現(xiàn)，但 GPS 定位或多或少存在一些位置偏移。為了使定位更精確，文章使用《University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization》提供的多平臺(tái)多視角無人機(jī)圖像檢索數(shù)據(jù)集（簡(jiǎn)介），探索利用目標(biāo)圖像及其周圍上下文信息，輔助 GPS 信號(hào)，實(shí)現(xiàn)精準(zhǔn)定位。

論文地址：

https://arxiv.org/abs/2008.11646

代碼地址：

https://github.com/wtyhub/LPN

文章的主要貢獻(xiàn)

• 提出了一種簡(jiǎn)單有效的模型（LPN），不同于以前工作，其顯示利用了圖像目標(biāo)周圍的上下文信息。

• 該模型提出的環(huán)形分割策略，對(duì)圖像的旋轉(zhuǎn)具有較好的魯棒性。

• 該模型提出的劃分策略可互補(bǔ)的運(yùn)用到現(xiàn)有的方法中，并進(jìn)一步提升現(xiàn)有網(wǎng)絡(luò)的性能。

方法具體實(shí)現(xiàn)

2.1 特征提取

文章特征提取網(wǎng)絡(luò)共有三個(gè)分支，分別輸入來自不同視角（即衛(wèi)星、無人機(jī)和地面視角）的圖像。其中，衛(wèi)星視角和無人機(jī)視角共享一個(gè)分支。地面視角圖像單獨(dú)一個(gè)分支。由于地面視角與空中視角具有較大的差異，且地面視角圖像的視野范圍較窄，遮擋較多，文章中將地面圖像作為對(duì)網(wǎng)絡(luò)的正則，防止網(wǎng)絡(luò)訓(xùn)練出現(xiàn)過擬合。

2.2 特征劃分策略

受 LBP 算子的啟發(fā)，文章提出了一種環(huán)形劃分策略。此策略在特征層面上將圖像劃分為四個(gè)不重疊的區(qū)域。中心區(qū)域認(rèn)為使地理目標(biāo)，其他區(qū)域?yàn)槟繕?biāo)周圍由近及遠(yuǎn)的周圍上下文信息。此種劃分策略的優(yōu)勢(shì)在于，即便兩張圖像的方向不同，但其周圍的上下文信息，仍可大致分在同一相對(duì)區(qū)域中。由此，網(wǎng)絡(luò)對(duì)于圖像的旋轉(zhuǎn)便可具有一定的魯棒性。

2.3 網(wǎng)絡(luò)優(yōu)化

在訓(xùn)練階段，文章采用 instance loss 對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，其為一種分類任務(wù)損失函數(shù)。具體表示為，文章將交叉視角目標(biāo)定位看做是一個(gè)分類任務(wù)，每一個(gè)地理目標(biāo)看作是一個(gè)類別。不同分支的圖像都經(jīng)過同一個(gè)分類器，具有相同類別的圖像被分類器映射到同一類當(dāng)中，從而實(shí)現(xiàn)不同視角相同目標(biāo)圖像的匹配。

與傳統(tǒng)分類任務(wù)不同的是，網(wǎng)絡(luò)測(cè)試所用到的地理目標(biāo)圖像并不會(huì)在訓(xùn)練集中出現(xiàn)，即訓(xùn)練集和測(cè)試集是不相交的，網(wǎng)絡(luò)仍然通過計(jì)算不同視角圖像的歐式距離或著余弦距離來判斷是否成功定位到所在目標(biāo)。

▲ loss函數(shù)

2.4 劃分策略在現(xiàn)有方法上的應(yīng)用

文章提出的劃分策略也使得現(xiàn)有方法的精度得到了進(jìn)一步的提升。由于現(xiàn)有方法所采用數(shù)據(jù)集（CVUSA/CVACT）與本文章所使用的 University-1652 數(shù)據(jù)集表示形式不同，故文章對(duì)提出的劃分策略進(jìn)行了合理的變化，以適應(yīng)不同的方法。

具體表述為，當(dāng)輸入圖像對(duì)為衛(wèi)星圖和地面全景圖時(shí)，文章根據(jù)全景圖和衛(wèi)星圖的對(duì)應(yīng)幾何關(guān)系，將在全景圖上的劃分方式變?yōu)闄M向劃分。而當(dāng)衛(wèi)星和地面輸入圖像都為全景圖形式時(shí)，文章簡(jiǎn)化環(huán)形劃分策略為更適合全景圖信息提取的豎向劃分形式。

▲ 不同劃分策略

實(shí)驗(yàn)結(jié)果

1. 與基準(zhǔn)及采用不同損失函數(shù)訓(xùn)練結(jié)果在 University-1652 數(shù)據(jù)集上的比較，文章的方法相比基準(zhǔn)方法，具有明顯的提升。

2. 文章提出方法在 CVUSA/CVACT 數(shù)據(jù)集上的表現(xiàn)。通過表格可以發(fā)現(xiàn)，現(xiàn)有方法加上文章提出的劃分策略，定位精度達(dá)到了 SOTA。

3. 此外，文章中還提供了充足的消融實(shí)驗(yàn)，如特征劃分塊數(shù)的分析；測(cè)試時(shí)，query 圖像旋轉(zhuǎn)對(duì)檢索精度的影響等實(shí)驗(yàn)。通過實(shí)驗(yàn)結(jié)果，進(jìn)一步說明了文章提出方法的有效性和魯棒性。

4. 文章方法與基準(zhǔn)方法的熱力圖可視化，通過可視化熱力圖可以發(fā)現(xiàn)，文章提出的方法使網(wǎng)絡(luò)學(xué)習(xí)到了更多的圖像上下文特征。

5. 最后，文章給出一些定性結(jié)果的展示，左邊為 query 圖像，右邊為在 gallery 中檢索到的目標(biāo)圖像。

6. University-1652 數(shù)據(jù)集介紹：

https://zhuanlan.zhihu.com/p/110987552

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的TCSVT | 横看成岭侧成峰：交叉视角地理定位的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。