目錄

• 簡介
• 動(dòng)機(jī)
• 貢獻(xiàn)
• 方法
• 實(shí)驗(yàn)

簡介

本文出自香港大學(xué)的sibei，二作是中山大學(xué)李冠斌老師
下載鏈接

動(dòng)機(jī)

Phrase level visual grounding具有兩個(gè)challenge：①大量的、可變的視覺內(nèi)容，多樣的短語描述（不同的短語描述可能指向同一個(gè)bbox，eg：穿紅衣服的男子、拉小提琴的男子。。。）；②短語關(guān)系推理中存在明確的引用（順序？）。現(xiàn)有方法分為兩類：①大多數(shù)方法不建模短語之間的關(guān)系，而關(guān)注于特征融合；②少部分方法考慮了短語之間的關(guān)系，但是它們捕獲的是部分（或粗糙）的短語上下文，短語之間沒有明確的語言關(guān)系，如下圖(b)。

貢獻(xiàn)

• 提出關(guān)系傳遞模塊（Relational Propagation Module，RPM），可以基于linguistic relation在phrases pair間傳遞信息；
• 提出一種基于語言結(jié)構(gòu)引導(dǎo)的網(wǎng)絡(luò)，在語言解析圖的指導(dǎo)下，迭代地給名詞短語傳遞跨模態(tài)信息。
• 在Flickr30K Entities數(shù)據(jù)集上測(cè)試，超過了SOTA。

方法

模型的整體框架如下圖所示，處理過程共分為五個(gè)步驟，下面逐一介紹。

①. 對(duì)輸入圖片進(jìn)行編碼，將visual feature$V$和spatial coordinates$P$融合，得到spatial-aware feature$F$。
②. 對(duì)輸入文本進(jìn)行解析，得到linguistic graph$G$，解析方法使用VL15中的方法。
③. 對(duì)于每個(gè)結(jié)點(diǎn)，基于$F$和結(jié)點(diǎn)對(duì)應(yīng)的短語特征$w_n^{{}^{\prime }}$，得到多模態(tài)特征$M$和短語增強(qiáng)圖$S$，這里得到的$M$在不同的迭代輪次中均不改變，作為評(píng)價(jià)anchor boxes置信度的依據(jù)。
④. 使用RPM模塊，在邊上進(jìn)行消息傳遞，得到關(guān)系增強(qiáng)圖$R$，再進(jìn)行結(jié)點(diǎn)信息聚集，得到聯(lián)合強(qiáng)化圖$C$。
⑤. 使用$M$和$C$選擇出最優(yōu)的anchor box，回歸offset即可。

實(shí)驗(yàn)

在Flickr30K Entities上的實(shí)驗(yàn)結(jié)果：

消融實(shí)驗(yàn)：

實(shí)驗(yàn)結(jié)果：

總結(jié)

以上是生活随笔為你收集整理的ECCV 2020 《Propagating Over Phrase Relations for One-Stage Visual Grounding》论文笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。