編者按：最近，研究者們發(fā)布了?nocaps?挑戰(zhàn)，用以測量在沒有對應(yīng)的訓練數(shù)據(jù)的情況下，模型能否準確描述測試圖像中新出現(xiàn)的各種類別的物體。針對挑戰(zhàn)中的問題，微軟?Azure?認知服務(wù)團隊和微軟研究院的研究員提出了全新解決方案視覺詞表預訓練?(Visual Vocabulary Pre-training)。該方法在?nocaps?挑戰(zhàn)中取得了新的?SOTA，并首次超越人類表現(xiàn)。

看圖說話“新”問題

圖像描述或看圖說話(Image Captioning)是計算機根據(jù)圖片自動生成一句話來描述其中的內(nèi)容，由于其潛在的應(yīng)用價值(例如人機交互和圖像語言理解)而受到了廣泛的關(guān)注。這項工作既需要視覺系統(tǒng)對圖片中的物體進行識別，也需要語言系統(tǒng)對識別的物體進行描述，因此存在很多復雜且極具挑戰(zhàn)的問題。其中，最具挑戰(zhàn)的一個問題就是新物體描述(Novel object captioning)，即描述沒有出現(xiàn)在訓練數(shù)據(jù)中的新物體。

最近，研究者們發(fā)布了 nocaps 挑戰(zhàn)(https://nocaps.org/)，以測量在即使沒有對應(yīng)的訓練數(shù)據(jù)的情況下，模型能否準確描述測試圖像中新出現(xiàn)的各種類別的物體。在這個挑戰(zhàn)中，雖然沒有配對的圖像和文本描述(caption)進行模型訓練，但是可以借助計算機視覺的技術(shù)來識別各類物體。例如在一些之前的工作中，模型可以先生成一個句式模板，然后用識別的物體進行填空。然而，這類方法的表現(xiàn)并不盡如人意。由于只能利用單一模態(tài)的圖像或文本數(shù)據(jù)，所以模型無法充分利用圖像和文字之間的聯(lián)系。另一類方法則使用基于 Transformer 的模型進行圖像和文本交互的預訓練(Vision and Language Pre-training)。這類模型在多模態(tài)(cross-modal)的特征學習中取得了有效的進展，從而使得后續(xù)在圖像描述任務(wù)上的微調(diào)(fine-tuning)獲益于預訓練中學到的特征向量。但是，這類方法依賴于海量的訓練數(shù)據(jù)，在這個比賽中無法發(fā)揮作用。

針對這些問題，微軟 Azure 認知服務(wù)團隊和微軟研究院的研究員們提出了全新的解決方案? Visual Vocabulary Pre-training(視覺詞表預訓練，簡稱VIVO)，該方法在沒有文本標注的情況下也能進行圖像和文本的多模態(tài)預訓練。這使得訓練不再依賴于配對的圖像和文本標注，而是可以利用大量的計算機視覺數(shù)據(jù)集

視覺詞表成為解決問題的關(guān)鍵

VIVO 方法取得成功的關(guān)鍵在于視覺詞表(visual vocabulary)的建立。如圖1所示，研究人員把視覺詞表定義為一個圖像和文字的聯(lián)合特征空間(joint embedding space)，其中語義相近的詞匯，例如男人和人、手風琴和樂器，會被映射到距離更近的特征向量上。在預訓練學習建立了視覺詞表以后，模型還會在有對應(yīng)的文本描述的小數(shù)據(jù)集上進行微調(diào)。微調(diào)時，訓練數(shù)據(jù)只需要涵蓋少量的共同物體，例如人、狗、沙發(fā)，模型就能學習如何根據(jù)圖片和識別到的物體來生成一個通用的句式模板，并且把物體填入模板中相應(yīng)的位置，例如，“人抱著狗”。在測試階段，即使圖片中出現(xiàn)了微調(diào)時沒有見過的物體，例如手風琴，模型依然可以使用微調(diào)時學到的句式，加上預訓練建立的視覺詞表進行造句，從而得到了“人抱著手風琴”這句描述。

圖1：VIVO 預訓練使用大量的圖片標簽標注來建立視覺詞表，其中語義相近的詞匯與對應(yīng)的圖像區(qū)域特征會被映射到距離相近的向量上。微調(diào)使用只涵蓋一部分物體(藍色背景)的少量文本描述標注進行訓練。在測試推理時，模型能夠推廣生成新物體(黃色背景)的語言描述，得益于預訓練時見過的豐富物體類型。

通過這樣的方法，研究員們結(jié)合了預訓練中識別圖片物體的能力，以及微調(diào)中用自然語言造句的能力，從而做到了在推理測試時舉一反三，使用更豐富的詞匯量來描述圖片中新出現(xiàn)的各種物體。

VIVO 訓練流程

圖2：訓練和推理流程總覽(a)在VIVO 預訓練中，Transformer 模型在圖片標簽的訓練數(shù)據(jù)上做標簽預測，從而針對豐富的視覺概念進行多模態(tài)特征學習。(b)在微調(diào)中，模型在有文本描述標注的訓練數(shù)據(jù)上學習如何基于圖片和識別出來的物體生成一句話。(c)在推理時，對于給定的圖片和識別的物體，模型以自回歸的方式生成一系列字符，從而構(gòu)成描述新物體的句子。

如圖2所示，VIVO 訓練流程采用了兩階段的訓練。第一階段為預訓練，使用多層的 Transformer 模型進行圖像分類的預測。具體來說，先給定圖片和對應(yīng)的一些標簽(tag)，然后隨機地抹去其中一部分標簽，讓模型來預測這些被抹去的標簽原本是什么。由于這些標簽之間的順序是可以互換的，因此需要使用匈牙利算法(Hungarian matching)來找到預測結(jié)果和目標標簽之間的一一對應(yīng)，然后計算交叉熵損失(cross entropy loss)函數(shù)。

預訓練之后，第二階段為微調(diào)。Transformer 模型會在有文本描述標注的小數(shù)據(jù)集上訓練，例如 COCO。微調(diào)時使用的物體標簽可以來自數(shù)據(jù)集本身的標注，也可以由其他已經(jīng)訓練好的圖像分類或物體識別模型自動生成。

在測試階段，對于給定圖片和識別出來的物體標簽，模型采用了自回歸(auto-regressive)的方式生成字符序列，從而獲得描述圖片的一句話。

SOTA 首次超越人類

研究員們將 VIVO 與 nocaps 挑戰(zhàn)中一些領(lǐng)先的方法，如 UpDown 、 OSCAR 等做了對比(這些方法使用的訓練數(shù)據(jù)也是 COCO)。另外，遵循之前的方法，添加了使用 SCST 和 Constrained Beam Search (CBS)之后的結(jié)果。在 nocaps 的校驗集(validation)和測試集(test)上的結(jié)果顯示在表1中。可以看到，相比于之前的方法，VIVO 的結(jié)果表現(xiàn)有了顯著的提高。僅僅使用 VIVO 預訓練就取得了遠超過 UpDown+ELMo+CBS 和 OSCAR 的結(jié)果。最終，VIVO 方法的結(jié)果達到了新的 SOTA，并且首次在 nocaps 挑戰(zhàn)中超過了人類表現(xiàn)的 CIDEr 得分。

表1：各種方法在 nocaps 的校驗和測試數(shù)據(jù)集上的結(jié)果

為了進一步理解 VIVO 預訓練中學習視覺詞表所產(chǎn)生的作用，即在圖像和文字的共同特征空間中對準圖像與相應(yīng)的語義標簽，研究員們展示了如何根據(jù)這些新物體的標簽找到它們在圖片中的位置(grounding to image regions)。對于每個圖片區(qū)域和每個物體標簽的兩兩配對，VIVO 都計算了它們對應(yīng)特征向量之間的相似度(cosine similarity)。圖3高亮了其中得分高的配對。可以看出，VIVO 的模型能夠準確地在眾多區(qū)域中確定這些物體所在的位置。

圖3：模型對 nocaps 圖片的描述結(jié)果。B：沒有做 VIVO 預訓練的模型。V：有 VIVO 預訓練的模型。紅色文字顯示了描述中出現(xiàn)的新物體。圖中還顯示了各個圖片區(qū)域和描述中出現(xiàn)的新物體對應(yīng)特征向量之間的相似度，相似度越高的組合顏色亮度越高。

VIVO 展示了視覺詞表對描述圖片中新出現(xiàn)的物體的重要作用。作為第一個不依賴于圖片文本標注(paired image-sentence data)的圖像與文本交互的預訓練(Vision-Language Pre-training)方法，VIVO 成功運用了計算機視覺研究中已經(jīng)標注的大規(guī)模圖片標簽數(shù)據(jù)(image tagging data)來進行全新模式的圖像與文本交互預訓練。值得注意的是，如果可以利用模型自動給圖片生成標簽，而不需要人工標注文本描述，那么可以在訓練時加入可能無限多的無標注圖片，從而進一步提高模型的表現(xiàn)，微軟的研究人員也將在未來的后續(xù)工作中對此進行更多探索。

你也許還想看：

總結(jié)

以上是生活随笔為你收集整理的c++ 舞伴配对问题_挑战新物体描述问题，视觉词表解决方案超越人类表现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。