?作者 | 吉雅太

單位 | 清華大學

研究方向 | 多模態研究

自從 2018 年 BERT 在 NLP 領域聲名鵲起，通過預訓練在 n 多 NLP 任務中刷榜，成功發掘出了 transformer 的潛力，眾多研究者就看到了多模態發展的新的機會——使用大量數據做預訓練。

因為從 updn 模型開始，多模態這面普遍把圖片提取成區域特征序列做后續處理，這樣的話多模態是視覺和文本特征序列，NLP 中是文本特征序列，沒什么本質差異，自然可以把預訓練搬過來，一系列多模態 transformer 預訓練的文章應運而生。

舉個栗子：LXMERT、VLBERT、ViLBERT、UNITER、UNIMO、OSCAR、VisualBert、VLP、今年的 ViLT、VinVL、SOHO、SimVLM、METER 等等，以及沒有使用預訓練也達到很好效果的 MCAN。

按結構主要可以分為單流、雙流，單流就是把不同模態特征序列先拼起來，通過 transformer 進行自注意力，雙流就是先各個模態特征單獨自注意力，再經過 transformer 交叉注意力。模型都是大同小異，或者預訓練方法有些小的差別，最主要的趨勢是預訓練數據越來越大。

幾個模型的預訓練數據規模：

LXMERT

論文標題：?

LXMERT: Learning Cross-Modality Encoder Representations from Transformers?

論文地址：?

https://arxiv.org/abs/1908.07490

視覺特征使用 faster rcnn 提取區域化特征，文本提取 word-level 特征。預訓練使用了五個：Language Task: Masked Cross-Modality LM；Vision Task: RoI-Feature Regression；Vision Task: Detected-Label Classification；Cross-Modality Matching；Image Question Answering (QA)。

ViLBERT

論文標題：?

ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks

論文地址：?

https://arxiv.org/abs/1908.02265

結構基本和 LXMERT 一樣，差別有以下幾點：預訓練時 vilbert 對 masked region 的預測是一個 object label 的概率分布，讓它去接近區域特征提取器、即目標檢測模型對該區域的預測 label 分布，損失為兩個分布的 KL 散度；預測答案時輸出頭不同，vilbert 用 [IMG]、[CLS] 表征向量相乘后接分類器。?

UNITER

論文標題：?

UNITER: UNiversal Image-TExt Representation Learning

論文地址：?

https://arxiv.org/abs/1909.11740

結構和其他的一樣，預訓練任務采用了四個：MLM；MRM，把某區域特征換為全 0，然后去恢復它，mlm 和 mrm 不同時進行，mrm 分為三類，一個是回歸特征向量，一個是分類任務，GT 是目標檢測預測的 label，再一個是最小化預測的分類分數向量和目標檢測預測的分數向量之間的 KL 散度；ITM，圖文匹配；

WRA，為了提供視覺區域和文本單詞更細粒度的對齊，通過使用 Optimal Transport，有效地計算從圖片特征轉換到文本特征的最小代價，這里沒太看懂，大概就是 OT 可以學出一個矩陣 T，表示第 i 個區域、第 j 個文本是否是對應的，損失就是 ，這里的 c 是余弦距離。預訓練策略是對每個 batch 隨機采樣一個任務來訓練。

Oscar

論文標題：?

Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks

論文地址：?

https://arxiv.org/abs/2004.06165

本文預訓練使用的數據是 圖片-文本-檢測到的 object 標簽 三元組，相當于用物體標簽做圖片和文本的錨點，減小兩種模態之間的 gap，因為標簽一方面和圖片的某區域對應，另一方面它又是文本內容。

兩個預訓練任務：A Dictionary View：Masked Token Loss，即恢復被 mask 掉的文本 token，可能在句子里，也可能是 tags；A Modality View: Contrastive Loss，把 tags 序列以 50% 概率換掉，然后在輸出進行二分類，判斷此時的三元組是正確的還是被污染的。

SOHO

論文標題：?

Seeing Out of tHe bOx: End-to-End Pre-training for Vision-Language Representation Learning

論文地址：?

https://arxiv.org/abs/2104.03135

作者團隊來自北京科技大學、Beijing Engineering Research Center of Industrial Spectrum Imaging、MSRA。本文提出模型 SOHO（see out of the box），用整張圖片作為輸入，用端到端的方式學習視覺語言表征，即無需提取區域化特征，所以叫做 out of the（bounding）box。由于不需做目標檢測，推理速度快了十倍。

SOHO 通過便于跨模態理解的視覺字典（VD）提取全面而緊湊的圖像特征。本文使用一個叫做 MVM（masked visual modeling）的預訓練，會利用到 VD，其他預訓練有 MLM、ITM（圖文匹配）。但其實使用網格特征很多之前的工作都已經在用了。

很常見的結構，比較新的是 visual dictionary 的提出，它的 motivation 是 CNN 提取出的圖片的網格化特征并沒有一個明確的含義（不像區域化特征對應了 object），VD 目的是彌補網格特征和語言 token 之間的 gap，比較巧妙，最終實現的目的是讓屬于同一類 object 的網格特征具有更高的語義相似性。

VD 是一個二維矩陣，由 k 個特征 d 組成，對于某一個視覺特征 v，計算最相似的 d（二范數距離最小），（然后用這個 d 替代 v，但我覺得這樣的話會喪失一個物體的不同網格之間的特異性）。VD 的更新：先隨機初始化，然后用移動平均法更新：

沒太看懂它的公式，總之思路就是視覺字典中的特征 d 應該向目前輸入的特征 v 學習，就是找到和 v 最相似的存儲的特征后，再用 v 更新這個存儲的特征，使得存儲的特征越來越趨向于表征某一類物體。

預訓練用了 masked language modeling、image-text matching，以及 masked visual modeing，MVM 是隨機 mask 掉某個物體的所有網格，然后預測這些網格屬于的類別（這里的類別指的是在 VD 中，每一個存儲的特征給一個編號）。

實驗在一些下游任務上都取得了較可觀的效果。

ViLT

論文標題：?

ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

論文地址：?

https://arxiv.org/abs/2102.03334

本文 motivation 在于視覺特征不管用目標檢測得到的區域特征，還是卷積得到網格化特征，都是很耗時的。

ViLT 提取圖片特征的方法模仿 ViT，對每個 patch 做一個 linear projection，參數量驟降，具體做法就是把每個 patch（ ）展成一維，再映射到隱狀態維度。模型初始化使用 ViT 的權重，結構也和 vit 相同（結構上與 bert 唯一的不同在于 LN 層的位置）。

預訓練的方法有：image text matching（ITM）and masked language modeling（MLM）。另外使用了一種 word patch alignment（WPA）的方法計算文本子集和視覺子集的對齊分數（仿照 uniter）。

引入 WholeWord Masking 的方法，因為分詞時有時會把一個詞分開，這種方法是把屬于一個詞的所有分詞都 mask 掉。使用 Image Augmentation 增強模型泛化性，在微調時，他們使用 RandAugment 里的所有方法，除了兩個：顏色轉換和裁剪。

SimVLM

論文標題：?

SimVLM: Simple Visual Language Model Pretraining with Weak Supervision

論文地址：?

https://arxiv.org/abs/2108.10904

作者團隊來自 CMU、谷歌、華盛頓大學。總體思路是用更大尺度弱監督數據做預訓練，用一個語言建模的目標去進行端到端地訓練。在相當多任務上達到 sota，尤其在 VQA2.0 上，達到了 80 的準確率，刷新認知，猶記得大四下做 VQA 時，準確率還停留在 70 出頭，當時想上個 70 都很難，現在都卷到 80 了。。SimVLM 預訓練更簡單，不需要做目標檢測（不需使用區域化特征）或輔助的損失（比如lxmert 里使用了 5 個預訓練任務），但是獲得了很好的表現。并且模型有很強的泛化能力，在零樣本學習中同樣表現良好。

simvlm 使用的結構還是 transformer，與之前的模型的一個區別在于預訓練方法的不同，本文使用 prefixLM。之前的預訓練一般用 MLM，建模雙向的關系，或者生成式的 LM，逐詞生成，建模單向的關系。prefixLM 算是兩者的結合，即給定前半段文本，逐詞生成后半段文本。

預訓練的數據取用的是大尺度的圖片-文本對（由于數據量很大，所以也含有較多噪聲），數據來自 Scaling up visual and vision-language representation learning with noisy text supervision 。由于預訓練任務對模態不敏感，所以也可以用純文本加入預訓練，彌補圖片-文本對時包含的噪聲。

實驗

設計了三種變體：base、large、huge。具體超參數設置見原文。使用 AdamW 做優化器。在 5 個下游任務作了微調：VQA、Visual entailment（視覺文本關系判斷）、視覺推理、image caption、多模態翻譯。

零樣本生成任務：不需微調訓練。比如 image caption，在推理時，給一個前綴?prompt“a picture of”，就可以生成后續的描述。獲得了和監督學習一樣好的效果。還比如開放域 VQA 等。

METER

論文標題：?

An Empirical Study of Training End-to-End Vision-and-Language Transformers

論文地址：?

https://arxiv.org/abs/2111.02387

這篇文章就是在視覺、語言特征提取上用了最新的有效的基于 transformer 的模型比如 swin、roberta 等，最后在下游任務上，比如 VQA2.0，取得了僅次于 simvlm 的結果，文章強調了 meter 的預訓練數據只有 4M，而 simvlm 用了 1.8B。

這篇文章做了大量的實驗，在每一個環節都嘗試了大量的方法，經典“a+b”，不過大部分這些預訓練的文章感覺創新都不是很大。結構上，視覺特征用了 ViT，DeiT，Distilled-DeiT，CaiT，VOLO，BEiT，Swin Transformer，CLIP-ViT，文本用了 BERT，RoBERTa，ELECTRA，ALBERT，DeBERTa。融合模塊用了雙流和單流兩種。整體結構有 Encoder-Only，Encoder-Decoder 兩種。

預訓練又試了很多：MLM、ITM、MIM（設計了兩種 masked patch classification 方法）（mim 用處不大）。

實驗

證明了文本 roberta、視覺 swin transformer、CLIP-ViT-224/16 效果較好。

發現的 trick：（1）隨機初始化的權重設置學習率應大于有預訓練的權重的學習率；（2）用插值等方法提高圖像分辨率。

融合部分 co-attention 優于 merged attention。

預訓練部分證明了 MLM 和 ITM 是有效的，MIM 起反作用。

VLMO

論文標題：?

VLMO: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts

論文地址：?

https://arxiv.org/abs/2111.02358

這篇論文也是 11 月份剛掛在 arxiv 上的多模態預訓練模型 VLMO。作者團隊來自微軟。

本文作出的主要改進在于這幾個方面：對 transformer 結構做了一些修改，將傳統編碼器的 FFN 分為三條路徑（視覺、語言、跨模態），分別構成了 dual encoder 和 fusion encoder，可以分別適用于不同的下游任務，比如檢索任務用 dual、需要跨模態語義信息的分類任務用 fusion；預訓練任務分階段進行，image-only、text-only、image-text。

作者認為多模態編碼器可以分為兩類，一類是像 CLIP、ALIGN 這樣的 dual encoder，分別對圖片、文本編碼后，計算一個編碼特征之間的相似度；一類是 fusion encoder，就是我們常見的這些，挖掘跨模態的語義信息。vlmo 做的事情主要就是把兩類融合起來，這樣可以適用的預訓練、下游任務更廣泛。

具體方法。圖片表征和 vit、vilt 相同，分 patch，再展平做線性映射作為輸入。（這種方法最大的優勢就是快，但從 vlit 結果來看，準確率有點拉，這篇文章雖然也用這種方法，但是準確率很高）文本編碼一樣，聯合特征就是拼接起來。模型結構比較靈活，要單獨編碼圖片、文本時，就用 V-FFN、L-FFN，編碼拼接起來的圖片文本序列時，用 VL-FFN。daul 時，就用前兩層；fusion 時，底層用前兩個分別編碼，上層用 VL-FFN 編碼高級特征。

預訓練。三個：Image-Text Contrast，一個 batch 的圖片、文本作對比學習，對角線上是正樣本對（這是一般的方法，但本文的方法分為圖片對文本、文本對圖片的相似度，沒太看懂）；MLM；ITM。預訓練在三類數據上分階段進行。實驗也是常用的四個預訓練數據集：coco、vg、sbu、gcc。

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的从LXMERT到VLMO：多模态预训练模型的演变史的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。