计算机视觉中的小样本学习综述
點擊上方“3D視覺工坊”，選擇“星標”
干貨第一時間送達
前言：
如今，在使用數十億張圖像來解決特定任務方面，計算機可以做到超過人類。盡管如此，在現實世界中，很少能構建或找到包含這么多樣本的數據集。
?
我們如何克服這個問題？ 在計算機視覺領域，我們可以使用數據增強 (DA)，或者收集和標記額外的數據。DA 是一個強大的技術，可能是解決方案的重要組成部分。標記額外的樣本是一項耗時且昂貴的任務，但它確實提供了更好的結果。
如果數據集真的很小，這兩種技術可能都無濟于事。 想象一個任務，我們需要建立一個分類，每個類只有一兩個樣本，而每個樣本都非常難以找到。
?
這將需要創新的方法。小樣本學習（Few-Shot Learning, FSL）就是其中之一。
?
在本文中，我們將介紹：
什么是小樣本學習——定義、目的和 FSL 問題示例
小樣本學習變體——N-Shot Learning、Few-shot Learning、One-Shot Learning、Zero-Shot Learning.
小樣本學習方法——Meta-Learning、Data-level、Parameter-level
元學習算法——定義、度量學習、基于梯度的元學習
Few-Shot圖像分類算法——與模型無關的元學習、匹配、原型和關系網絡
Few-Shot目標檢測 – YOLOMAML
?
什么是小樣本學習？
Few-Shot Learning(以下簡稱FSL)是機器學習的一個子領域。在只有少數具有監督信息的訓練樣本情況下，訓練模型實現對新數據進行分類。
?
FSL 是一個相當年輕的領域，需要更多的研究和完善。計算機視覺模型可以在相對較少的訓練樣本下很好地工作。在本文中，我們將重點關注計算機視覺中的 FSL。
?
例如：假設我們在醫療保健行業工作，在通過 X 射線照片對骨骼疾病進行分類時遇到問題。
?
一些罕見的病理可能缺乏足夠的圖像用于訓練集中。這正是可以通過構建 FSL 分類器解決的問題類型。
?
小樣本學習變體
根據FSL的不同變化和極端情況可以分為四種類型：
N-Shot Learning (NSL)
Few-shot Learning (FSL)
One-Shot Learning (OSL)
Zero-Shot Learning (ZSL)
當我們談論 FSL 時，我們通常指的是 N-way-K-Shot-classification。
N 代表類別的數量，K 代表每個類別要訓練的樣本數量。
?
N-Shot 學習被視為比所有其他概念更廣泛的概念。這意味著，Few-Shot、One-Shot 和 Zero-Shot Learning 是 NSL 的子領域。
?
Zero-Shot Learning (ZSL)
Zero-Shot Learning 的目標是在沒有任何訓練樣本的情況下對看不見的類進行分類。
?
這可能看起來有點牛逼，可以這樣想：你能在沒有看到物體的情況下對它進行分類嗎？ 如果你對一個對象、它的外觀、屬性和功能有一個大致的了解，那應該不成問題。這是在進行 ZSL 時使用的方法，根據當前的趨勢，零樣本學習將很快變得更加有效。
?
One-Shot和Few-Shot
在One-Shot Learning中，每個類只有一個樣本。Few-Shot 每個類有 2 到 5 個樣本，使其成為更靈活的 OSL 版本。
?
當我們談論整體概念時，我們使用Few-Shot Learning術語。但是這個領域還很年輕，所以人們會以不同的方式使用這些術語。
?
小樣本學習方法
首先，讓我們定義一個 N-way-K-Shot-分類問題。
?
假定一個訓練集，包括N 類標簽,每類K個標記圖像（少量，每類少于十個樣本），Q張測試圖片。
?
我們想在 N 個類別中對 Q 張測試圖片進行分類。 訓練集中的 N * K 個樣本是我們僅有的樣本。這里的主要問題是沒有足夠的訓練數據。
?
FSL 任務的第一步是從其他類似問題中獲得經驗。這就是為什么少樣本學習被描述為元學習問題的原因。
?
在傳統的分類問題中，我們嘗試從訓練數據中學習如何分類，并使用測試數據進行評估。在元學習中，我們學習如何學習給定一組訓練數據進行分類。 我們將一組分類問題用于其他不相關的集合。
?
在解決 FSL 問題時，通常考慮兩種方法：
數據級方法 (Data-level approach，DLA)
參數級方法 (Parameter-level approach，PLA)
?
數據級方法
這個方法真的很簡單。 它基于這樣一個概念：如果沒有足夠的數據來構建可靠的模型并避免過度擬合和欠擬合，只需要簡單地添加更多數據。
?
這就是為什么通過使用來自大型基礎數據集的附加信息來解決許多 FSL 問題的原因?；A數據集的關鍵特征是它沒有在訓練集中為Few-Show任務提供的類。 例如，如果想對特定鳥類進行分類，基礎數據集可以包含許多其他鳥類的圖像。
?
我們也可以自己產生更多的數據。為了達到這個目標，我們可以使用數據增強，甚至生成對抗網絡 (GAN)。
參數級方法
從參數級別的角度來看，Few-Shot Learning 樣本很容易過擬合，因為它們t通常具有廣泛的高維空間。
?
為了克服這個問題，我們應該限制參數空間并使用正則化和適當的損失函數。 該模型將對有限數量的訓練樣本具有泛化能力。
?
另一方面，我們可以通過將其引導到廣泛的參數空間來提高模型性能。 如果我們使用標準的優化算法，由于訓練數據量很少，它可能無法給出可靠的結果。
?
這就是為什么在參數級別上訓練的模型以在參數空間中找到最佳路線以提供最佳預測結果。正如我們上面已經提到的，這種技術稱為元學習。
?
元學習算法
在經典范式中，當我們有一個特定的任務時，算法正在學習它的任務性能是否隨著經驗而提高。在元學習范式中，我們有一組任務。算法正在學會去學習它在每個任務上的性能是否隨著經驗和任務數量的增加而提高。該算法稱為元學習算法。
?
假設我們有一個測試任務 TEST。我們將在一批訓練任務 TRAIN 上訓練我們的元學習算法。從嘗試解決 TRAIN 任務中獲得的訓練經驗將用于解決 TEST 任務。
?
解決 FSL 任務有一系列步驟。想象一下我們之前提到的分類問題。首先，我們需要選擇一個基礎數據集。選擇基礎數據集至關重要。
?
現在我們有 N-way-K-Shot 分類問題（讓我們將其命名為 TEST）和一個大型基礎數據集，我們將用作元學習訓練集 (TRAIN)。
?
整個元訓練過程將在有限的episode（情節，電視劇集）下完成。
?
從 TRAIN 中，我們對每個類別的 N 個類別和 K 個支持集圖像以及 Q張測試圖像進行采樣。這樣，我們就形成了一個類似于我們最終的 TEST 任務的分類任務。
在每個episode結束時，訓練模型的參數以最大化測試集中 Q 圖像的準確性。這是我們的模型學習解決看不見的分類問題的能力的地方。
?
模型的整體效率是通過其在 TEST 分類任務上的準確性來衡量的。
?
近年來，研究人員發表了許多用于解決 FSL 分類問題的元學習算法。所有這些都可以分為兩大類：度量學習?(Metric-Learning) 和基于梯度的元學習?(Gradient-Based Meta-Learning) 算法。
?
度量學習
當我們談論度量學習時，通常指的是在目標上學習距離函數的技術。
?
一般來說，度量學習算法學習比較數據樣本。 在少樣本分類問題的情況下，他們根據測試樣本與訓練樣本的相似性對測試樣本進行分類。如果我們處理圖像，我們基本上會訓練一個卷積神經網絡來輸出圖像嵌入向量，然后與其他嵌入向量進行比較以預測類別。
?
基于梯度的元學習
對于基于梯度的方法，需要構建一個元學習器和一個基學習器。
?
元學習器是一個跨集學習的模型，而基礎學習器是一個由元學習器在每個集內初始化和訓練的模型。
?
想象一下元訓練的一個片段，其中包含由 N * K 個圖像訓練集和 Q 測試集定義的一些分類任務：
?
1.?選擇一個元學習器模型，
2.?episode(情節)開始，
3.?初始化基礎學習器（通常是 CNN 分類器），
4.?在訓練集上訓練它（用于訓練基礎學習器的確切算法由元學習器定義），
5.?Base-learner 預測測試集上的類，
6.?元學習器參數根據分類錯誤導致的損失進行訓練，
7.?從這一點來看，管道可能會根據選擇的元學習器而有所不同。
?
Few-Shot圖像分類算法
在本節中，我們將介紹：
模型不可知元學習 (Model-Agnostic Meta-Learning, MAML)
匹配網絡Matching Networks
原型網絡Prototypical Networks
關系網絡Relation Networks
?
模型不可知元學習
MAML 基于梯度元學習 (GBML) 概念。GBML 是關于元學習器從訓練基礎模型和學習所有任務的共同特征表示中獲取先前經驗。每當有新任務需要學習時，元學習器會利用新任務帶來的少量新訓練數據對具有其先前經驗的元學習器進行一點微調。
?
不過，我們不想從隨機參數初始化開始。如果我們這樣做，我們的算法在幾次更新后將不會收斂到良好的性能。
?
MAML 旨在解決這個問題。
?
MAML 提供了元學習器參數的良好初始化，以在僅使用少量梯度步驟的新任務上實現最佳快速學習，同時避免使用小數據集時可能發生的過度擬合。
?
這是它的完成方式：
1.?元學習器在每episode(情節)開始時創建自己的副本 (C)，
2.?C 接受了這一episode的訓練（正如我們之前討論過的，在 base-model 的幫助下），
3.?C 對測試集進行預測，
4.?根據這些預測計算的損失用于更新 C，
5.?這一直持續到對所有episode進行了訓練。
?
這種技術的最大優點是它被認為與元學習器算法選擇無關。 因此，MAML 方法被廣泛用于許多需要快速適應的機器學習算法，尤其是深度神經網絡。
?
匹配網絡
匹配網絡 (MN) 是第一個旨在解決 FSL 問題的度量學習算法。
?
對于匹配網絡算法，需要使用大型基礎數據集來解決小樣本學習任務。如上所示，這個數據集被分成了幾集(episodes)。之后，對于每一集，匹配網絡應用以下步驟：
?
1.?來自訓練集和測試集的每個圖像都被送進?CNN，輸出embeddings，
2.?每張測試圖像使用從其embeddings到訓練集embeddings的余弦距離的 softmax 進行分類，
3.?結果分類的交叉熵損失通過 CNN 反向傳播。
?
通過這種方式，匹配網絡學習計算圖像嵌入。這種方法允許 MN 在沒有特定類的先驗知識的情況下對圖像進行分類。一切都是通過比較類的不同實例來完成的。
?
由于每一集中的類別不同，匹配網絡計算與區分類別相關的圖像特征。相反，在標準分類的情況下，算法學習特定于每個類的特征。
?
值得一提的是，作者實際上對初始算法提出了一些改進。例如，他們用雙向 LSTM 增強了他們的算法。每個圖像的嵌入取決于其他圖像的嵌入。
?
所有改進方案都可以在他們的初始文章中找到。不過，提高算法的性能可能會使計算時間更長。
?
原型網絡
原型網絡 (PN) 類似于匹配網絡。盡管如此，仍有一些細微的差異有助于提高算法的性能。PN 實際上獲得了比 MN 更好的結果。
?
PN 過程本質上是相同的，但是測試圖像的embeddings不會與訓練集中的每個圖像embeddings進行比較。相反，原型網絡提出了一種替代方法。
?
在PN中，你需要形成類原型。它們基本上是通過平均來自此類的圖像的嵌入而形成的類嵌入。然后將測試圖像嵌入僅與這些類原型進行比較。
?
值得一提的是，在 One-Shot Learning 問題的情況下，算法類似于 Matching Networks。
?
此外，PN 使用歐幾里得距離而不是余弦距離。它被視為算法改進的主要部分。
?
關系網絡
為構建匹配和原型網絡而進行的所有實驗實際上導致了關系網絡 (RN) 的創建。RN 建立在 PN 概念之上，但對算法進行了重大更改。
?
距離函數不是預先定義的，而是由算法學習的。 RN 有自己的關系模塊來執行此操作。
?
整體結構如下。關系模塊放在嵌入模塊的頂部，該模塊是從輸入圖像計算嵌入和類原型的部分。關系模塊被輸入查詢圖像與每個類原型的嵌入的串聯，并輸出每對的關系分數。 將 Softmax 應用于關系分數，得到一個預測。
?
?
Few-Show目標檢測
很明顯，我們可能會在所有計算機視覺任務中遇到 FSL 問題。
?
一個?N-way-K-Shot 目標檢測任務包括一個訓練集：N個類標簽，對于每一類，包含至少一個屬于該類的對象的 K 個標記圖像，Q張測試圖片。
?
注意，與Few-Shot 圖像分類問題有一個關鍵區別，因為目標檢測任務存在一張圖像包含屬于N 個類別中的一個或多個的多個目標的情況。因此可能會面臨類不平衡問題，因為算法對每個類的至少 K 個樣本目標進行訓練。
?
YOLOMAML
Few-Shot目標檢測領域正在迅速發展，但有效的解決方案并不多。這個問題最穩定的解決方案是 YOLOMAML 算法。
?
YOLOMAML 有兩個混合部分：YOLOv3 對象檢測架構和 MAML 算法。
?
如前所述，MAML 可以應用于多種深度神經網絡，這就是為什么開發人員很容易將這兩部分結合起來。
?
YOLOMAML 是 MAML 算法在 YOLO 檢測器上的直接應用。如果想了解更多信息，請查看官方 Github 存儲庫。
https://github.com/ebennequin/FewShotVision
?
總結
在本文中，我們已經弄清楚了什么是Few-Shot Learning，有哪些 FSL 變體和問題解決方法，以及可以使用哪些算法來解決圖像分類和目標檢測 FSL 任務。
?
Few-Shot Learning 是一個快速發展和有前途的領域，但仍然非常具有挑戰性和未經研究，還有很多工作要做、研究和開發。
?
原文鏈接：
https://neptune.ai/blog/understanding-few-shot-learning-in-computer-vision
本文僅做學術分享，如有侵權，請聯系刪文。
下載1
在「3D視覺工坊」公眾號后臺回復：3D視覺，即可下載 3D視覺相關資料干貨，涉及相機標定、三維重建、立體視覺、SLAM、深度學習、點云后處理、多視圖幾何等方向。
下載2
在「3D視覺工坊」公眾號后臺回復：3D視覺github資源匯總，即可下載包括結構光、標定源碼、缺陷檢測源碼、深度估計與深度補全源碼、點云處理相關源碼、立體匹配源碼、單目、雙目3D檢測、基于點云的3D檢測、6D姿態估計源碼匯總等。
下載3
在「3D視覺工坊」公眾號后臺回復：相機標定，即可下載獨家相機標定學習課件與視頻網址；后臺回復：立體匹配，即可下載獨家立體匹配學習課件與視頻網址。
重磅！3DCVer-學術論文寫作投稿?交流群已成立
掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿?微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。
同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、多傳感器融合、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流、ORB-SLAM系列源碼交流、深度估計等微信群。
一定要備注：研究方向+學校/公司+昵稱，例如：”3D視覺?+ 上海交大 + 靜靜“。請按照格式備注，可快速被通過且邀請進群。原創投稿也請聯系。
▲長按加微信群或投稿
▲長按關注公眾號
3D視覺從入門到精通知識星球：針對3D視覺領域的視頻課程（三維重建系列、三維點云系列、結構光系列、手眼標定、相機標定、orb-slam3等視頻課程）、知識點匯總、入門進階學習路線、最新paper分享、疑問解答五個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發布3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業為一體的鐵桿粉絲聚集區，近2000星球成員為創造更好的AI世界共同進步，知識星球入口：
學習3D視覺核心技術，掃描查看介紹，3天內無條件退款
?圈里有高質量教程資料、可答疑解惑、助你高效解決問題
覺得有用，麻煩給個贊和在看~??
總結
以上是生活随笔為你收集整理的计算机视觉中的小样本学习综述的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Xcode使用OpenCV访问Mac摄像
- 下一篇： 【双11背后的技术】AliCloudDB