博主github：https://github.com/MichaelBeechan
博主CSDN：https://blog.csdn.net/u011344545

Learning to Compare: Relation Network for Few-Shot Learning

論文下載：https://arxiv.org/pdf/1711.06025.pdf
代碼：https://github.com/MichaelBeechan/LearningToCompare_FSL
https://github.com/lzrobots/LearningToCompare_ZSL

摘要

我們提出了一個概念上簡單，靈活和通用的框架，用于小樣本學習，其中分類器必須學習識別新類，只給出幾個例子。 我們的方法稱為關系網絡（RN），是從頭開始端到端訓練的。 在元學習期間，它學習學習深度距離度量以比較劇集中的少量圖像，每個圖像旨在模擬少數鏡頭設置。 一旦經過訓練，RN就能夠通過計算查詢圖像與每個新類的小樣本示例之間的關系得分來對新類別的圖像進行分類，而無需進一步更新網絡。 除了提供改進的小鏡頭學習性能外，我們的框架還可以輕松擴展到零鏡頭學習。 對五個基準測試的廣泛實驗表明，我們的簡單方法為這兩個任務提供了統一有效的方法。

簡介

深度學習模型在視覺識別任務中取得了巨大成功[22,15,35]。然而，這些監督學習模型需要大量標記數據和許多迭代來訓練其大量參數。由于注釋成本，這嚴重限制了它們對新類別的可擴展性，但更根本地限制了它們對新出現的（例如，新的消費者設備）或稀有（例如，稀有動物）類別的適用性，其中許多注釋圖像可能根本不存在。相比之下，人類非常擅長用很少的直接監督識別物體，或者根本沒有，即小樣本[23,9]或零樣本[24]學習。例如，孩子們沒有問題從書中的單個圖片概括“斑馬”的概念，或聽到它的描述看起來像條紋馬。由于傳統的深度學習方法無法在每個班級的一個或幾個例子中運作良好，并受到人類的小樣本和零樣本學習能力的啟發，最近出現了對機器 one/few-shot的興趣的復興[8,39,32,18,20,10,27,36,29]和零樣本[11,3,24,45,25,31]學習。
小樣本學習的目的是從極少數標記的例子中識別新穎的視覺類別。只有一個或幾個例子的可用性挑戰了深度學習中標準的“微調”實踐[10]。數據增強和正則化技術可以減輕這種有限數據體系中的過度擬合，但它們無法解決這一問題。因此，針對小樣本學習的現代方法通常將訓練分解為輔助元學習階段，其中可轉移知識以良好的初始條件[10]，嵌入[36,39]或優化策略[29]的形式學習。然后通過使用學習的優化策略[29]進行微調[10]或在前饋傳遞[36,39,4,32]中計算而不更新網絡權重來學習目標小樣本學習問題。零樣本學習也受到相關挑戰的影響。識別者通過一個例子以類別描述的形式進行訓練（例如，一次性中的單一樣本圖像），使基于梯度的學習的數據不足成為挑戰。
雖然很有希望，但大多數現有的小樣本學習方法要么需要復雜的推理機制[23,9]，復雜的遞歸神經網絡（RNN）架構[39,32]，要么微調目標問題[10,29]。我們的方法與其他旨在培養一次性學習有效指標的方法最為相關[39,36,20]。如果他們專注于可轉移嵌入的學習并預先定義一個固定的度量（例如，作為歐幾里德[36]），我們進一步的目標是學習一個可轉移的深度量度來比較圖像之間的關系（小樣本學習），或者圖像和類描述之間（零樣本學習）。通過表達更深層解決方案的歸納偏差（嵌入和關系模塊中的多個非線性學習階段），我們可以更輕松地學習問題的一般解決方案。
具體而言，我們提出了一種雙分支關系網絡（RN），它通過學習將查詢圖像與少數標記的樣本圖像進行比較來執行幾次識別。首先，嵌入模塊生成查詢和訓練圖像的表示。然后通過關系模塊比較這些嵌入，該關系模塊確定它們是否來自匹配的類別。定義一個受[39,36]啟發的基于劇集的策略，嵌入和關系模塊是端到端的元學習，以支持少數鏡頭學習。這可以看作是將[39,36]的策略擴展到包括可學習的非線性比較器，而不是固定的線性比較器。我們的方法勝過先前的方法，而更簡單（沒有RNN [39,32,29]）和更快（沒有微調[29,10]）。我們提出的策略也直接推廣到零樣本學習。在這種情況下，樣本分支嵌入單樣本類別描述而不是單個樣本訓練圖像，并且關系模塊學習比較查詢圖像和類別描述嵌入。
總的來說，我們的貢獻是提供一個干凈的框架，優雅地包含少數和零樣本學習。我們對四個基準測試的評估表明，它提供了全面的引人注目的性能，同時比替代方案更簡單，更快速。

續。。。。。。。。。。。。

結論

我們提出了一種稱為關系網絡的簡單方法，用于小樣本和零樣本學習。 關系網絡學習嵌入和深度非線性距離度量，用于比較查詢和樣本項。 通過情節訓練訓練網絡端到端，調整嵌入和距離度量，以實現有效的少數學習。 這種方法比最近的幾次元學習方法更簡單，更有效，并產生了最先進的結果。 它進一步證明在傳統和廣義零樣本設置中都是有效的。

總結

以上是生活随笔為你收集整理的小样本学习 | Learning to Compare: Relation Network for Few-Shot Learning的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。