自從ICML2017的Model-Agnostic Meta-Learning (MAML)以及NIPS17的Prototypical Networks (ProtoNet)等paper出現(xiàn)之后，一系列meta learning以及few-shot learning的paper如雨后春筍般涌現(xiàn)出來。同時，常用的幾個數(shù)據(jù)集Omniglot、miniImagenet、tieredImagenet的性能也被不斷刷新。

結合最近無監(jiān)督學習的潮流，元學習相關方法和無監(jiān)督學習的結合，成為了最近一個新的方向。本文主要介紹基于MAML的無監(jiān)督元學習相關工作。

有監(jiān)督和無監(jiān)督元學習的對比，如圖1。區(qū)別主要在Meta-train階段，有監(jiān)督元學習可以利用標簽信息進行訓練，而無監(jiān)督元學習只能利用無標注的原始數(shù)據(jù)。無監(jiān)督的常見方法，比如self-supervised learning，clustering，generative model等等都有可能應用到無監(jiān)督元學習中。

圖1. 有監(jiān)督和無監(jiān)督元學習比較。在Meta-train階段，無監(jiān)督元學習只能利用無標注的數(shù)據(jù)進行學習，而有監(jiān)督元學習可以利用標簽信息進行訓練。Meta-test階段，有監(jiān)督和無監(jiān)督的設置相同。

CACTUs (Unsupervised learning via meta-learning)

圖2. CACTUs方法框架圖。首先，預訓練得到特征表示(1)，對訓練數(shù)據(jù)進行無監(jiān)督聚類，得到若干組偽標簽數(shù)據(jù)(2a)。然后根據(jù)偽標簽隨機采樣多個任務(tasks)(2b)，運行正常的元學習算法(3)，例如MAML或者ProtoNet。

這篇論文是MAML的作者Chelsea Finn等人發(fā)表在ICLR19的paper，主要提出了unsupervised meta-learning的設置以及一種簡單的基于聚類的方法。雖然方法簡單，但是也為后續(xù)基于無監(jiān)督的元學習方法開辟了一個方向。

整個方法可以分成三個步驟（圖2）：

使用現(xiàn)有無監(jiān)督特征學習方法，在無標簽訓練集合得到特征表示（embedding function）

使用聚類方法（例如，k-means）劃分出多個子集合 等。然后隨機采樣構建偽標簽的元學習任務

使用監(jiān)督元學習方法，如MAML、ProtoNet在步驟2構建的元學習任務上進行學習。需要指出的是這個步驟學習用到的網(wǎng)絡結構是隨機初始化的，而不是從1步驟得到。這么做，是非常必要的，因為如果聚類和元學習都使用步驟1的網(wǎng)絡結構和參數(shù)，很可能引起過擬合現(xiàn)象。

作者在Omniglot、Mnist、MiniImagenet以及CelebA上進行了實驗，驗證了clustering+meta learning的有效性。另外，如圖3，通過無監(jiān)督元學習和有監(jiān)督元學習的對比，可以看出無監(jiān)督性能逐步接近有監(jiān)督性能。

圖3. 無監(jiān)督元學習和有監(jiān)督元學習性能對比

UMTRA (Unsupervised Meta-Learning for Few-Shot Image Classification)

圖4. UMTRA方法框架圖。首先，隨機選取N個樣本作為N個類別，然后將原圖片作為support set，augmentation之后的圖片作為query set。最后，使用有監(jiān)督的MAML算法進行元學習參數(shù)更新。

CACTUs是一個多步驟的元學習算法，需要先單獨訓練特征表示，然后用于聚類，最后訓練新的網(wǎng)絡結構。它的過程相對負責，而且沒有很好的靈活性。

受到一些自監(jiān)督（self-supervised）方法的啟發(fā)，UMTRA提出了一個end2end的元學習框架，如圖4。整個方法包含三個部分：

隨機采樣N個圖片，每個圖片單獨認為是一個類別，就是N-way 1-shot 的任務

對每個圖片進行數(shù)據(jù)增廣（Augmentation），增廣之后對數(shù)據(jù)作為元學習的query set，原圖作為support set。這樣，就有了N-way 1-shot的support+query數(shù)據(jù)以及N個label。

運行MAML算法，進行訓練。

作者對方法的動機進行了解釋：假設訓練集合共有

個類別，每個類別有 個樣本，我們每次隨機選取 個樣本。這 個樣本全部來自不同類別的概率是：

上述公式，分子是

個樣本全部來自不同類別的可能情況，分母是所有隨機組合的情況數(shù)目。對于Omniglot（ ）， ；對于MiniImagenet， ；對于Imagenet， 。所以，隨機選擇的樣本有很大概率來自不同類別，這樣選出來的樣本應該比k-means聚類得到的偽標簽更接近真實數(shù)據(jù)。

其他方法

AAL和UMTRA是同期工作，方法也很大程度重合，但是性能略低于UMTRA。

Centroid Networks提出了不同的Unsupervised meta-learning的設置，但是由于它是ICLR2020的拒稿paper，這里不做深入解讀。

本文涉及到的論文如下：

Kyle Hsu, Sergey Levine, and Chelsea Finn. Unsupervised learning via meta-learning. In International Conference on Learning Representations, 2019.

Khodadadeh, Siavash, Ladislau Boloni, and Mubarak Shah. "Unsupervised Meta-Learning for Few-Shot Image Classification."Advances in Neural Information Processing Systems. 2019.

A. Antoniou and A. Storkey. Assume, augment and learn: Unsupervised few-shot meta-learning via random labels and data augmentation. arXiv preprint arXiv:1902.09884, 2019.

Gabriel Huang, Hugo Larochelle, and Simon Lacoste-Julien. Are few-shot learning benchmarks too simple? 2020.

總結

以上是生活随笔為你收集整理的无监督和有监督的区别_无监督元学习(Unsupervised Meta-Learning)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。