論文地址：https://arxiv.org/abs/2203.06359
發表于：CVPR 22

Abstract

無示范的類增量學習是指在舊類樣本無法保存的情況下，同時識別新舊兩類。這是一項具有挑戰性的任務，因為只有在新類的監督下才能實現表征優化和特征保留。為了解決這個問題，我們提出了一個新穎的自我維持的表征擴展方案。我們的方案包括一個結構重組策略，該策略融合了主枝擴展和側枝更新來保持舊的特征，以及一個主枝蒸餾方案來轉移不變的知識。此外，還提出了一種原型選擇機制，通過有選擇地將新樣本納入蒸餾過程來提高新舊類別之間的區分度。在三個基準上進行的廣泛實驗顯示了顯著的增量性能，分別以3%、3%和6%的幅度超過了最先進的方法。

I. Overview

本文的創新點同樣也是經典的三個，分別為圖中的Dynamic Structure Reorganization(DSR)、Main-Branch Distillation(MBD)、Prototype Selection Mechanism(PSM)。

首先，我們先簡單復習下經典的帶示例的增量學習的流水線。對于新類樣本，在使用交叉熵損失學習表征的同時，也使用蒸餾損失來減少對舊類的遺忘。此外，存儲的舊類示例也會被一同訓練，以顯式監督的形式進一步去強化對舊類的回憶。然而，由于NECIL(Non-Exemplar CIL)不能去直接存儲舊類的樣本，因此本文采取了一種較為常見的替代方式，即直接存儲舊類的原型表征(prototype representation)本身，具體的存儲實現與PASS[1](CVPR 20)類似。一個不同之處在于，本文相比與PASS而言還使用了over sample策略，以對分類頭進行進一步的校準。

II. Dynamic Structure Reorganization

DSR包含Structural Expansion與Structural Reparameterization兩個部分。

Structural Expansion，字面意思，結構擴充，就是為深度網絡添加的額外的層，以增大網絡參數量的形式使得網絡在學習新知識的同時，減少對舊知識的覆蓋。但是，持續增大參數量的話會使網絡變得臃腫，從而違背增量學習的原則。實際上，本文添加的結構僅僅是為了輔助網絡進行學習。我們來回看一下示意圖：

其中灰色立方體框出來的部分就是深度網絡的一個Encoder Block。Encoder Block由若干個卷積組成，而一個深度網絡一般包含五個Encoder Block。本文的做法是，在Encoder Block的基礎上添加額外的residual connection，對應藍色連接線部分。在訓練時，首先凍結主網絡參數，只對這些residual connection進行訓練。在訓練完后，這些residual block中就可以包含一些新類的知識。

接下來，問題就成了怎么把這一額外結構中的新類知識給融合回主網中。這一過程對應著Structural Reparameterization，其結構如下：

具體做法可能源自于RepVGG[2]，通過zero-padding與linear transformation實現。在新類知識被融合后，額外的residual connection被移除以保證網絡參數不變。

III. Prototype Selection

具體做法是，對于新類樣本，計算其embedding與原型向量的相似性。如果這個相似性超過了某個閾值，說明該新類樣本與舊類樣本相似，容易混淆，此時為蒸餾損失增加一個mask，強調對新舊類的區分；如果這個相似性低于某個閾值，則說明該新類樣本與舊類樣本差異很大，此時為交叉熵損失增加一個mask，強調對新類特征的學習。

Ref

[1] Zhu, Fei, et al. “Prototype augmentation and self-supervision for incremental learning.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
[2] Ding, Xiaohan, et al. “Repvgg: Making vgg-style convnets great again.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

總結

以上是生活随笔為你收集整理的[论文阅读] Self-Sustaining Representation Expansion for Non-Exemplar Class-Incremental Learning的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。