本文認為對于類增量學習任務而言，單個點在特征空間的位置不是關鍵，它們之間距離值也不是關鍵，它們兩兩距離的排序才是重中之重。為此我們提出了一種新的類增量學習模型并設計了一個可導的排序算法，已被 IEEE TNNLS （CAS Q1）在線發表。

論文標題：

Model Behavior Preserving for Class-Incremental Learning

論文作者：

劉雨、洪曉鵬、陶小語、董松林、史金鋼、龔怡宏

關鍵字：

增量學習、類增量學習、特征空間拓撲保持、可導排序函數

對于深度模型在學習新任務時對舊任務和舊知識的災難性遺忘現象，已有較多研究進行了深入的探討，也涌現了不少增量學習方面的好工作。這其中基于知識蒸餾的方法吸引了大量的關注，也取得了不少突破，比如 iCarL [1]、LUCIR [2]、TPCIL [3]?等等。然而，傳統基于蒸餾的方法往往是對代表性樣本（anchor，錨點）在特征空間的絕對位置施加一個 hard 約束，一旦新模型在這些錨點上的響應與舊模型出現差異，則直接進行懲罰。

我們認為，這種對單個樣本特征空間絕對位置的“硬”保持過于嚴格了，它們會導致模型增量學習時無法很好兼顧舊知識保持和新知識學習。因此，我們認為在類增量任務下，克服災難性遺忘的關鍵在于保持模型在歷史樣本集合上響應的全局特性。對此，我們在本文中重點關注了兩種特性：

1. 模型特征空間的樣本鄰域關系（即 模型認為，哪個樣本和哪個樣本相似程度的整體情況）。如圖 1 所示：a）增量學習之前，實例 A 的五個鄰居（B 到 F）在特征空間的關系。不同的顏色代表不同的類別；b）當新數據（實例 G）到達時，傳統基于知識蒸餾的增量學習方法對單個實例的絕對位置實施硬約束。如果實例 A-F 在學習之后（稍微）偏離其學習之前的原始位置，則模型將受到懲罰。在這種情況下，一旦節點前后出現小的擾動（如圖中出現紅色短劃線的情況），在增量學習期間就必須嚴格減少這些擾動。在這種方式下，調整模型和重新組織特征空間以適應學習新數據的需要將變得困難；c）本文提出對鄰域結構進行維持，保留實例之間距離的排名列表；只要實例之間誰和誰（更）相似的排名不變，可以允許實例在特征空間的位置及其距離的絕對值出現某種程度的改變。例如，實例 F（用 F0 表示其原始位置，更新之后位置變為F）在增量學習之前到之后的位置改變是顯而易見的。但由于點間距離的排序保持不變（依然排行第 5 近），因此分類結果不受影響。這種機制為適應新實例新任務的學習提供了良好的靈活性。

2. 單個樣本在 label 空間的模型響應優先順序（即模型認為，當前樣本屬于哪個類別的可能性的整體偏好）。如圖 2 所示，a）傳統方法對標簽置信向量進行硬約束。當類別 的輸出置信度值出現擾動，即便這種擾動很微小，導致的微小差異也需要被用來計算損失，例如類別 和 對應標紅的項所示。結果，增量學習器需要努力去最小化由這種小擾動引起的損失值，在平衡新類別學習和鞏固舊類別方面負擔很重，最終導致對新類別對應的新條目 相關的學習變得困難。b）與此不同的是，本文中我們對標簽置信度排名表進行軟約束。只有當排名表 發生變化才會受到懲罰；而如果僅僅是 內部的直接數值變化，則不施加懲罰。因此，增量學習器可以靈活地學習新類別的新條目并相應地調整置信向量。增量學習變得更為可塑和高效。

▲ 圖1：實例鄰域保持的示意圖。

▲ 圖2：樣本-標簽優先級保持的示意圖。

為此我們提出了一種新的類增量學習模型，以保持在模型輸出響應下的樣本鄰域關系與樣本-標簽優先級，從而在增量學習過程中較好保持舊模型的行為特性，實現對災難性遺忘的克服。除掉交叉熵損失之外，它主要包含兩個損失函數：即樣本鄰域保持損失（instance neighborhood-preserving，INP）和樣本的標簽優先級保持損失（label priority-preserving，LPP）。下邊分別進行介紹。

樣本鄰域保持損失

樣本鄰域保持損失在特征空間中保持樣例之間相似度的排名表，其可以由下列公式計算：

其中， 和 分別為樣本 在第 t 階段模型產生的特征空間和第 t-1 階段模型產生的特征空間中和樣本 的距離在樣本 所有鄰居中的排名（假設升序排序）。公式 1 其實就是斯皮爾曼足跡距離（spearman footrule distance）[4]。

上述損失函數的形式保持了每個樣本的所有鄰居的排名表。但事實上，我們發現，只有在排名表靠前（即相似）的樣本的位置對于拓撲保持乃至分類來講才是更為重要的；而剩下的樣本相對來講并不那么重要。

舉個通俗的例子，比如說同樣有四條腿的哺乳動物在外觀上看起來更為相似，因此理應關注它們之間相似度的排序，保證它們之間相似度在總相似度排名表的排序靠前；而哺乳動物和氣球或者飛機不相似，這種情況下，我們很難去合理地指出，一個哺乳動物究竟應該和氣球更像，還是應該跟飛機更像，因此去計較它們的相似度排序意義不大。

正是基于這種理解，我們對排名表進行了截斷，換句話說，在新模型上形成的排行榜上，我們只約束（歷史模型的）樣本 i 前 k 個鄰居所構成的子排行榜。

其中的 ，而 是在第 t 階段模型下的對應 的子排行榜。

樣本的標簽優先級保持損失

相似的，我們定義樣本的標簽優先級保持損失 LPP 如下：

其中 是樣本 在第 t-1 階段模型下的輸出概率向量的排名表， 是第 t-1 階段結果的所有類別總數。公式 3 相應的截斷版本可以通過類似公式 2 計算，我們得到：

下圖 3 進一步說明了截斷 LPP 的計算過程。

▲ 圖3: 標簽優先級保持損失LPP計算示意圖

可導排序函數

其完成上述兩個損失的邏輯設計之后，還有一個優化方面的問題尚待解決。排名表函數 是非連續函數，為了把它作為一個模塊嵌入神經網絡之中，并允許通過它參與反向傳播，我們提出了基于二元比較的可導排序算法。

以筆者個人觀點，這可能是整個論文得以實現的最關鍵一環，也是最體現研究人員主觀能動性的一個創新

我們先給出如果通過二元比較，得到元素在排名表中的位置的計算方式：

引理1：如果序列中任意兩個元素在不大于關系函數 下的比較結果已知，則整個序列的排序/排名表可以被確定。

證明：不失一般性，假設 。我們用標記函數 標記二元比對 的結果。當 時，；反之亦然。顯然， 在排名表中的位置 可以通過下式確定：

通俗地講，在升序序列中，一個元素的排名，由它在二元比對中獲勝的次數決定。

公式 5 中，兩兩比對函數 仍然是不連續的。為此，我們可以使用任何階躍函數的可導逼近來將比對差值 投影到 0 和 1 之間，比如 sigmoid 函數 。

至此，關于非連續的關鍵問題均已被解決。至于具體的可導排序實現，可以參考原文 Section IV. C

整體目標函數

綜合上邊的介紹，考慮到類增量學習的分類要求，最終我們選取的目標函數為

第一項為交叉熵損失。

實驗結果

我們在 CIFAR100、IMAGENET-1000 和 IMAGENET-100 上進行了實驗，和TPCIL [3]、LUCIR [2]、iCaRL [1]、EEiL 以及 LwF 等代表性算法進行了比對。主要的實驗結果如下圖和表所示：

▲ 圖4：比對結果

▲ 表格1：平均精度與遺忘率比對結果

此外，我們還提供各個部件的消融實驗以及對不同的排名表距離函數等進行了比對，具體實驗結果請參考原文相應段落。

小結：對于類增量學習任務而言，單個點在特征空間的位置不是關鍵，它們之間距離值也不是關鍵，它們兩兩距離的排序才是重中之重。為此我們提出了一種新的類增量學習模型，包含樣本鄰域排名表保持和樣本在標簽空間的排名表保持，并設計了一個可導的排序算法。相應算法具有被應用到更多任務的潛力。?

文章引用信息：

文章在 IEEE Xplore 主頁的鏈接：

https://ieeexplore.ieee.org/document/9705128

Bibtex：

@ARTICLE{9705128,
author={Liu, Yu and Hong, Xiaopeng and Tao, Xiaoyu and Dong, Songlin and Shi, Jingang and Gong, Yihong},
journal={IEEE Transactions on Neural Networks and Learning Systems},?
title={Model Behavior Preserving for Class-Incremental Learning},?
year={2022},
volume={},
number={},
pages={1-12},
doi={10.1109/TNNLS.2022.3144183}}

Plain text:

Y. Liu, X. Hong, X. Tao, S. Dong, J. Shi and Y. Gong, "Model Behavior Preserving for Class-Incremental Learning," in IEEE Transactions on Neural Networks and Learning Systems, doi: 10.1109/TNNLS.2022.3144183.

參考文獻

[1] S.-A. Rebuffi, A. Kolesnikov, G. Sperl, and C. H. Lampert, “ICaRL: Incremental classifier and representation learning,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 2001–2010.

[2] S. Hou, X. Pan, C. C. Loy, Z. Wang, and D. Lin, “Learning a unified classifier incrementally via rebalancing,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 831–839.

[3] X. Tao, X. Chang, X. Hong, X. Wei, and Y. Gong, “Topology-preserving class-incremental learning,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 254–270.

[4] R. Kumar and S. Vassilvitskii, “Generalized distances between rankings,”in Proc. 19th Int. Conf. World Wide Web (WWW), 2010, pp. 571–580.

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的TNNLS 22｜分数不是关键，排名才是关键：针对排行榜的模型“行为”保持与灾难性遗忘的克服...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。