原文鏈接：
https://zhuanlan.zhihu.com/p/362351969
A Survey on Curriculum Learning TPAMI 2021

文章目錄

• 問題定義
• 有效性分析
• • 1. 模型優化角度
  • 數據分布角度
• 方法總結
• • Predefined CL
  • Automatic CL
• 未來研究方向

全文內容導圖匯總：

導圖： https://note.youdao.com/s/HLNvypPq

Bengio [1] 首先提出了課程學習（Curriculum learning，CL）的概念，它是一種訓練策略，模仿人類的學習過程，主張讓模型先從容易的樣本開始學習，并逐漸進階到復雜的樣本和知識。

問題定義

有效性分析

1. 模型優化角度

CL可以看成是一種特殊的 continuation 方法。這種方法首先優化比較smooth的問題，然后逐漸優化到不夠smooth的問題。

continuation 方法提供了一個優化目標序列，從一個比較平滑的目標開始，很容易找到全局最小值，并在整個訓練過程中跟蹤局部最小值。另外，從更容易的目標中學習到的局部最小值具有更好的泛化能力，更有可能近似于全局最小值。

數據分布角度

沒有理解。

方法總結

課程學習的核心問題是得到一個ranking function，該函數能夠對每條數據/每個任務給出其learning priority (學習優先程度)。 這個則由**難度測量器（Difficulty Measurer）**實現。

基于"難度測量器+訓練調度器 "的框架設計：

• 難度測量器（Difficulty Measurer）：給出其**learning priority (學習優先程度)。
• 訓練調度器 （Training Scheduler）：什么時候把 Hard data 輸入訓練 以及 每次放多少

根據這兩個是否自動設計可以將CL分成兩個大類即 Predefined CL 和 Automatic CL。

Predefined CL

• 難度測量器和訓練調度器都是利用人類先驗先驗知識由人類專家去設計

訓練調度器可以分為離散調度器和連續調度器。
兩者的區別在于：離散型調度器是在每一個固定的次數（>1）后調整訓練數據子集，或者在當前數據子集上收斂，而連續型調度器則是在每一個epoch調整訓練數據子集。

存在的問題

(1) 很難預定義CL的方法找到測量器和調度器兩者最優的組合。

(2) 不夠靈活，沒有考慮模型自身的反饋在訓練過程中。

(3) 需要專家知識，代價較高。

(4) 人類認為容易的樣本對模型來說就不一定容易。（人和機器模型的決策邊界不一定一致）

Automatic CL

至少其中一個是以數據驅動的方式自動設計

自動CL的方法論分為四類，即

• Self-paced Learning： Self-paced Learning 讓學生自己充當老師，根據其對實例的損失來衡量訓練實例的難度。這種策略類似于學生自學：根據自己的現狀決定自己的學習進度。
• Transfer Teacher: Transfer Teacher 則通過1個強勢的教師模型來充當教師，根據教師對實例的表現來衡量訓練實例的難度。教師模型經過預訓練，并將其知識轉移到測量學生模型訓練的例子難度上。
• RL Teacher : RL Teacher 采用強化學習（RL）模式，教師根據學生的反饋，實現數據動態選擇。學生根據教師選擇的量身定做的學習材料取得最大的進步，而教師也有效地調整自己的教學策略，更好地進行教學。
• 其他自動CL。如采取不同的優化技術來自動尋找模型訓練的最佳課程，包括貝葉斯優化、元學習、hypernetworks等。
  

未來研究方向

評價數據集和指標
雖然各種CL方法已經被提出并被證明是有效的，但很少有工作用通用基準來評估它們。在現有的文獻中，數據集和指標在不同的應用中是多樣化的。

更完善的理論分析
現有的理論分析為理解CL提供了不同的角度。盡管如此，我們還需要更多的理論來幫助我們揭示為什么典型的CL是有效的。

更多的CL算法以及應用
自動CL為CL在更廣泛的研究領域提供了潛在的應用價值，已經成為一個前沿方向。因此，一個很有前途的方向是設計更多的自動CL方法，這些方法可具有不同的優化方式(如：bandit 算法、元學習、超參數優化等)和不同的目標(如：數據選擇/加權、尋找最佳損失函數或假設空間等)。除了方法之外，還應該探索CL在更多領域中的應用。

精選參考文獻：

[1] Bengio, Yoshua, et al. “Curriculum learning.”Proceedings of the 26th annual international conference on machine learning. ACM, 2009.

總結

以上是生活随笔為你收集整理的课程学习(Curriculum Learning, CL)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。