?

我們常用的基于梯度優化的深層網絡往往需要大量的數據和迭代步驟。
我們面對的數據場景是有一系列小的數據集而不是一個大的數據集，每一個類有很少的標記數據，這種情況和人類的學習很像，通過一個給定的數據，就能總結出對事物全面的認識，其中主要有兩個原因導致了基于梯度的優化算法在小樣本下表現不好。元學習被認為是實現人類水平的智能的一個關鍵點，元學習在兩個層次間學習，（1）在每項任務中學習，（2）同時積累任務之間相似性和差異的知識。
受參數梯度更新的啟發，提出了基于lstm的元學習模型，因為元學習的更新和lstm細胞狀態的更新相似，因此我們訓練一個基于lstm的元學習器來學習訓練網絡過程中的更新規則，我們把lstm中單元的狀態看作元分類器的參數，將元學習器的更新規則和LSTM的細胞狀態更新相匹配。

元學習優化器能夠在給定一系列分類器在訓練集的梯度和損失下，為分類器生成一系列更新，從而使分類器達到較好的表現。每一步迭代t，基于lstm的元學習器都接受到分類器傳來的梯度，損失等信息，元學習器基于此計算學習率和忘記門的值，并返回給分類器要更新的參數的值，每迭代T步，分類器的損失在測試集上計算出來返回給元學習器，用來訓練元學習器，更新元學習器的參數。

帶注釋論文的下載鏈接如下：
https://download.csdn.net/download/qq_34562093/10975718

總結

以上是生活随笔為你收集整理的元学习论文OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING的简单理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。