轉(zhuǎn)自：專知【https://www.zhuanzhi.ai/】

【導(dǎo)讀】現(xiàn)有的機(jī)器學(xué)習(xí)方法在很多場景下需要依賴大量的訓(xùn)練樣本。但機(jī)器學(xué)習(xí)方法是否可以模仿人類，基于先驗知識等，只基于少量的樣本就可以進(jìn)行學(xué)習(xí)。本文介紹41頁小樣本學(xué)習(xí)綜述《Few-shot Learning: A Survey》，包含146篇參考文獻(xiàn)，來自第四范式和香港科技大學(xué)習(xí)的研究學(xué)者。

論文地址：

Few-shot Learning: A Survey?www.zhuanzhi.ai

目錄：

• 摘要
• 簡介
• 概覽
  • 符號
  • 問題定義
  • 相關(guān)的學(xué)習(xí)問題
  • 核心問題
  • 分類
• 數(shù)據(jù)
  • 利用變換來復(fù)制增強數(shù)據(jù)集
  • 從別的數(shù)據(jù)集引入數(shù)據(jù)
  • 總結(jié)
• 模型
  • 多任務(wù)學(xué)習(xí)
  • 嵌入學(xué)習(xí)
  • 額外記憶學(xué)習(xí)
  • 生成模型
  • 總結(jié)
• 算法
  • 改善已有參數(shù)
  • 改善Meta-learned
  • 學(xué)習(xí)搜索步驟
  • 總結(jié)
• 未來工作
  • 問題設(shè)置
  • 技術(shù)
  • 應(yīng)用
  • 理論
• 總結(jié)

【摘要】“機(jī)器會思考嗎”和“機(jī)器能做人類做的事情嗎”是推動人工智能發(fā)展的任務(wù)。盡管最近的人工智能在許多數(shù)據(jù)密集型應(yīng)用中取得了成功，但它仍然缺乏從有限的數(shù)據(jù)示例學(xué)習(xí)和對新任務(wù)的快速泛化的能力。為了解決這個問題，我們必須求助于機(jī)器學(xué)習(xí)，它支持人工智能的科學(xué)研究。特別地，在這種情況下，有一個機(jī)器學(xué)習(xí)問題稱為小樣本學(xué)習(xí)(Few-Shot Learning，FSL)。該方法利用先驗知識，可以快速地推廣到有限監(jiān)督經(jīng)驗的新任務(wù)中，通過推廣和類比，模擬人類從少數(shù)例子中獲取知識的能力。它被視為真正人工智能，是一種減少繁重的數(shù)據(jù)收集和計算成本高昂的培訓(xùn)的方法，也是罕見案例學(xué)習(xí)有效方式。隨著FSL研究的廣泛開展，我們對其進(jìn)行了全面的綜述。我們首先給出了FSL的正式定義。然后指出了FSL的核心問題，將問題從“如何解決FSL”轉(zhuǎn)變?yōu)椤叭绾翁幚砗诵膯栴}”。因此，從FSL誕生到最近發(fā)表的作品都被歸為一個統(tǒng)一的類別，并對不同類別的優(yōu)缺點進(jìn)行了深入的討論。最后，我們從問題設(shè)置、技術(shù)、應(yīng)用和理論等方面展望了FSL未來可能的發(fā)展方向，希望為初學(xué)者和有經(jīng)驗的研究者提供一些見解。

小樣本學(xué)習(xí)方法體系：

• 我們給出了FSL的形式化定義。它可以自然地鏈接到以往文獻(xiàn)中提出的經(jīng)典機(jī)器學(xué)習(xí)定義。這個定義不僅足夠概括，包括所有現(xiàn)有的FSL -shot Learning: A Survey problems，而且足夠具體，明確了什么是FSL的目標(biāo)，以及我們?nèi)绾谓鉀Q它。這一定義有助于確定未來FSL領(lǐng)域的研究目標(biāo)。
• 指出了基于誤差分解的FSL在機(jī)器學(xué)習(xí)中的核心問題。我們發(fā)現(xiàn)，正是不可靠的經(jīng)驗風(fēng)險最小化使得FSL難以學(xué)習(xí)。這可以通過滿足或降低學(xué)習(xí)的樣本復(fù)雜度來緩解。理解核心問題有助于根據(jù)解決核心問題的方式將不同的工作分類為數(shù)據(jù)、模型和算法。更重要的是，這為更有組織和系統(tǒng)地改進(jìn)FSL方法提供了見解。
• 我們對從FSL誕生到最近發(fā)表的文獻(xiàn)進(jìn)行了廣泛的回顧，并將它們進(jìn)行了統(tǒng)一的分類。對不同類別的優(yōu)缺點進(jìn)行了深入的討論。我們還對每個類別下的見解進(jìn)行了總結(jié)。這對于初學(xué)者和有經(jīng)驗的研究人員都是一個很好的指導(dǎo)方針。
• 我們在問題設(shè)置、技術(shù)、應(yīng)用和理論方面展望了FSL未來的四個發(fā)展方向。這些見解都是基于當(dāng)前FSL發(fā)展的不足之處，并有可能在未來進(jìn)行探索。我們希望這部分能夠提供一些見解，為解決FSL問題做出貢獻(xiàn)，為真正的AI而努力。
• 與已有的關(guān)于小樣本概念學(xué)習(xí)和經(jīng)驗學(xué)習(xí)的FSL相關(guān)調(diào)相比，我們給出了什么是FSL，為什么FSL很難，以及FSL如何將小樣本監(jiān)督信息與先驗知識結(jié)合起來使學(xué)習(xí)成為可能的正式定義。我們進(jìn)行了廣泛的文獻(xiàn)審查的基礎(chǔ)上提出的分類法與詳細(xì)討論的利弊，總結(jié)和見解。我們還討論了FSL與半監(jiān)督學(xué)習(xí)、不平衡學(xué)習(xí)、遷移學(xué)習(xí)和元學(xué)習(xí)等相關(guān)話題之間的聯(lián)系和區(qū)別

元學(xué)習(xí)設(shè)置：

監(jiān)督機(jī)器學(xué)習(xí)中常見設(shè)置與少樣本設(shè)置的比較

基于嵌入學(xué)習(xí)的小樣本學(xué)習(xí)方法

學(xué)習(xí)FSL問題的搜索步驟

總結(jié)

以上是生活随笔為你收集整理的小样本点云深度学习库_论文 | 小样本学习综述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。