目錄

• [1] Multi-Scale Fusion Subspace Clustering Using Similarity Constraint
• [2] Non-Local Neural Networks with Grouped Bilinear Attentional Transforms
• [3] Neural Networks Are More Productive Teachers Than Human Raters
• [4] Search to Distill Pearls are Everywhere but not the Eyes
• [5] iTAML An Incremental Task-Agnostic Meta-learning Approach
• [6] Learning to Segment the Tail
• 總結

[1] Multi-Scale Fusion Subspace Clustering Using Similarity Constraint

• baseline (NIPS2017)：親和矩陣 -> 譜聚類。已有方法的親和矩陣是計算得到（如余弦相似度、核方法），baseline中是學出來的（pre-train自編碼器 + fine-tune，學習自表達矩陣）。
• motivation：baseline只用到了deep encoder的深層信息，忽略了淺層信息。
• method：使用自編碼器的每一層學得一個自表達矩陣，再將它們融合。

[2] Non-Local Neural Networks with Grouped Bilinear Attentional Transforms

• baseline (CVPR2018 Non-Local Neural Networks)：baseline中提出了一種block，用于捕獲長范圍依賴關系（擴大感受野）。
• motivation：baseline的復雜度是$N^2$
• 作者提出：block應具有足夠強的建模能力，并能夠即插即用端到端。
• contribution1：減少了參數量和復雜度
• contribution2：通過bilinear達到了強大的建模能力。

[3] Neural Networks Are More Productive Teachers Than Human Raters

• oral
• motivation：減少query teacher model的次數（通過active learning解決）。
• method：共分為三步，①. 構造侯選池；②. 選擇不確定性最大的侯選池子集；③. 對黑盒的teacher model進行query。

[4] Search to Distill Pearls are Everywhere but not the Eyes

• oral
• motivation：對于每個student model，都應該存在與其對應的最好的teacher model architecture。
• method：使用neural network search解決。

[5] iTAML An Incremental Task-Agnostic Meta-learning Approach

• task：Incremental Learning，在不同的任務上進行增量學習。
• task challenge：塑料性（不能“喜新厭舊”，學會了新任務，忘了老任務）、穩定性（學不會新任務）。
• motivation：不同task上，用同一個model進行學習是很困難的。
• method：提出一個通用的模型，快速適用于多個任務。本質是，對不同的task用不同的model。
• challenge of this paper：①. task challenge ；②. 不指定task時，meta learning不好訓練；③. 現有方法都是用固定的內存（顯存），本文方法不可以。
  

[6] Learning to Segment the Tail

• 出自南洋理工張含望老師組
• task：長尾分布
• motivation：解決長尾分布。已有方法分為兩類：采樣 or 加權
• 長尾分布帶來兩個問題：①. 類別不平衡；②. few shot問題（尾部數據比較少）。
• method：divide & conquer（分割、逐漸占領）。按頻率從高到低對類別進行劃分，先使用頻率最高的第一部分進行訓練，再使用第二部分進行finetune，finetune的過程在第一部分進行采樣，使第一部分和第二部分平衡，以此類推。
• 本質：增量學習。
• GAN的模式崩塌：生成器沒有很好的約束，只會去擬合最容易擬合的部分，造成生成的結果都差不多。

總結

• [1][2] 兩篇文章都是基于baseline進行改進，都是用老方法解決老問題。
• [3][4] 兩篇文章都是對于Teacher-Student模型進行優化，聽下來的感覺，兩篇文章都是提出了領域中的一個新問題，沒有其他學者研究過，文章的novelty屬于最高層次，這應該是中oral的原因。
• [5][6] 兩篇都是poster，兩篇文章都是在已有問題探索了新方法，達到了更好的效果，novelty屬于第二層次。
• novelty的層次劃分：①. 最高層次：發現新問題；②. 第二層次：已有問題發現新解法；③. 第三層次：新的insight，有better understanding；④.最低層次：better results。
• 從目前我的理解來看，文章的novelty達到最高層次，基本就是頂會的oral。novelty達到第二層次，文章能夠發表在頂會的poster。第三、第四兩個層次都是前兩個層次的輔助，如果文章的novelty只能達到后兩個層次，很難中頂會頂刊。

總結

以上是生活随笔為你收集整理的2020-07-15 CVPR2020 表示学习论文讨论（4） 笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。