目錄

• [1] CVPR2020_A Unified Optimization Framework for Low-Rank Inducing Penaltie
• [2] CVPR2020_Automatic Neural Network Compression by Sparsity-Quantization Joint
• [3] CVPR2020_Cogradient Descent for Bilinear Optimization
• [4] CVPR2020_Adaptive Subspaces for Few-Shot Learning
• [5] CVPR2020_Learning to Forget for Meta-Learning
• [6] CVPR2020_Boosting Few-Shot Learning with Adaptive Margin Loss
• 總結

[1] CVPR2020_A Unified Optimization Framework for Low-Rank Inducing Penaltie

• 低秩在圖像處理中應用廣泛，可以看做是一種約束
• 利用核范數做松弛，在低秩中應用比較廣泛
• 國內低秩方面做的比較好的學者 西工大聶飛平 北大林宙辰 浙大蔡登

[2] CVPR2020_Automatic Neural Network Compression by Sparsity-Quantization Joint

• 傳統方法中，壓縮比率是超參數，通過黑盒優化，自動完成壓縮比率的搜索
• 本文方法：剪枝、自動、端到端、沒有黑盒優化、沒有新的超參數
• 本文的建模方法非常值得學習，將網絡壓縮建模為約束求解，并轉換為0-1背包問題

[3] CVPR2020_Cogradient Descent for Bilinear Optimization

• 雙線性優化中，假設兩個變量相互獨立，非同步收斂，計算梯度時易出現梯度消失
• 本文假設兩個變量是相互耦合的，更新時分兩種情況，當非同步收斂時使用一種（投影函數方法），否則使用相互獨立的方法，最終達到相同收斂速度。

[4] CVPR2020_Adaptive Subspaces for Few-Shot Learning

• 提出了更合適的度量方法
• 動態變化分類？
• subspace是根據樣本確定的，整個模型的訓練過程，訓練的是backbone的參數，想讓類間距離變大、類內距離變小，給我的感覺就是一個參數化的聚類算法。
• 為啥要用subspace？文中其實沒給出一個合理的解釋。

[5] CVPR2020_Learning to Forget for Meta-Learning

• 大部分方法都是學一個初始化，本文認為不同任務之間存在沖突，初始化可能不合理。
• 本文選擇遺忘一些初始化，對不同任務，生成不同的初始化點。
• 寫論文時，可以可視化motivation，比單純的文本描述更清晰。

[6] CVPR2020_Boosting Few-Shot Learning with Adaptive Margin Loss

• metric learning中，比較重要的概念是margin。比如，相同類別的margin應小于一個閾值，不同類別的margin應大于一個閾值。
• 本文的想法是，不同類之間的margin不應是固定的、預設的。如為了更好地分類“狗”和“貓”，訓練時，這兩類之間的margin應該更大。本文方法會對不同的類別對，生成不同的margin。

總結

多看論文多思考，解決的問題要清晰、明確。

總結

以上是生活随笔為你收集整理的2020-07-01 CVPR2020 表示学习论文讨论（2） 笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。