基于语言模型的少样本学习 / 深度学习优化器基准测试 | 本周值得读
在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。如果你也希望讓自己的科研成果被更多人看到，歡迎在后臺回復「論文推薦」。
本期編輯 | 張一帆
選文推薦 | PW內容團隊
01.
少樣本學習
論文標題：
True Few-Shot Learning with Language Models
論文鏈接：
https://arxiv.org/abs/2105.11447
代碼鏈接：
https://github.com/ethanjperez/true_few_shot
預訓練語言模型 (LM) 在許多任務中表現良好，即使是從少數樣本中學習，但之前的工作用許多保留樣本微調學習的各方面，如超參數、訓練目標和自然語言模板（“提示“）。本文評估了保留樣本不可用時，語言模型的少樣本能力，并把這種設置稱為真少樣本學習。測試了兩種模型選擇標準，交叉驗證和最小描述長度，用于在真少樣本學習環境中選擇語言模型的提示和超參數。
平均來說，這兩種方法都略優于隨機選擇，大大低于基于保留樣本的選擇。此外，選擇標準往往傾向于選擇那些表現明顯比隨機選擇更差的模型。即使考慮到在選擇過程中對模型真實性能的不確定性，以及改變用于選擇的計算量和樣本數量，也發現了類似的結果。研究結果表明，考慮到少樣本模型選擇的難度，之前的工作大大高估了語言模型的真少樣本能力。
02.
深度學習優化器
論文標題：
Descending through a Crowded Valley -- Benchmarking Deep Learning Optimizers
論文鏈接：
https://arxiv.org/abs/2007.01547
代碼鏈接：
https://github.com/SirRob1997/Crowded-Valley---Results
選擇優化器被認為是深度學習中最關鍵的設計決策之一，但這并非易事。現在，越來越多的文獻列出了數百種優化方法。在缺乏明確的理論指導和確鑿的經驗證據的情況下，該決定通常是根據經驗做出的。在這項工作中我們的目標是，如果不是最終結論，那么至少要用證據支持的啟發式方法來代替這些經驗。為此，我們對 15 種特別受歡迎的深度學習優化器進行了廣泛的標準化基準測試，同時簡要概述了各種可能的選擇。
通過分析 50,000 多個單獨的實驗，本文的貢獻主要有三點：1）優化器的性能在各個任務之間差異很大；2）我們觀察到，使用默認參數評估多個優化器的效果與調整單個固定優化器的超參數大致相同；3）雖然我們無法辨別出在所有測試任務中都明顯占據主導地位的優化方法，但我們發現了一個大大減少的特定優化器和參數選擇的子集，只需要在這些子集中搜索也通常會在我們的實驗中帶來可比的結果。ADAM 具有非常好的性能，新方法無法始終勝過它。我們的開源結果可作為具有挑戰性和經過精心調校的基準來使用，可對新型優化方法進行更有意義的評估，而無需進行任何進一步的計算工作。
03.
深度強化學習
論文標題：
Revisiting Rainbow: Promoting more Insightful and Inclusive Deep Reinforcement Learning Research
收錄會議：
ICML 2021
論文鏈接：
http://arxiv.org/abs/2011.14826
代碼鏈接：
https://github.com/JohanSamir/revisiting_rainbow
自從 DQN 引入以來，絕大多數強化學習研究都集中在使用深度神經網絡作為函數逼近器的強化學習上。現有工作通常會在目前已成為標準的一組環境中評估新方法，例如 Atari 2600 游戲。雖然這些基準有助于標準化評估，但不幸的是，它們的計算成本會擴大具有充足計算資源訪問權限的人與沒有足夠資源訪問計算資源的人之間的差距。?
在這項工作中，我們認為，盡管社區強調大型環境，但傳統的小型環境仍然可以產生有價值的科學見解，并且可以幫助減少貧困研究者的進入社區的障礙。為了證實我們的主張，我們根據經驗重新審視了介紹 Rainbow 算法的論文，并對 Rainbow 使用的算法提出了一些新見解。
04.
大規模人像照片潤色數據集
論文標題：
PPR10K: A Large-Scale Portrait Photo Retouching Dataset with Human-Region Mask and Group-Level Consistency
收錄會議：
CVPR 2021
論文鏈接：
https://arxiv.org/abs/2105.09180
代碼鏈接：
https://github.com/csjliang/PPR10K
與一般的照片潤色任務不同，人像照片潤色 (PPR) 的目的，是提高平面人像照片集合的視覺質量，有其特殊的實際要求，如人像區域優先 (HRP) 和組一致性 (GLC)。HRP 要求對人像區域給予更多關注，而 GLC 則要求將一組人像照片潤色成一致色調。然而，在現有的一般照片潤色數據集上訓練的模型，很難滿足 PPR 的這些要求。
為促進這一高頻任務的研究，構建了一個大規模的 PPR 數據集 PPR10K，包含 1,681 組、11,161 張高質量的原始人像照片。提供了高分辨率的人像區域分割掩模。每張原始照片由三位專家進行潤色，并精心調整每組照片，使其色調一致。定義了一套評估PPR性能的客觀措施，提出了學習具有良好 HRP 和 GLC 性能的 PPR 模型的策略。構建的 PPR10K 數據集為研究自動 PPR 方法提供了一個很好的基準，實驗證明，所提出的學習策略能夠有效地提高潤色性能。
05.
邏輯回歸
論文標題：
SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression
論文鏈接：
https://arxiv.org/abs/2103.12725
代碼鏈接：
https://github.com/google-research/sloe-logistic
邏輯回歸仍然是應用統計學、機器學習和數據科學中最廣泛使用的工具之一。然而，在中等高維的問題中，特征的數量是樣本容量的不可忽略的一部分，logistic 回歸最大似然估計 (MLE)，以及基于其分布的大樣本近似的統計程序，表現很差。最近，Sur 和 Cand 'es 證明了這些問題可以通過應用一種新的 MLE 抽樣分布的近似來糾正。不幸的是，這些修正在實踐中很難實現，因為它們需要信號強度的估計，而信號強度是 logistic 回歸的基礎參數 β 的函數。
為了解決這個問題，我們提出了 SLOE，一種快速而直接的方法來估計 logistic 回歸中的信號強度。SLOE?的關鍵見解是，Sur 和 Cand 'es [2019] 修正可以是被破壞信號強度的重新參數化項，這只是估計 parameter?β 的函數。我們提出了這個量的一個估計，證明了它在相應的高維區域是一致的，并證明了在有限樣本中使用 SLOE 進行維數修正是準確的。與現有的 ProbeFrontier 啟發式算法相比，SLOE 在概念上更簡單，速度快幾個數量級，適合常規使用。我們演示了常規維數校正在 UCI 存儲庫心臟病數據中的重要性，以及使用英國生物庫數據的基因組學應用。
06.
多目標跟蹤
論文標題：
SiamMOT: Siamese Multi-Object Tracking
收錄會議：
CVPR 2021
論文鏈接：
https://arxiv.org/abs/2105.11595
代碼鏈接：
https://github.com/amazon-research/siam-mot
在本文中，我們著重于改進在線多目標跟蹤 (MOT)。特別地，我們引入了一個基于區域的 Siamese 多目標跟蹤網絡，我們將其命名為 SiamMOT。SiamMOT 包括一個運動模型，估計實例在兩幀之間的移動，使檢測實例相關聯。為了探索運動建模如何影響其跟蹤能力，我們提出了 Siamese 跟蹤器的兩種變體，一種是隱式建模運動，另一種是顯式建模。
我們在三個不同的 MOT 數據集上進行了廣泛的定量實驗：MOT17、 TAO-person 和 Caltech Roadside Pedestrians，顯示了運動建模對 MOT 的重要性，以及 SiamMOT 大大優于最先進的能力。最后，SiamMOT 在 HiEve 數據集上的表現也超過了 ACMMM 的 20HiEve 大挑戰的獲勝者。此外，SiamMOT 是高效的，它在一個現代 GPU 上為 720P 視頻以 17FPS 的速度運行。
07.
圖像可記憶性估計
論文標題：
Embracing New Techniques in Deep Learning for Estimating Image Memorability
論文鏈接：
https://arxiv.org/abs/2105.10598
多項工作表明，圖像的可記憶性在不同人之間是一致的，因此可以被視為圖像的內在屬性。使用計算機視覺模型，可以對人們將記住或忘記的東西做出具體預測。雖然較早的工作是用現在已過時的深度學習架構預測圖像的記憶性，但該領域的創新給了我們新的技術來應用于這個問題。
本文提出并評估了五個備選的深度學習模型，利用該領域過去五年的發展，主要引入了殘差神經網絡，目的是讓模型在記憶性估計過程中使用語義信息。這些新的模型與之前的技術水平進行了測試，并建立了一個組合數據集，以優化類別內和跨類別的預測。研究結果表明，之前的主流記憶性網絡夸大了通用性，對訓練集過擬合。新模型優于之前模型，在記憶性回歸中，殘差網絡優于更簡單的卷積神經網絡。
08.
文本生成
論文標題：
Unifying Vision-and-Language Tasks via Text Generation
收錄會議：
ICML 2021
論文鏈接：
https://arxiv.org/abs/2102.02779
代碼鏈接：
https://github.com/j-min/VL-T5
本文提出了一個框架對于由視頻加文本、語音或音頻組成的多模態輸入生成文本這種任務。為了利用 transformer networks，每個模態通過一個可學習的分詞器首先轉換為一組語言嵌入。這將使得我們的方法可以在語言空間執行多模態融合，從而消除了對特定的跨模態融合模塊的需要。為了解決在連續輸入（例如視頻或音頻）上分詞的不可微性，我們利用了一種近似方案，該方案可進行端到端訓練。
進一步地，不像先前的只有 encoder 的模型。本文提出的網絡包括一個自回歸的 decoder 來生成開放式結尾的文本。同時在語言空間執行多模態融合，這使我們的方法完全具有生成性，并使其直接適用于不同的“video + x to text“問題，而無需為每個任務設計專門的網絡。本文提出的框架不僅概念簡單，而且效果顯著。實驗在多個任務上上實現了最好的性能，而且本文提出的方法不需要任何的預訓練任務。
09.
視覺表示
論文標題：
Visual representation of negation: Real world data analysis on comic image design
論文鏈接：
https://arxiv.org/abs/2105.10131
有一種廣泛的觀點認為視覺表示（例如照片和插圖）沒有描述否定，例如，對于文本我們可以用“火車不來“來表達的否定。但是通過分析照片或者插圖我們并不能得到類似的否定的觀點。
在使用圖像字幕任務的實驗中，我們給了人們漫畫插圖，并要求他們解釋他們可以從中讀到什么。收集到的數據表明，一些漫畫插圖可以在沒有任何序列（多個面板）或常規設備（特殊符號）幫助的情況下描繪否定詞。我們對該漫畫插圖進行了進一步的實驗，將圖像分為包含否定的圖像和不包含否定的圖像。雖然這種圖像分類對人類來說很容易，但是對于數據驅動的機器（即深度學習模型（CNN））來說，要實現相同的高性能是很困難的。根據觀察，我們認為一些漫畫插圖喚起了背景知識，因此可以用純粹的視覺元素來描繪否定詞。
10.
視覺Transformer
論文標題：
Intriguing Properties of Vision Transformers
論文鏈接：
https://arxiv.org/abs/2105.10497
代碼鏈接：
https://github.com/Muzammal-Naseer/Intriguing-Properties-of-Vision-Transformers
視覺 Transformer（ViT）在各種機器視覺問題上均表現出令人印象深刻的性能。這些模型基于 multi-head 自注意力機制，該機制可以靈活地處理一系列圖像 patches 以對上下文 cues 進行編碼。一個重要的問題是，在以給定 patch 為條件的圖像范圍內，如何靈活地處理自然圖像中的煩擾，例如嚴重的遮擋，域移位，空間排列，對抗性和自然擾動。
我們通過涵蓋三個 ViT 系列的大量實驗，以及與高性能卷積神經網絡（CNN）的比較，系統地研究了這個問題。我們顯示并分析了 ViT 的以下吸引人的特性：
1. Transformer 對嚴重的遮擋，擾動和域偏移具有很高的魯棒性，例如，即使隨機遮擋了 80％ 的圖像，在 ImageNet 上仍可保持高達 60％ 的 top-1 精度；
2. 遮擋的強大性能并不是由于偏向局部紋理，與 CNN 相比，ViT 對紋理的偏向要小得多。當經過適當訓練以對基于形狀的特征進行編碼時，ViT 可以展現出與人類視覺系統相當的形狀識別能力，這在文獻中是前所未有的；
3. 使用 ViT 對形狀表示進行編碼會導致有趣的結果，即在沒有像素級監督的情況下進行精確的語義分割；
4. 可以將單個 ViT 模型的現成特征進行組合以創建特征 ensemble，從而在傳統學習模型和少量學習模型中的一系列分類數據集上實現較高的準確率。
更多閱讀
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結
以上是生活随笔為你收集整理的基于语言模型的少样本学习 / 深度学习优化器基准测试 | 本周值得读的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： win10固态硬盘卡怎么办 解决win1
- 下一篇： 深度学习下的点击率预测：交互与建模