在碎片化閱讀充斥眼球的時(shí)代，越來(lái)越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。如果你也希望讓自己的科研成果被更多人看到，歡迎在后臺(tái)回復(fù)「論文推薦」。

本期編輯 | 張一帆

選文推薦 | PW內(nèi)容團(tuán)隊(duì)

01.

少樣本學(xué)習(xí)

論文標(biāo)題：

True Few-Shot Learning with Language Models

論文鏈接：

https://arxiv.org/abs/2105.11447

代碼鏈接：

https://github.com/ethanjperez/true_few_shot

預(yù)訓(xùn)練語(yǔ)言模型 (LM) 在許多任務(wù)中表現(xiàn)良好，即使是從少數(shù)樣本中學(xué)習(xí)，但之前的工作用許多保留樣本微調(diào)學(xué)習(xí)的各方面，如超參數(shù)、訓(xùn)練目標(biāo)和自然語(yǔ)言模板（“提示“）。本文評(píng)估了保留樣本不可用時(shí)，語(yǔ)言模型的少樣本能力，并把這種設(shè)置稱為真少樣本學(xué)習(xí)。測(cè)試了兩種模型選擇標(biāo)準(zhǔn)，交叉驗(yàn)證和最小描述長(zhǎng)度，用于在真少樣本學(xué)習(xí)環(huán)境中選擇語(yǔ)言模型的提示和超參數(shù)。

平均來(lái)說(shuō)，這兩種方法都略優(yōu)于隨機(jī)選擇，大大低于基于保留樣本的選擇。此外，選擇標(biāo)準(zhǔn)往往傾向于選擇那些表現(xiàn)明顯比隨機(jī)選擇更差的模型。即使考慮到在選擇過(guò)程中對(duì)模型真實(shí)性能的不確定性，以及改變用于選擇的計(jì)算量和樣本數(shù)量，也發(fā)現(xiàn)了類似的結(jié)果。研究結(jié)果表明，考慮到少樣本模型選擇的難度，之前的工作大大高估了語(yǔ)言模型的真少樣本能力。

02.

深度學(xué)習(xí)優(yōu)化器

論文標(biāo)題：

Descending through a Crowded Valley -- Benchmarking Deep Learning Optimizers

論文鏈接：

https://arxiv.org/abs/2007.01547

代碼鏈接：

https://github.com/SirRob1997/Crowded-Valley---Results

選擇優(yōu)化器被認(rèn)為是深度學(xué)習(xí)中最關(guān)鍵的設(shè)計(jì)決策之一，但這并非易事。現(xiàn)在，越來(lái)越多的文獻(xiàn)列出了數(shù)百種優(yōu)化方法。在缺乏明確的理論指導(dǎo)和確鑿的經(jīng)驗(yàn)證據(jù)的情況下，該決定通常是根據(jù)經(jīng)驗(yàn)做出的。在這項(xiàng)工作中我們的目標(biāo)是，如果不是最終結(jié)論，那么至少要用證據(jù)支持的啟發(fā)式方法來(lái)代替這些經(jīng)驗(yàn)。為此，我們對(duì) 15 種特別受歡迎的深度學(xué)習(xí)優(yōu)化器進(jìn)行了廣泛的標(biāo)準(zhǔn)化基準(zhǔn)測(cè)試，同時(shí)簡(jiǎn)要概述了各種可能的選擇。

通過(guò)分析 50,000 多個(gè)單獨(dú)的實(shí)驗(yàn)，本文的貢獻(xiàn)主要有三點(diǎn)：1）優(yōu)化器的性能在各個(gè)任務(wù)之間差異很大；2）我們觀察到，使用默認(rèn)參數(shù)評(píng)估多個(gè)優(yōu)化器的效果與調(diào)整單個(gè)固定優(yōu)化器的超參數(shù)大致相同；3）雖然我們無(wú)法辨別出在所有測(cè)試任務(wù)中都明顯占據(jù)主導(dǎo)地位的優(yōu)化方法，但我們發(fā)現(xiàn)了一個(gè)大大減少的特定優(yōu)化器和參數(shù)選擇的子集，只需要在這些子集中搜索也通常會(huì)在我們的實(shí)驗(yàn)中帶來(lái)可比的結(jié)果。ADAM 具有非常好的性能，新方法無(wú)法始終勝過(guò)它。我們的開(kāi)源結(jié)果可作為具有挑戰(zhàn)性和經(jīng)過(guò)精心調(diào)校的基準(zhǔn)來(lái)使用，可對(duì)新型優(yōu)化方法進(jìn)行更有意義的評(píng)估，而無(wú)需進(jìn)行任何進(jìn)一步的計(jì)算工作。

03.

深度強(qiáng)化學(xué)習(xí)

論文標(biāo)題：

Revisiting Rainbow: Promoting more Insightful and Inclusive Deep Reinforcement Learning Research

收錄會(huì)議：

ICML 2021

論文鏈接：

http://arxiv.org/abs/2011.14826

代碼鏈接：

https://github.com/JohanSamir/revisiting_rainbow

自從 DQN 引入以來(lái)，絕大多數(shù)強(qiáng)化學(xué)習(xí)研究都集中在使用深度神經(jīng)網(wǎng)絡(luò)作為函數(shù)逼近器的強(qiáng)化學(xué)習(xí)上。現(xiàn)有工作通常會(huì)在目前已成為標(biāo)準(zhǔn)的一組環(huán)境中評(píng)估新方法，例如 Atari 2600 游戲。雖然這些基準(zhǔn)有助于標(biāo)準(zhǔn)化評(píng)估，但不幸的是，它們的計(jì)算成本會(huì)擴(kuò)大具有充足計(jì)算資源訪問(wèn)權(quán)限的人與沒(méi)有足夠資源訪問(wèn)計(jì)算資源的人之間的差距。?

在這項(xiàng)工作中，我們認(rèn)為，盡管社區(qū)強(qiáng)調(diào)大型環(huán)境，但傳統(tǒng)的小型環(huán)境仍然可以產(chǎn)生有價(jià)值的科學(xué)見(jiàn)解，并且可以幫助減少貧困研究者的進(jìn)入社區(qū)的障礙。為了證實(shí)我們的主張，我們根據(jù)經(jīng)驗(yàn)重新審視了介紹 Rainbow 算法的論文，并對(duì) Rainbow 使用的算法提出了一些新見(jiàn)解。

04.

大規(guī)模人像照片潤(rùn)色數(shù)據(jù)集

論文標(biāo)題：

PPR10K: A Large-Scale Portrait Photo Retouching Dataset with Human-Region Mask and Group-Level Consistency

收錄會(huì)議：

CVPR 2021

論文鏈接：

https://arxiv.org/abs/2105.09180

代碼鏈接：

https://github.com/csjliang/PPR10K

與一般的照片潤(rùn)色任務(wù)不同，人像照片潤(rùn)色 (PPR) 的目的，是提高平面人像照片集合的視覺(jué)質(zhì)量，有其特殊的實(shí)際要求，如人像區(qū)域優(yōu)先 (HRP) 和組一致性 (GLC)。HRP 要求對(duì)人像區(qū)域給予更多關(guān)注，而 GLC 則要求將一組人像照片潤(rùn)色成一致色調(diào)。然而，在現(xiàn)有的一般照片潤(rùn)色數(shù)據(jù)集上訓(xùn)練的模型，很難滿足 PPR 的這些要求。

為促進(jìn)這一高頻任務(wù)的研究，構(gòu)建了一個(gè)大規(guī)模的 PPR 數(shù)據(jù)集 PPR10K，包含 1,681 組、11,161 張高質(zhì)量的原始人像照片。提供了高分辨率的人像區(qū)域分割掩模。每張?jiān)颊掌扇粚＜疫M(jìn)行潤(rùn)色，并精心調(diào)整每組照片，使其色調(diào)一致。定義了一套評(píng)估PPR性能的客觀措施，提出了學(xué)習(xí)具有良好 HRP 和 GLC 性能的 PPR 模型的策略。構(gòu)建的 PPR10K 數(shù)據(jù)集為研究自動(dòng) PPR 方法提供了一個(gè)很好的基準(zhǔn)，實(shí)驗(yàn)證明，所提出的學(xué)習(xí)策略能夠有效地提高潤(rùn)色性能。

05.

邏輯回歸

論文標(biāo)題：

SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression

論文鏈接：

https://arxiv.org/abs/2103.12725

代碼鏈接：

https://github.com/google-research/sloe-logistic

邏輯回歸仍然是應(yīng)用統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)中最廣泛使用的工具之一。然而，在中等高維的問(wèn)題中，特征的數(shù)量是樣本容量的不可忽略的一部分，logistic 回歸最大似然估計(jì) (MLE)，以及基于其分布的大樣本近似的統(tǒng)計(jì)程序，表現(xiàn)很差。最近，Sur 和 Cand 'es 證明了這些問(wèn)題可以通過(guò)應(yīng)用一種新的 MLE 抽樣分布的近似來(lái)糾正。不幸的是，這些修正在實(shí)踐中很難實(shí)現(xiàn)，因?yàn)樗鼈冃枰盘?hào)強(qiáng)度的估計(jì)，而信號(hào)強(qiáng)度是 logistic 回歸的基礎(chǔ)參數(shù) β 的函數(shù)。

為了解決這個(gè)問(wèn)題，我們提出了 SLOE，一種快速而直接的方法來(lái)估計(jì) logistic 回歸中的信號(hào)強(qiáng)度。SLOE?的關(guān)鍵見(jiàn)解是，Sur 和 Cand 'es [2019] 修正可以是被破壞信號(hào)強(qiáng)度的重新參數(shù)化項(xiàng)，這只是估計(jì) parameter?β 的函數(shù)。我們提出了這個(gè)量的一個(gè)估計(jì)，證明了它在相應(yīng)的高維區(qū)域是一致的，并證明了在有限樣本中使用 SLOE 進(jìn)行維數(shù)修正是準(zhǔn)確的。與現(xiàn)有的 ProbeFrontier 啟發(fā)式算法相比，SLOE 在概念上更簡(jiǎn)單，速度快幾個(gè)數(shù)量級(jí)，適合常規(guī)使用。我們演示了常規(guī)維數(shù)校正在 UCI 存儲(chǔ)庫(kù)心臟病數(shù)據(jù)中的重要性，以及使用英國(guó)生物庫(kù)數(shù)據(jù)的基因組學(xué)應(yīng)用。

06.

多目標(biāo)跟蹤

論文標(biāo)題：

SiamMOT: Siamese Multi-Object Tracking

收錄會(huì)議：

CVPR 2021

論文鏈接：

https://arxiv.org/abs/2105.11595

代碼鏈接：

https://github.com/amazon-research/siam-mot

在本文中，我們著重于改進(jìn)在線多目標(biāo)跟蹤 (MOT)。特別地，我們引入了一個(gè)基于區(qū)域的 Siamese 多目標(biāo)跟蹤網(wǎng)絡(luò)，我們將其命名為 SiamMOT。SiamMOT 包括一個(gè)運(yùn)動(dòng)模型，估計(jì)實(shí)例在兩幀之間的移動(dòng)，使檢測(cè)實(shí)例相關(guān)聯(lián)。為了探索運(yùn)動(dòng)建模如何影響其跟蹤能力，我們提出了 Siamese 跟蹤器的兩種變體，一種是隱式建模運(yùn)動(dòng)，另一種是顯式建模。

我們?cè)谌齻€(gè)不同的 MOT 數(shù)據(jù)集上進(jìn)行了廣泛的定量實(shí)驗(yàn)：MOT17、 TAO-person 和 Caltech Roadside Pedestrians，顯示了運(yùn)動(dòng)建模對(duì) MOT 的重要性，以及 SiamMOT 大大優(yōu)于最先進(jìn)的能力。最后，SiamMOT 在 HiEve 數(shù)據(jù)集上的表現(xiàn)也超過(guò)了 ACMMM 的 20HiEve 大挑戰(zhàn)的獲勝者。此外，SiamMOT 是高效的，它在一個(gè)現(xiàn)代 GPU 上為 720P 視頻以 17FPS 的速度運(yùn)行。

07.

圖像可記憶性估計(jì)

論文標(biāo)題：

Embracing New Techniques in Deep Learning for Estimating Image Memorability

論文鏈接：

https://arxiv.org/abs/2105.10598

多項(xiàng)工作表明，圖像的可記憶性在不同人之間是一致的，因此可以被視為圖像的內(nèi)在屬性。使用計(jì)算機(jī)視覺(jué)模型，可以對(duì)人們將記住或忘記的東西做出具體預(yù)測(cè)。雖然較早的工作是用現(xiàn)在已過(guò)時(shí)的深度學(xué)習(xí)架構(gòu)預(yù)測(cè)圖像的記憶性，但該領(lǐng)域的創(chuàng)新給了我們新的技術(shù)來(lái)應(yīng)用于這個(gè)問(wèn)題。

本文提出并評(píng)估了五個(gè)備選的深度學(xué)習(xí)模型，利用該領(lǐng)域過(guò)去五年的發(fā)展，主要引入了殘差神經(jīng)網(wǎng)絡(luò)，目的是讓模型在記憶性估計(jì)過(guò)程中使用語(yǔ)義信息。這些新的模型與之前的技術(shù)水平進(jìn)行了測(cè)試，并建立了一個(gè)組合數(shù)據(jù)集，以優(yōu)化類別內(nèi)和跨類別的預(yù)測(cè)。研究結(jié)果表明，之前的主流記憶性網(wǎng)絡(luò)夸大了通用性，對(duì)訓(xùn)練集過(guò)擬合。新模型優(yōu)于之前模型，在記憶性回歸中，殘差網(wǎng)絡(luò)優(yōu)于更簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)。

08.

文本生成

論文標(biāo)題：

Unifying Vision-and-Language Tasks via Text Generation

收錄會(huì)議：

ICML 2021

論文鏈接：

https://arxiv.org/abs/2102.02779

代碼鏈接：

https://github.com/j-min/VL-T5

本文提出了一個(gè)框架對(duì)于由視頻加文本、語(yǔ)音或音頻組成的多模態(tài)輸入生成文本這種任務(wù)。為了利用 transformer networks，每個(gè)模態(tài)通過(guò)一個(gè)可學(xué)習(xí)的分詞器首先轉(zhuǎn)換為一組語(yǔ)言嵌入。這將使得我們的方法可以在語(yǔ)言空間執(zhí)行多模態(tài)融合，從而消除了對(duì)特定的跨模態(tài)融合模塊的需要。為了解決在連續(xù)輸入（例如視頻或音頻）上分詞的不可微性，我們利用了一種近似方案，該方案可進(jìn)行端到端訓(xùn)練。

進(jìn)一步地，不像先前的只有 encoder 的模型。本文提出的網(wǎng)絡(luò)包括一個(gè)自回歸的 decoder 來(lái)生成開(kāi)放式結(jié)尾的文本。同時(shí)在語(yǔ)言空間執(zhí)行多模態(tài)融合，這使我們的方法完全具有生成性，并使其直接適用于不同的“video + x to text“問(wèn)題，而無(wú)需為每個(gè)任務(wù)設(shè)計(jì)專門的網(wǎng)絡(luò)。本文提出的框架不僅概念簡(jiǎn)單，而且效果顯著。實(shí)驗(yàn)在多個(gè)任務(wù)上上實(shí)現(xiàn)了最好的性能，而且本文提出的方法不需要任何的預(yù)訓(xùn)練任務(wù)。

09.

視覺(jué)表示

論文標(biāo)題：

Visual representation of negation: Real world data analysis on comic image design

論文鏈接：

https://arxiv.org/abs/2105.10131

有一種廣泛的觀點(diǎn)認(rèn)為視覺(jué)表示（例如照片和插圖）沒(méi)有描述否定，例如，對(duì)于文本我們可以用“火車不來(lái)“來(lái)表達(dá)的否定。但是通過(guò)分析照片或者插圖我們并不能得到類似的否定的觀點(diǎn)。

在使用圖像字幕任務(wù)的實(shí)驗(yàn)中，我們給了人們漫畫(huà)插圖，并要求他們解釋他們可以從中讀到什么。收集到的數(shù)據(jù)表明，一些漫畫(huà)插圖可以在沒(méi)有任何序列（多個(gè)面板）或常規(guī)設(shè)備（特殊符號(hào)）幫助的情況下描繪否定詞。我們對(duì)該漫畫(huà)插圖進(jìn)行了進(jìn)一步的實(shí)驗(yàn)，將圖像分為包含否定的圖像和不包含否定的圖像。雖然這種圖像分類對(duì)人類來(lái)說(shuō)很容易，但是對(duì)于數(shù)據(jù)驅(qū)動(dòng)的機(jī)器（即深度學(xué)習(xí)模型（CNN））來(lái)說(shuō)，要實(shí)現(xiàn)相同的高性能是很困難的。根據(jù)觀察，我們認(rèn)為一些漫畫(huà)插圖喚起了背景知識(shí)，因此可以用純粹的視覺(jué)元素來(lái)描繪否定詞。

10.

視覺(jué)Transformer

論文標(biāo)題：

Intriguing Properties of Vision Transformers

論文鏈接：

https://arxiv.org/abs/2105.10497

代碼鏈接：

https://github.com/Muzammal-Naseer/Intriguing-Properties-of-Vision-Transformers

視覺(jué) Transformer（ViT）在各種機(jī)器視覺(jué)問(wèn)題上均表現(xiàn)出令人印象深刻的性能。這些模型基于 multi-head 自注意力機(jī)制，該機(jī)制可以靈活地處理一系列圖像 patches 以對(duì)上下文 cues 進(jìn)行編碼。一個(gè)重要的問(wèn)題是，在以給定 patch 為條件的圖像范圍內(nèi)，如何靈活地處理自然圖像中的煩擾，例如嚴(yán)重的遮擋，域移位，空間排列，對(duì)抗性和自然擾動(dòng)。

我們通過(guò)涵蓋三個(gè) ViT 系列的大量實(shí)驗(yàn)，以及與高性能卷積神經(jīng)網(wǎng)絡(luò)（CNN）的比較，系統(tǒng)地研究了這個(gè)問(wèn)題。我們顯示并分析了 ViT 的以下吸引人的特性：

1. Transformer 對(duì)嚴(yán)重的遮擋，擾動(dòng)和域偏移具有很高的魯棒性，例如，即使隨機(jī)遮擋了 80％ 的圖像，在 ImageNet 上仍可保持高達(dá) 60％ 的 top-1 精度；

2. 遮擋的強(qiáng)大性能并不是由于偏向局部紋理，與 CNN 相比，ViT 對(duì)紋理的偏向要小得多。當(dāng)經(jīng)過(guò)適當(dāng)訓(xùn)練以對(duì)基于形狀的特征進(jìn)行編碼時(shí)，ViT 可以展現(xiàn)出與人類視覺(jué)系統(tǒng)相當(dāng)?shù)男螤钭R(shí)別能力，這在文獻(xiàn)中是前所未有的；

3. 使用 ViT 對(duì)形狀表示進(jìn)行編碼會(huì)導(dǎo)致有趣的結(jié)果，即在沒(méi)有像素級(jí)監(jiān)督的情況下進(jìn)行精確的語(yǔ)義分割；

4. 可以將單個(gè) ViT 模型的現(xiàn)成特征進(jìn)行組合以創(chuàng)建特征 ensemble，從而在傳統(tǒng)學(xué)習(xí)模型和少量學(xué)習(xí)模型中的一系列分類數(shù)據(jù)集上實(shí)現(xiàn)較高的準(zhǔn)確率。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????來(lái)稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來(lái)稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的基于语言模型的少样本学习 / 深度学习优化器基准测试 | 本周值得读的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。