在碎片化閱讀充斥眼球的時(shí)代，越來(lái)越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。如果你也希望讓自己的科研成果被更多人看到，歡迎在后臺(tái)回復(fù)「論文推薦」。

論文速覽

本期論文介紹

何愷明無(wú)監(jiān)督表示學(xué)習(xí)最新工作

自然語(yǔ)言處理中的強(qiáng)化學(xué)習(xí)

基于 Transformer 的排名模型

大規(guī)模預(yù)訓(xùn)練模型新范式

基于對(duì)抗學(xué)習(xí)樣本的對(duì)比學(xué)習(xí)

預(yù)訓(xùn)練語(yǔ)言模型魯棒微調(diào)

基于 Kornia 的可微數(shù)據(jù)增廣方法

用問(wèn)答模型解決自然語(yǔ)言理解任務(wù)

01

無(wú)監(jiān)督表示學(xué)習(xí)

論文標(biāo)題：Exploring Simple Siamese Representation Learning

論文作者：Xinlei Chen / Kaiming He

論文鏈接：http://www.paperweekly.site/papers/4652

本文是何愷明關(guān)于無(wú)監(jiān)督表示學(xué)習(xí)的一篇新工作，非常值得一讀。本文主要針對(duì)應(yīng)用非常普遍的孿生網(wǎng)絡(luò)（Siamese Network）進(jìn)行分析，以目前非常火的對(duì)比學(xué)習(xí)為例，孿生網(wǎng)絡(luò)使用一個(gè)相同的網(wǎng)絡(luò)處理同一個(gè)輸入的兩個(gè)不同表示，通過(guò)拉近兩個(gè) positive pair 的表示，拉遠(yuǎn)兩個(gè) negative pair 之間的表示，從而學(xué)習(xí)到輸入中的不變性，從而更好地學(xué)習(xí)到輸入的表示。而本文通過(guò)實(shí)驗(yàn)分析得出在孿生網(wǎng)絡(luò)中發(fā)揮最重要作用的就是孿生網(wǎng)絡(luò)的結(jié)構(gòu)，其他一些方法的作用并沒(méi)有那么大。

除此之外，作者還提出了一種“stop-gradient”的算法，該算法主要對(duì)模型的 loss 反饋時(shí)，通過(guò)梯度終止的機(jī)制，使得只更新其中一個(gè) encoder，實(shí)現(xiàn)了對(duì)孿生網(wǎng)絡(luò)中的崩潰解（collapsing）很好的避免。而且這種簡(jiǎn)單的結(jié)構(gòu)能夠在 ImageNet 和下游任務(wù)取得非常好的效果。為了證明這種算法的有效性，作者進(jìn)行了大量的實(shí)驗(yàn)，充分證明該算法的優(yōu)越性。而且作者還深入討論了文中提出的算法到底在優(yōu)化模型的哪些地方。方法簡(jiǎn)單，效果有效，值得認(rèn)真讀一下的大作。

02

NLP中的強(qiáng)化學(xué)習(xí)

論文標(biāo)題：Learning from Human Feedback: Challenges for Real-World Reinforcement Learning in NLP

論文作者：Julia Kreutzer / Stefan Riezler / Carolin Lawrence

論文來(lái)源：NeurIPS 2020

論文鏈接：http://www.paperweekly.site/papers/4626

本文是谷歌和海德堡大學(xué)發(fā)表于 NeurIPS 2020 的工作。這是一篇探索性的文章，主要是針對(duì) NLP 中的強(qiáng)化學(xué)習(xí)，分析了使用真實(shí)世界的 log 信息來(lái)輔助強(qiáng)化學(xué)習(xí)（sequence to sequence learning）存在的問(wèn)題。作者認(rèn)為真實(shí)世界的 NLP 系統(tǒng)收集了大量的與用戶交互的日志信息，例如在自動(dòng)翻譯中，用戶可以反饋翻譯的質(zhì)量，同時(shí)使用簡(jiǎn)單的一些操作提升翻譯的質(zhì)量。但考慮到線上系統(tǒng)的一些要求和限制，在線利用這些反饋來(lái)更新強(qiáng)化學(xué)習(xí)系統(tǒng)存在一定的問(wèn)題，因此本文關(guān)注的主要是 NLP 中針對(duì)強(qiáng)化學(xué)習(xí)的反饋離線利用。

作者整理了幾個(gè)利用這些人機(jī)交互的日志反饋來(lái)提升系統(tǒng)性能目前所存在的挑戰(zhàn)，最主要有 deterministic logging 和 reliable data 問(wèn)題。前者主要分析為了不將探索性的較差的結(jié)果提供給用戶，RL 系統(tǒng)更傾向于提供最可能的結(jié)果，限制了 RL 的探索和性能。后者主要關(guān)注于數(shù)據(jù)的可信性以及可用性問(wèn)題。并不是所有的反饋數(shù)據(jù)都是有效數(shù)據(jù)，因此如何決定數(shù)據(jù)的質(zhì)量也是一個(gè)非常大的挑戰(zhàn)。具體細(xì)節(jié)和特定的挑戰(zhàn)內(nèi)容可以閱讀原文。這篇文章可以看作為未來(lái)利用真實(shí)交互日志進(jìn)行 RL 提供了一些可能的研究方向。

03

基于Transformer的排名模型

論文標(biāo)題：Modularized Transfomer-based Ranking Framework

論文作者：Luyu Gao / Zhuyun Dai / Jamie Callan

論文來(lái)源：EMNLP 2020

論文鏈接：http://www.paperweekly.site/papers/4662

本文是 CMU 發(fā)表于 EMNLP 2020 的工作。基于 Transformer 的排名模型的最新創(chuàng)新推動(dòng)了信息檢索的最新發(fā)展。但是，這些 transformer 在計(jì)算上很昂貴，并且它們不透明的隱藏狀態(tài)使其難以理解排名過(guò)程。

在這項(xiàng)工作中作者們將 Transformer ranker 模塊化為單獨(dú)的模塊，以進(jìn)行文本表示和交互。作者將展示該設(shè)計(jì)如何使用離線預(yù)計(jì)算表示和輕量級(jí)在線交互來(lái)顯著加快排名。模塊化設(shè)計(jì)也更易于解釋，并為 Transformer 排名中的排名過(guò)程提供了啟示。作者在大型監(jiān)督排名數(shù)據(jù)集上的實(shí)驗(yàn)證明了 MORES 的有效性和效率。它與最先進(jìn)的 BERT 排名器一樣有效，并且排名速度最高可提高 120 倍。

04

大規(guī)模預(yù)訓(xùn)練模型新范式

論文標(biāo)題：Train No Evil: Selective Masking for Task-Guided Pre-Training

論文作者：Yuxian Gu / Zhengyan Zhang / Xiaozhi Wang / Zhiyuan Liu / Maosong Sun

論文來(lái)源：EMNLP 2020

論文鏈接：http://www.paperweekly.site/papers/4631

代碼鏈接：https://github.com/thunlp/SelectiveMasking

本文是清華大學(xué)劉知遠(yuǎn)老師組發(fā)表于 EMNLP 2020 的工作，這篇文章又一次說(shuō)明了 Do Not Stop Pre-training 的重要性。以往使用預(yù)訓(xùn)練模型都是按照 pre-train+fine-tune 的范式兩步走，但是 fine-tune 的時(shí)候常常因?yàn)闃?biāo)注的數(shù)據(jù)量不足而無(wú)法完全發(fā)揮 pre-train 模型的全部性能。

因此本文提出了一種在 pre-train 和 fine-tune 之間加入一個(gè) Selective Masking 的預(yù)訓(xùn)練階段。顧名思義，在這個(gè)新的預(yù)訓(xùn)練階段中，模型會(huì)去預(yù)測(cè)那些對(duì)于模型來(lái)說(shuō)重要的詞。在這個(gè)階段使用的是 in-domain 的數(shù)據(jù)，可以使預(yù)訓(xùn)練模型更好的適應(yīng)下游任務(wù)。在兩個(gè)句子分析任務(wù)上的實(shí)驗(yàn)結(jié)果表明，本文方法可以在計(jì)算量不到 50% 的情況下達(dá)到和原模型相當(dāng)甚至更好的性能，表明本文的方法是有效的。

05

基于對(duì)抗學(xué)習(xí)樣本的對(duì)比學(xué)習(xí)

論文標(biāo)題：Contrastive Learning with Adversarial Examples

論文作者：Chih-Hui Ho / Nuno Vasconcelos

論文來(lái)源：NeurIPS 2020

論文鏈接：http://www.paperweekly.site/papers/4619

本文是 UCSD 發(fā)表于 NeurIPS 2020 的工作。該論文是關(guān)于對(duì)比學(xué)習(xí)的文章。對(duì)比學(xué)習(xí)（CL）是一種流行的視覺(jué)表征自監(jiān)督學(xué)習(xí)（SSL）技術(shù)。它利用未標(biāo)記訓(xùn)練樣本對(duì)的增廣來(lái)定義一個(gè)分類(lèi)任務(wù)。

盡管在增強(qiáng)過(guò)程中做了大量的工作，但是之前的工作并沒(méi)有解決如何選擇具有挑戰(zhàn)性的負(fù)片對(duì)，因?yàn)椴蓸优械膱D像是獨(dú)立處理的。本文通過(guò)引入一系列新的對(duì)抗學(xué)習(xí)樣本來(lái)解決這一問(wèn)題，并利用這些實(shí)例定義了一種新的 SSL 對(duì)抗性訓(xùn)練算法 CLAE。CLAE 與文獻(xiàn)中的許多 CL 方法兼容。實(shí)驗(yàn)表明，該方法提高了現(xiàn)有的多個(gè) CL 基線在多個(gè)數(shù)據(jù)集上的性能。

06

預(yù)訓(xùn)練語(yǔ)言模型

論文標(biāo)題：InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective

論文作者：Boxin Wang / Shuohang Wang / Yu Cheng / Zhe Gan / Ruoxi Jia / Bo Li / Jingjing Liu

論文鏈接：http://www.paperweekly.site/papers/4644

本文來(lái)自 UIUC 和微軟。近年來(lái)有研究表明，BERT 和 RoBERTa 之類(lèi)的大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型容易受到文 word-level 的對(duì)抗攻擊。本文旨在從信息理論的角度解決這個(gè)問(wèn)題，并提出 InfoBERT 這種全新的學(xué)習(xí)框架，用于對(duì)預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行微調(diào)。?

InfoBERT 包含兩個(gè)用于模型訓(xùn)練的基于互信息的正則器：1）信息 Bottleneck 正則器，用于抑制輸入和特征表示之間的嘈雜的互信息；2）Anchored 特征調(diào)整器，可增加局部穩(wěn)定特征和全局特征之間的相互信息。大量實(shí)驗(yàn)表明，InfoBERT 在自然語(yǔ)言推理（NLI）和問(wèn)題回答（QA）任務(wù)的多個(gè)對(duì)抗性數(shù)據(jù)集上均達(dá)到了最新的魯棒性。

07

基于Kornia的可微數(shù)據(jù)增廣

論文標(biāo)題：Differentiable Data Augmentation with Kornia

論文作者：Jian Shi / Edgar Riba / Dmytro Mishkin / Francesc Moreno / Anguelos Nicolaou

論文來(lái)源：NeurIPS 2020

論文鏈接：http://www.paperweekly.site/papers/4643

本文是香港中文大學(xué)發(fā)表于 NeurIPS 2020 的工作。該論文引入了基于 Kornia 的可微的數(shù)據(jù)增廣方法并將其整合進(jìn)了 PyTorch 工作流中。文章重點(diǎn)介紹了如何高效的實(shí)現(xiàn)可微的數(shù)據(jù)增廣以及該方法的易用性。

08

自然語(yǔ)言理解

論文標(biāo)題：Language Model is All You Need: Natural Language Understanding as Question Answering

論文作者：Mahdi Namazifar / Alexandros Papangelis / Gokhan Tur / Dilek Hakkani-Tür

論文鏈接：http://www.paperweekly.site/papers/4606

本文來(lái)自亞馬遜 AI，題目起的跟 attention is all you need 類(lèi)似，很吸引人。具體而言，本文研究的是 transfer learning，提出了自然語(yǔ)言理解的很多任務(wù)都可以使用問(wèn)答模型進(jìn)行解決。

這個(gè)思路有點(diǎn)類(lèi)似于預(yù)訓(xùn)練模型的使用方法。首先在源域訓(xùn)練一個(gè)問(wèn)答模型，這里的源域就是一個(gè)問(wèn)答數(shù)據(jù)集，然后針對(duì)目標(biāo)域的任務(wù)，作者在該文章主要考慮兩個(gè)任務(wù)：第一個(gè)是 slot detection，即針對(duì)特定屬性的一個(gè)問(wèn)答，第二個(gè)是 intent detection，通過(guò)在句子開(kāi)頭加上 Yes 或者 No 將其轉(zhuǎn)換為一個(gè)問(wèn)答問(wèn)題，這樣 NLU 就轉(zhuǎn)換為了 QA 問(wèn)題。然后就將訓(xùn)練好的 QA 模型在這個(gè) transfer 之后的目標(biāo)域進(jìn)行微調(diào)，從而實(shí)現(xiàn)效果的提升，另外作者還發(fā)現(xiàn)經(jīng)過(guò)微調(diào)的模型，在問(wèn)答上的性能也會(huì)有所提高。

除此之外，作者還提出了一個(gè)序列化的遷移學(xué)習(xí)，即不斷將目標(biāo)域的任務(wù) transfer 到源域的問(wèn)答上，然后一步步微調(diào) QA 模型。

更多閱讀

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專(zhuān)欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的本周阅读清单：从NeurIPS 2020到EMNLP 2020的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。