在碎片化閱讀充斥眼球的時(shí)代，越來(lái)越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。

在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。

點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第 132?篇文章

@xwzhong 推薦

#Attention Mechanism

本文來(lái)自 LinkedIn，這是一篇 NLP 領(lǐng)域 Attention model 的綜述文章，論文詳細(xì)介紹了不同架構(gòu)的網(wǎng)絡(luò)與 Attention 的結(jié)合、Attention如何提高模型的可解釋性和 Attention 的應(yīng)用。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2944

@paperweekly 推薦

#Relation Classification

本文是清華大學(xué)劉知遠(yuǎn)老師組發(fā)表于 AAAI 2019 的工作，論文提出文本與圖像的一大區(qū)別在于其多樣性和噪音更大，并提出了一種基于混合注意力的原型網(wǎng)絡(luò)結(jié)構(gòu)。

具體來(lái)說(shuō)，作者首先使用 instance-level 的 attention 從支撐集中選出和 query 更為貼近的實(shí)例，同時(shí)降低噪聲實(shí)例所帶來(lái)的影響。然后 feature-level 的實(shí)例能夠衡量特征空間中的哪些維度對(duì)分類更為重要，從而為每種不同的關(guān)系都生成相適應(yīng)的距離度量函數(shù)，從而使模型能夠有效處理特征稀疏的問(wèn)題。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2926

源碼鏈接

https://github.com/thunlp/HATT-Proto

@paperweekly 推薦

#Contextual Representations

本文是華盛頓大學(xué)和 AllenAI 發(fā)表于 NAACL 2019 的工作，論文主要研究的問(wèn)題是預(yù)訓(xùn)練詞表示的語(yǔ)言知識(shí)和可遷移性。作者探索了不同上下文表示的語(yǔ)言知識(shí)及其可遷移性，并且還基于 Transformer 模型，將不同層的輸出標(biāo)量加以混合取得了更好的效果。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2956

源碼鏈接

https://github.com/nelson-liu/contextual-repr-analysis

@boom 推薦

#Neural Machine Translation

本文是 CMU 發(fā)表于 NAACL 2019 的工作。模仿人類從簡(jiǎn)單的知識(shí)學(xué)習(xí)到復(fù)雜知識(shí)的學(xué)習(xí)方式，NMT 方向提出了一個(gè)從學(xué)習(xí)簡(jiǎn)單的語(yǔ)句翻譯到復(fù)雜語(yǔ)句翻譯的框架，能夠在翻譯速度上提升百分之 70，BLEU 的得分提高 2.2 個(gè)點(diǎn)。

本文提出了學(xué)習(xí)語(yǔ)句的難度和機(jī)器的學(xué)習(xí)能力兩個(gè)概念，使得機(jī)器只學(xué)習(xí)難度低于其能力的語(yǔ)句的翻譯，然后逐步提升難度；主要應(yīng)用于數(shù)據(jù)的預(yù)處理上面，所以可以應(yīng)用于各種 NMT 模型上。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2950

@jingyihiter?推薦

#Text Generation

本文是阿里巴巴發(fā)表于 ICASSP 2019 的工作。為了提高生成文本多樣性、解決傳統(tǒng) CVAE 中的 KL 散度 vanish 問(wèn)題，本文提出了一個(gè)直接的優(yōu)化目標(biāo)，此優(yōu)化目標(biāo)指導(dǎo)編碼器變成最優(yōu)編碼器增強(qiáng)模型的表達(dá)能力。

該方法全稱為自標(biāo)注 CVAE (self labeling CVAE)，文中給出了一個(gè)“一對(duì)多”（生成多種文本）的數(shù)據(jù)集，實(shí)驗(yàn)表明在兩個(gè)數(shù)據(jù)集（開(kāi)放域?qū)υ捝珊屯扑]系統(tǒng)句子生成）上與 SOTA 算法相比提高了生成文本的多樣性。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2919

@SRIN 推薦

#Graph Embeddings

本文是 CMU、NYU、FAIR 和 Google 發(fā)表于 NeurIPS 2018 的工作，論文的主要貢獻(xiàn)在于將學(xué)習(xí)特征之間的關(guān)系圖作為遷移學(xué)習(xí) representation。

作者研究的是遷移學(xué)習(xí)中的表示問(wèn)題，學(xué)習(xí)用表征兩個(gè)元素之間的關(guān)系的圖表示，而不是用特征向量表示。作者提出了一種新的無(wú)監(jiān)督隱藏圖學(xué)習(xí)框架，從大規(guī)模的未標(biāo)記數(shù)據(jù)中訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)輸出隱藏圖型，并將該網(wǎng)絡(luò)遷移到提取下游任務(wù)的圖結(jié)構(gòu)來(lái)加強(qiáng)對(duì)它的訓(xùn)練。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2911

源碼鏈接

https://github.com/YJHMITWEB/GLoMo-tensorflow

@O3oBigFace 推薦

#Multimodal Machine Learning

本文是 CMU 發(fā)表于 TPAMI 2019 的綜述性文章，不同于以往對(duì)多模態(tài)學(xué)習(xí)的分類，將多模態(tài)的近期研究成果按照應(yīng)用類型劃分。對(duì)其中的每一種分類進(jìn)行了詳細(xì)的描述。本文是近期多模態(tài)領(lǐng)域中最詳細(xì)最完整最新穎的一篇綜述，可以看出 CMU 在 multimodal 這方面的造詣很深。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2868

@xiaotian311 推薦

#Object Tracking

本文是林雪平大學(xué)、ETH 和起源人工智能研究院發(fā)表于 CVPR 2019 的工作，論文著眼于解決目標(biāo)跟蹤過(guò)程中的定位精度不夠問(wèn)題。作者將目標(biāo)跟蹤分為目標(biāo)分類和目標(biāo)評(píng)價(jià)兩個(gè)網(wǎng)絡(luò)部分，前者分類用于粗定位，后者用于精細(xì)定位，即兩階段跟蹤。

目標(biāo)估計(jì)網(wǎng)絡(luò)使用了 ECCV 2018 的 IoUNet 結(jié)構(gòu)，基于大數(shù)據(jù)集離線訓(xùn)練，訓(xùn)練時(shí)最大化與 gt 的 IoU；目標(biāo)分類網(wǎng)絡(luò)使用了深度回歸網(wǎng)絡(luò)結(jié)構(gòu)，由兩層卷積層構(gòu)成，在線訓(xùn)練，根據(jù)輸出的 map 選擇候選框交給目標(biāo)估計(jì)網(wǎng)絡(luò)，并且提出了新的快速在線訓(xùn)練方法。實(shí)驗(yàn)表明，本文方法的性能超過(guò)了 DaSiamRPN，GPU 下達(dá)到 30 fps。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2923

源碼鏈接

https://github.com/visionml/pytracking

@danieljf24 推薦

#Video Retrieval

本文是浙江工商大學(xué)、人民大學(xué)、浙江大學(xué)和阿里巴巴發(fā)表于 CVPR 2019 的工作，論文主要探討零示例視頻檢索。在這種檢索范例中，用戶在沒(méi)有示例的情況下，僅通過(guò)自然語(yǔ)句描述其即席查詢需求。考慮到視頻是幀序列而查詢是詞序列，我們需要建立一個(gè)有效的序列到序列的跨模態(tài)匹配。

現(xiàn)有方法以基于概念為主，通過(guò)分別從查詢和視頻中提取相關(guān)概念，從而建立兩種模態(tài)之間的關(guān)聯(lián)。相比之下，本文采用了一種無(wú)需概念建模的方法，提出對(duì)偶深度編碼網(wǎng)絡(luò)，首次使用具有相似架構(gòu)的多層編碼網(wǎng)絡(luò)同時(shí)對(duì)句子和視頻進(jìn)行量化編碼和表示學(xué)習(xí)，在多個(gè)極具挑戰(zhàn)性的評(píng)測(cè)集（MSR-VTT，TRECVID 2016和2017 Ad-hoc Video Search）上超過(guò)了現(xiàn)有結(jié)果。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2921

源碼鏈接

https://github.com/danieljf24/dual_encoding

@Kralkatorrik 推薦

#Face Recognition

本文來(lái)自京東和中科院自動(dòng)化所。人臉識(shí)別中有兩種常見(jiàn)的從 loss 方面促進(jìn) feature discriminative 的方法：mining-based 和 margin-based 損失函數(shù)，這兩種方法都存在其局限性。這篇文章提出了 SV-Softmax loss 能夠?qū)煞N方法結(jié)合，并彌補(bǔ)他們的缺陷，在各個(gè)數(shù)據(jù)集上都取得了 SOTA 的效果。

▲ ?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2872

源碼鏈接

https://github.com/tiandunx/SV-X-Softmax

@CLAYxxliu 推薦

#Generative Adversarial Networks

當(dāng)前現(xiàn)有的很多 GAN 結(jié)構(gòu)在訓(xùn)練的時(shí)候并不穩(wěn)定，很容易就會(huì)發(fā)生模式崩塌的現(xiàn)象。在本文文中，作者提出一個(gè)新穎 GAN 框架稱為進(jìn)化對(duì)抗網(wǎng)絡(luò)（E-GAN）。

該框架摒棄了單一的生成器的設(shè)定，將生成器當(dāng)做一個(gè)族群，每個(gè)單個(gè)的生成器就是一個(gè)體，而每個(gè)個(gè)體的變異的方式是不同的。作者利用一種評(píng)價(jià)機(jī)制來(lái)衡量生成的樣本的質(zhì)量和多樣性，這樣只有性能良好的生成器才能保留下來(lái)，并用于進(jìn)一步的培訓(xùn)。

通過(guò)這種方式，E-GAN 克服了個(gè)體對(duì)抗性訓(xùn)練目標(biāo)的局限性，始終保留了對(duì) GANs 的進(jìn)步和成功做出貢獻(xiàn)的最佳個(gè)體。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2904

源碼鏈接

https://github.com/WANG-Chaoyue/EvolutionaryGAN

@shoujin 推薦

#Recommender Systems

本文是第一篇全面深入總結(jié) session-based recommendations 的綜述文章，值得推薦。文章系統(tǒng)總結(jié)了目前一種新型推薦范式：session-based recommendations 的特點(diǎn)、挑戰(zhàn)和目前取得的進(jìn)展，對(duì)整個(gè)推薦系統(tǒng)研究領(lǐng)域和相關(guān)的工業(yè)界人員提供了一個(gè)全面了解推薦系統(tǒng)領(lǐng)域最新研究進(jìn)展的機(jī)會(huì)。

該文從問(wèn)題本質(zhì)和相關(guān)的數(shù)據(jù)特征入手，為 session-based recommendations 建立了一個(gè)層次化模型來(lái)深入理解里面存在的各種數(shù)據(jù)復(fù)雜性和潛在挑戰(zhàn)，然后采用了兩個(gè)不同維度對(duì)現(xiàn)有研究成果進(jìn)行了系統(tǒng)分類和總結(jié)，最后提出了展望。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2884

@Xiaoha0607 推薦

#Search Ranking

本文來(lái)自 Airbnb，論文主要介紹了 Airbnb 搜索排序系統(tǒng)的演進(jìn)以及深度學(xué)習(xí)的應(yīng)用。文章給出了深度學(xué)習(xí)在搜索目標(biāo)問(wèn)題的實(shí)踐經(jīng)驗(yàn)談，尤其在特征工程、特征重要性分析方面有很多 insight 值得借鑒。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2952

@Glimmer123 推薦

#Continual Lifelong Learning

本文來(lái)自漢堡大學(xué)、羅徹斯特理工大學(xué)和赫瑞-瓦特大學(xué)，論文詳細(xì)介紹了持續(xù)終身學(xué)習(xí)領(lǐng)域相關(guān)概念（比如災(zāi)難性遺忘），總結(jié)三個(gè)主要的研究領(lǐng)域，是持續(xù)終身學(xué)習(xí)領(lǐng)域比較好的綜述。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2934

@QAQ 推薦

#Convolutional Neural Network

本文來(lái)自 Facebook AI、新加坡國(guó)立大學(xué)和奇虎 360，論文提出 OctConv 用于壓縮低頻信息，分別處理高低頻兩個(gè)部分的數(shù)據(jù)，并在二者之間進(jìn)行信息交換，從而減少卷積運(yùn)算對(duì)存儲(chǔ)和計(jì)算量的消耗。替代傳統(tǒng)卷積，在提升效果的同時(shí)，節(jié)約計(jì)算資源的消耗。即插即用，無(wú)需修改原來(lái)的網(wǎng)絡(luò)架構(gòu)，不用調(diào)整超參數(shù)。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2954

源碼鏈接

https://github.com/terrychenism/OctaveConv/

@NeoTheSunshine?推薦

#Graph Embeddings

本文通過(guò)實(shí)驗(yàn)證明，現(xiàn)有的 GNN 及其相關(guān)變體仍然存在對(duì)圖結(jié)構(gòu)表達(dá)能力不足的問(wèn)題。為了進(jìn)一步提升模型的表達(dá)能力，作者提出一種帶有 gating mechanism 的輔助模塊 Graph Warp Module，它可以通用使用在 GNN 上而無(wú)須改變?cè)心Ｐ徒Y(jié)構(gòu)。通過(guò)實(shí)驗(yàn)證明了可以使用帶有 GWM (Graph Warp Module) 的 GNN 來(lái)達(dá)到 state-of-the-art generalization performance。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2881

#推 薦 有 禮#

本期所有入選論文的推薦人

均將獲得PaperWeekly紀(jì)念周邊一份

▲?深度學(xué)習(xí)主題行李牌/卡套 + 防水貼紙

?禮物領(lǐng)取方式?

推薦人請(qǐng)根據(jù)論文詳情頁(yè)底部留言

添加小助手領(lǐng)取禮物

*每位用戶僅限領(lǐng)取一次

想要贏取以上周邊好禮？

點(diǎn)擊閱讀原文即刻推薦論文吧！

點(diǎn)擊以下標(biāo)題查看往期推薦：?

• ??開(kāi)學(xué)綜合癥有救了！17篇最新AI論文不容錯(cuò)過(guò)

• ??NLP、CV、ML方向最新論文清單

• ??本周值得讀的15篇AI論文，還有源碼搭配服用

• ??近期值得讀的10篇GAN進(jìn)展論文
  

• ??近期必讀的12篇「推薦系統(tǒng)」相關(guān)論文

• ??知識(shí)圖譜合輯：從NeurIPS 2018到AAAI 2019

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

??來(lái)稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來(lái)稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 獲取更多論文推薦

與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的近期我们在读的那些优质论文，你不了解下？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。