本周有哪些值得读的 AI 论文？我们替你挑选了 18 篇
在碎片化閱讀充斥眼球的時(shí)代，越來越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。
在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。
點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。
這是 PaperDaily 的第 127?篇文章@hauturier 推薦
#Dialog Systems
本文是一篇來自微軟和 Google Brain 的對(duì)話系統(tǒng)綜述文章，論文針對(duì)問答型、任務(wù)型和聊天機(jī)器人這三類對(duì)話系統(tǒng)，回顧了各自當(dāng)前最優(yōu)的方法，并將它們與傳統(tǒng)方法加以結(jié)合。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2676
@paperweekly 推薦
#Response Generation
本文來自阿爾伯塔大學(xué)。Seq2Seq 模型在提高會(huì)話代理性能方面取得了重大突破，它雖然能生成句法良好的回復(fù)，但回復(fù)缺乏對(duì)上下文的感知及多樣性，大部分都是沒有營養(yǎng)的通用回復(fù)。
針對(duì)該問題，本文提出了一個(gè)完全數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)交互模型THRED，通過層次化的聯(lián)合 attention 機(jī)制，在回復(fù)生成中利用對(duì)話歷史和主題信息，使對(duì)話更加多樣化。此外，論文還引入了兩種新的自動(dòng)化評(píng)價(jià)指標(biāo)：語義相似度和回復(fù)回聲指數(shù)。實(shí)驗(yàn)表明，本文模型能產(chǎn)生更具多樣性并且上下文相關(guān)的回復(fù)。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2743
源碼鏈接
https://github.com/nouhadziri/THRED
@zkt18 推薦
#Question Answering
本文是北京大學(xué)、騰訊和中科院發(fā)表于 AAAI 2019 的工作。Answer Selection 和 KBQA 是 QA 中的兩個(gè)重要任務(wù)，現(xiàn)有方法通常會(huì)將二者分開做。論文使用 multi-task 將二者同時(shí)進(jìn)行，提出了新穎的 multi-view attention 多任務(wù)模型。首先，兩個(gè)任務(wù)都可視為 ranking 任務(wù)，一個(gè)在 text-level，另一個(gè)在 knowledge-level；其次兩個(gè)任務(wù)可以互相提升，一個(gè)利用上下文信息，一個(gè)利用外部信息。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2637
@paperweekly 推薦
#Machine Comprehension
本文是浙江大學(xué)發(fā)表于 NeurIPS 2018 的工作。機(jī)器理解是 NLP 中一個(gè)非常重要的任務(wù)，論文提出了一個(gè)用機(jī)器理解作為補(bǔ)充結(jié)構(gòu)來提升端到端生成任務(wù)表現(xiàn)的模型。作者將機(jī)器理解任務(wù)中的編碼器和模型層作為遷移對(duì)象，將其用于 Seq2Seq 模型編碼和解碼階段來提升 Seq2Seq 的生成效果，讓生成過程可以對(duì)語義進(jìn)行更深層次的理解。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2693
@paperweekly 推薦
#Sentiment Classification
本文是香港科技大學(xué)楊強(qiáng)組發(fā)表于 AAAI 2019 的工作，該文提出了一個(gè)新的跨 aspect 粒度的遷移問題，從更容易獲取大量標(biāo)簽數(shù)據(jù)的粗粒度的aspect類別任務(wù)遷移到數(shù)據(jù)匱乏的細(xì)粒度 aspect 實(shí)體任務(wù)。
在該問題設(shè)置中，需要同時(shí)解決任務(wù)間 aspect 粒度差異與領(lǐng)域特征分布差異的問題。論文模型提出了一個(gè)自監(jiān)督的由粗到細(xì)的注意力模塊來減少任務(wù)間粒度的差異，并且采用了對(duì)比特征對(duì)齊方法來語義上的對(duì)齊 aspect 特定的特征表達(dá)。
實(shí)驗(yàn)結(jié)果表明，通過利用源 aspect 類別任務(wù)提煉出的有用知識(shí)，即使對(duì)于目標(biāo) aspect 實(shí)體任務(wù)采用簡(jiǎn)單 attention-based RNN 模型也能取得優(yōu)秀的性能。并且該論文提供了用于遷移的，大規(guī)模，多領(lǐng)域，aspect 類別的語料。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2717
@guohao916 推薦
#Conversational Question Answering
本文來自微軟，論文作者提出了一種全新的基于上下文注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型 SDNet 以解決對(duì)話問答任務(wù)。通過利用內(nèi)部注意力機(jī)制和自注意力機(jī)制，對(duì)篇章和對(duì)話內(nèi)容歷史信息進(jìn)行建模從而理解對(duì)話流程。
作者融合了 NLP 上的最新的突破性模型 BERT，并且在該預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行改進(jìn)微調(diào)。實(shí)驗(yàn)結(jié)果表明，SDNet 取得了好于之前一系列模型的結(jié)果。在 CoQA 數(shù)據(jù)集上，F1 指標(biāo)上相比于最新模型提升了 1.6%。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2628
@IndexFziQ 推薦
#Language Model
本文是 Samuel R. Bowman 等人的最新工作，論文關(guān)注的是語境化詞語表示問題。最近的一些預(yù)訓(xùn)練語言模型的工作（ELMo、BERT 等）表明，預(yù)訓(xùn)練句子編碼器可以在 NLP 任務(wù)上獲得非常強(qiáng)的性能。
然而，每篇論文都使用自己的評(píng)估方法，不清楚哪個(gè)預(yù)訓(xùn)練任務(wù)最有效，或者是否可以有效地組合多個(gè)預(yù)訓(xùn)練任務(wù)。并且，在句子到向量編碼的相關(guān)設(shè)置中，使用多個(gè)標(biāo)注數(shù)據(jù)集的多任務(wù)學(xué)習(xí)已經(jīng)產(chǎn)生了魯棒的當(dāng)前最佳結(jié)果，也不清楚是不是多任務(wù)學(xué)習(xí)的作用。?
本文根據(jù) GLUE 基準(zhǔn)測(cè)試中的 9 個(gè)語言理解任務(wù)，評(píng)估了由不同的預(yù)訓(xùn)練任務(wù)和這些任務(wù)的幾種組合而成訓(xùn)練可重用的 Sentence Encoder。實(shí)驗(yàn)結(jié)果表明語言建模是其中最有效的一個(gè)預(yù)訓(xùn)練任務(wù)，多任務(wù)學(xué)習(xí)可以進(jìn)一步提高模型效果。
然而，ELMo 預(yù)訓(xùn)練也存在脆弱性和限制：1）在一些任務(wù)上，ELMo 的效果并不是很明顯；2）可能對(duì)特定的任務(wù) ELMo 才會(huì)很有效果，并且現(xiàn)有的多任務(wù)學(xué)習(xí)方法也無法提高句子編碼器的泛化能力致通用的地步。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2728
源碼鏈接
https://github.com/jsalt18-sentence-repl/jiant
@paperweekly 推薦
#Object Detection
本文是曠視科技和復(fù)旦大學(xué)發(fā)表于 NeurIPS 2018 的工作。近年來，深度神經(jīng)網(wǎng)絡(luò)對(duì)于目標(biāo)檢測(cè)任務(wù)的提升取得了巨大突破。通常做法是運(yùn)用目標(biāo)檢測(cè)算法為一張給定圖像生成一系列邊界框，同時(shí)分類標(biāo)注每個(gè)目標(biāo)。但對(duì)于卷積神經(jīng)網(wǎng)絡(luò)而言，直接無序生成任意數(shù)量的預(yù)測(cè)框并非無足輕重，Anchor 的思想也正因此應(yīng)運(yùn)而生，并在目標(biāo)檢測(cè)任務(wù)上得到廣泛應(yīng)用。
本文提出了一個(gè)全新靈活的錨點(diǎn)框機(jī)制 MetaAnchor，其錨點(diǎn)框函數(shù)可由任意自定義的先驗(yàn)框動(dòng)態(tài)生成。加上權(quán)重預(yù)測(cè)，MetaAnchor 可與大多數(shù)基于錨點(diǎn)框的目標(biāo)檢測(cè)系統(tǒng)（如當(dāng)前最優(yōu)的單步檢測(cè)器 RetinaNet）協(xié)同工作。相較于預(yù)定義錨點(diǎn)框方法，實(shí)驗(yàn)證明 MetaAnchor 對(duì)于錨點(diǎn)框設(shè)置和邊界框分布更為魯棒，并在遷移任務(wù)上深具潛力。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2670
@QAQ 推薦
#Data Augmentation
本文來自 Google Brain，論文關(guān)注的問題是圖像領(lǐng)域的數(shù)據(jù)增強(qiáng)。作者提出了一種名為 AutoAugment 的自動(dòng)數(shù)據(jù)增強(qiáng)的方法，可以有效降低誤差率。實(shí)驗(yàn)表明，本文方法在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 上實(shí)現(xiàn)了最先進(jìn)的準(zhǔn)確率（無需額外數(shù)據(jù)）。此外，本文方法還可以直接遷移到其他數(shù)據(jù)集上而無需進(jìn)行微調(diào)。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2706
源碼鏈接
https://github.com/tensorflow/models/tree/master/research/autoaugment
@zl1994 推薦
#Object Detection
本文來自 UIUC 和 IBM，論文重點(diǎn)解決目標(biāo)檢測(cè)中分類錯(cuò)誤的問題。作者指出了當(dāng)前目標(biāo)檢測(cè)框架對(duì)于目標(biāo)分類任務(wù)存在的三個(gè)問題：1. 分類分支和回歸分支共享特征不是最優(yōu)的；2.多任務(wù)訓(xùn)練也不是最優(yōu)的；3.對(duì)于小目標(biāo)來說，大的感受野會(huì)導(dǎo)致小目標(biāo)冗余的 context。論文主要思路是對(duì)分類和回歸這兩大任務(wù)解耦，并借鑒 R-CNN 中的機(jī)制使得不同大小的目標(biāo)有自適應(yīng)的 context 信息。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2688
源碼鏈接
https://github.com/bowenc0221/Decoupled-Classification-Refinement
@paperweekly 推薦
#Image Classification
本文是東京大學(xué)發(fā)表于 CVPR 2018 的工作，論文嘗試將在音頻上的方法應(yīng)用于圖像領(lǐng)域，并提出了一種將圖像作為波形處理的混合方法。具體來說，作者認(rèn)為人類無法識(shí)別圖形波長(zhǎng)融合，但這些信息對(duì)機(jī)器而言卻是有意義的。CNN 有將輸入數(shù)據(jù)作為波形處理的操作，作者提出的 BC Learning 方法是將兩個(gè)不同類的圖像進(jìn)行混合，然后訓(xùn)練模型輸出混合比，靠近哪個(gè)就分為哪類。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2687
源碼鏈接
https://github.com/mil-tokyo/bc_learning_image/
@Kralkatorrik 推薦
#Face Recognition
本文提出了一個(gè)輕量級(jí)的網(wǎng)絡(luò)來做人臉識(shí)別， 比 MobileFaceNet 的 size 大一倍， 精度提高一些。主要看文章設(shè)計(jì)網(wǎng)絡(luò)思路，作者使用 BottleNeck 和快速降采樣策略減少參數(shù)量，從而使這個(gè)網(wǎng)絡(luò)能夠運(yùn)行在移動(dòng)設(shè)備上。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2710
@vimjian 推薦
#Pose Estimation
本文來自浙江大學(xué)，論文研究的問題是基于 RGB 的姿態(tài)估計(jì)，作者引入一個(gè)逐像素投票的網(wǎng)絡(luò)來定位 2D keypoints。本文方法在 LINEMOD、Occlusion LINEMOD 和 YCBVideo 數(shù)據(jù)集上均取得了 SOTA 結(jié)果。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2739
@IndexFziQ 推薦
#Multi-task Learning
這是一篇來自愛爾蘭學(xué)者 Ruder 的綜述文章。論文整理了 Multi-task Learning 的相關(guān)工作，重點(diǎn)介紹在深度學(xué)習(xí)上的應(yīng)用。多任務(wù)學(xué)習(xí)在很多任務(wù)上都可以獲得比較不錯(cuò)的效果，如何選擇合適的輔助任務(wù)幫助主任務(wù)獲得更好的效果也是值得關(guān)注的地方。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2708
@Yerrick 推薦
#Learning to Rank
本文是 Google 發(fā)表于 CIKM 2018 的工作，論文形式化地將 Learning to Rank 領(lǐng)域經(jīng)典的 LambdaMart 方法的 loss 表示出來，并提出了對(duì)于 NDCG 更緊的 bound，能夠更好地在訓(xùn)練時(shí)提升 NDCG。同時(shí)基于他們的方法可以設(shè)計(jì)更多基于 Listwise 的 metric 直接進(jìn)行優(yōu)化。推導(dǎo)并不特別復(fù)雜，很有啟發(fā)意義。方法也被TensorFlow/ranking所實(shí)現(xiàn)。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2667
@NeoTheSunshine?推薦
#Graph Neural Networks
本文是麻省理工和斯坦福發(fā)表于 ICLR 2019 的工作，論文證明了 GNNs 至多可以和 WL test 在區(qū)分圖結(jié)構(gòu)方面同樣有效。此外，作者還證明了 GNN 和 WL test 同樣有效情況下的對(duì) neighbor aggregation 和 graph pooling functions 的條件，并且提出一種簡(jiǎn)潔但有效的模型架構(gòu) GIN。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2730
@figo?推薦
#Neural Architecture Search
本文來自小米 AI，內(nèi)容上屬于目前很火的 AutoML Neural Architecture Search。這篇論文提出了 MoreMNAS 算法，應(yīng)該是多目標(biāo)（EA-NSGAII）+強(qiáng)化學(xué)習(xí) NAS 的首篇論文。論文的初步試驗(yàn)，已經(jīng)擊敗了 SRCNN、FSRCNN、VDSR 等單幀超分辨率領(lǐng)域知名網(wǎng)絡(luò)（應(yīng)該是截止到 CVPR 2016 的成果)。?
論文的想法是比較巧妙的，采用 NSGAII 作為主框架，解決強(qiáng)化學(xué)習(xí)由于超參、算法等導(dǎo)致的可能的衰退問題，同時(shí)采用強(qiáng)化學(xué)習(xí)變異可以更好的利用學(xué)習(xí)的經(jīng)驗(yàn)，二者相互補(bǔ)充，使得方法的魯棒性有保證。另外強(qiáng)化學(xué)習(xí)只用來解決那些不容易解決的目標(biāo)例如超分的 PSNR，對(duì)于其他可以提前計(jì)算的目標(biāo)，則用了 Roulette-wheel selection。
論文中的搜索空間直接采用 cell-block，看起來效果也不錯(cuò)，比較自然地完成 Cross Over 和 Natural Mutation 環(huán)節(jié)。另外，論文解決的實(shí)際上是帶約束的 MOP 問題，并對(duì)最低的 PSNR 進(jìn)行了約束，以保證模型的業(yè)務(wù)可用性。?
實(shí)驗(yàn)結(jié)果是基于一臺(tái) 8GPU 機(jī)器完成（V100，1 周），實(shí)乃深度學(xué)習(xí)煉丹師的福音，對(duì)于不少公司而言，這個(gè)配置是現(xiàn)成的。總體這種方法有一定的通用性，感興趣的讀者可以用來試水其他領(lǐng)域。遺憾的是該論文沒有公開源碼。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2740
@paperweekly?推薦
#Click-Through Rate Prediction
本文是阿里巴巴發(fā)表于 AAAI 2019 的工作，作者提出了一種由興趣抽取和興趣演化兩個(gè)模塊共同組成的 CTR 預(yù)估模型——DIEN。論文亮點(diǎn)在于作者關(guān)注隱藏在用戶行為背后的潛在興趣特征的挖掘和表示（GRU + auxiliary loss）。
淘寶平臺(tái)上商品種類繁多，用戶興趣具有多樣性。預(yù)測(cè)時(shí)，僅僅捕獲與目標(biāo)商品相關(guān)的興趣及其演變（AUGRU）。該算法被應(yīng)用于阿里媽媽定向廣告各大產(chǎn)品中，在DIN的基礎(chǔ)上取得了非常顯著的效果提高。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2692
源碼鏈接
https://github.com/alibaba/x-deeplearning/tree/master/xdl-algorithm-solution/DIEN
#推 薦 有 禮#
本期所有入選論文的推薦人
均將獲得PaperWeekly紀(jì)念周邊一份
▲?深度學(xué)習(xí)主題行李牌/卡套 + 防水貼紙
?禮物領(lǐng)取方式?
推薦人請(qǐng)根據(jù)論文詳情頁底部留言
添加小助手領(lǐng)取禮物
*每位用戶僅限領(lǐng)取一次
想要贏取以上周邊好禮？
點(diǎn)擊閱讀原文即刻推薦論文吧！
點(diǎn)擊以下標(biāo)題查看往期推薦：?
??又為寫作思路熬到禿頭？16篇最新論文打包送你
??收下這 16 篇最新論文，周會(huì)基本不用愁
??這 16 篇最新論文，幫你輕松積攢知識(shí)點(diǎn)
??本周NLP、CV、機(jī)器學(xué)習(xí)論文精選推薦
??想了解推薦系統(tǒng)最新進(jìn)展？請(qǐng)收好這些篇論文
論文多到讀不完？不如看看我們?yōu)槟憔x的這15篇
本周有哪些值得讀的AI論文？進(jìn)來告訴你答案
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？?答案就是：你不認(rèn)識(shí)的人。
總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。
??來稿標(biāo)準(zhǔn)：
? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?
? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志
? 投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?
? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通
?
現(xiàn)在，在「知乎」也能找到我們了
進(jìn)入知乎首頁搜索「PaperWeekly」
點(diǎn)擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點(diǎn)擊 |?閱讀原文?| 獲取更多論文推薦
總結(jié)
以上是生活随笔為你收集整理的本周有哪些值得读的 AI 论文？我们替你挑选了 18 篇的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 全面解析Inception Score原
- 下一篇： AAAI 2019 Oral | 把Cr