在碎片化閱讀充斥眼球的時(shí)代，越來越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。

在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。

點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第 126?篇文章

@paperweekly 推薦

#Knowledge Graph

本文是新加坡國(guó)立大學(xué)和 eBay 發(fā)表于 AAAI 2019 的工作，論文提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦模型，對(duì)用戶和物品之間的交互特征在知識(shí)圖譜中存在的關(guān)聯(lián)路徑進(jìn)行建模，為用戶提供可解釋性推薦。

該模型基于 LSTM 學(xué)習(xí)關(guān)聯(lián)路徑的表示，充分考慮了實(shí)體、關(guān)系間產(chǎn)生的序列依賴性，具備較強(qiáng)的推理能力。實(shí)驗(yàn)表明，本文模型在電影數(shù)據(jù)集 MI 和音樂數(shù)據(jù)集 KKBox 上取得了當(dāng)前最優(yōu)結(jié)果。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2644

@zkt18 推薦

#Sequence to Sequence Learning

本文是北京大學(xué)和微軟發(fā)表于 AAAI 2019 的工作。最大似然估計(jì)常被用作評(píng)估 Seq2Seq 生成序列的效果，根據(jù)實(shí)證研究，作者認(rèn)為非平滑方法往往效果較差。

本文提出了一種句子正則化方法，為目標(biāo)序列中的所有 token 輸出平滑的預(yù)測(cè)概率。在三個(gè)神經(jīng)機(jī)器翻譯任務(wù)和一個(gè)文本摘要任務(wù)上的實(shí)驗(yàn)表明，本文效果超出傳統(tǒng)MLE，每個(gè)token概率越平滑，BLEU分?jǐn)?shù)越高。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2640

@zkt18 推薦

#Contextual Augmentation

本文來自中國(guó)科學(xué)院大學(xué)。傳統(tǒng) GAN 與 VAE 生成句子在一致性與可讀性方面難以保證質(zhì)量，近年基于詞語替換的方法取得了成功。

BERT 使用 Masked Language Model（MLM）任務(wù)來預(yù)訓(xùn)練，MLM 任務(wù)是利用上下文的填空任務(wù)（cloze）。這個(gè)任務(wù)和短文本的語境增強(qiáng)（Contextual Augmentation，使用語言模型來預(yù)測(cè)并替換句子中的部分詞，生成新句子）任務(wù)非常貼近。

預(yù)訓(xùn)練好的 BERT 模型， 可以通過 MLM 任務(wù)來實(shí)現(xiàn)語境增強(qiáng)。對(duì)于有類別標(biāo)簽的短文本，為了使預(yù)測(cè)出的替換詞和原標(biāo)簽兼容，本文提出一個(gè) Conditional MLM 的 fine-tuning 任務(wù)。

BERT 輸入中的 Segmentation Embeddings 被替換成 Label Embeddings，在下游目標(biāo)任務(wù)數(shù)據(jù)集上訓(xùn)練 Conditional MLM 任務(wù)，得到 Conditional BERT。將 Conditional BERT 應(yīng)用于語境增強(qiáng)，對(duì) 6 個(gè)短文本分類數(shù)據(jù)集進(jìn)行文本增強(qiáng)，都得到了分類效果的明顯提升。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2655

@guohao916 推薦

#Machine Reading Comprehension

本文來自約翰霍普金斯大學(xué)和微軟，論文發(fā)布了一個(gè)帶有常識(shí)性推理的機(jī)器閱讀理解數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明目前的最新閱讀理解模型在該數(shù)據(jù)集上的結(jié)果顯著弱于人工評(píng)估結(jié)果。ReCoRD 數(shù)據(jù)集為研究如何縮小人與機(jī)器之間對(duì)于常識(shí)推理的理解提供了機(jī)會(huì)。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2648

數(shù)據(jù)集鏈接

https://sheng-z.github.io/ReCoRD-explorer/

@Zsank 推薦

#Neural Language Model

本文來自斯坦福大學(xué) Andrew Ng 團(tuán)隊(duì)。數(shù)據(jù)增強(qiáng)作為一種能夠顯著提升模型性能的方法，已經(jīng)在 CV 領(lǐng)域證明了其有效性，但鮮有用于 NLP 領(lǐng)域中。在 NLP 領(lǐng)域，正則化一般是對(duì)權(quán)重（如 L2 正則化）或者隱層單元（如 dropout）進(jìn)行處理的，而不是直接對(duì)數(shù)據(jù)本身。

在本文中，作者證明了神經(jīng)語言模型中，對(duì)數(shù)據(jù)施加噪聲相當(dāng)于n-gram的插值平滑，能夠提升神經(jīng)語言模型的性能。BERT 也是用了神經(jīng)語言模型，并且訓(xùn)練時(shí)使用了 Mask 方法。而 Mask 方法為什么有效正是這篇論文的一個(gè)重點(diǎn)。雖然兩者方法不同，但也可以作為 BERT 的擴(kuò)展閱讀。況且，就憑該論文的作者們的名字也值得一看。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2641

源碼鏈接

https://github.com/stanfordmlgroup/nlm-noising

@zkt18 推薦

#Text Classification

本文是杜克大學(xué)發(fā)表于 ACL 2018 的工作。作者將文本分類看作 words and labels joint embedding：每一 label 嵌入到詞向量的同一位置。使用 attention 訓(xùn)練，確保對(duì)于一個(gè)文本序列，相關(guān)詞的權(quán)重比非相關(guān)詞高。Word Embedding 效果對(duì)于提高任務(wù)準(zhǔn)確率十分重要，重點(diǎn)在于如何使用 label 信息構(gòu)建文本序列表示。

NLP 任務(wù)通常有三步操作，embed->encode->predict。本文在 embed 中加入 label 信息，在 encode 中使用關(guān)于 word 和 label 的注意力，簡(jiǎn)單模型即可取得先進(jìn)結(jié)果。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2459

源碼鏈接

https://github.com/guoyinwang/LEAM

@darksoul 推薦

#Object Detection

本文是香港中文大學(xué)發(fā)表于 AAAI 2019 的工作，文章從梯度的角度解決樣本中常見的正負(fù)樣本不均衡的問題。從梯度的角度給計(jì)算 loss 的樣本加權(quán)，相比與 OHEM 的硬截?cái)?#xff0c;這種思路和 Focal Loss 一樣屬于軟截?cái)唷?/span>

文章設(shè)計(jì)的思路不僅可以用于分類 loss 改進(jìn)，對(duì)回歸 loss 也很容易進(jìn)行嵌入。不需要考慮 Focal Loss 的超參設(shè)計(jì)問題，同時(shí)文章提出的方法效果比 Focal Loss 更好。創(chuàng)新點(diǎn)相當(dāng)于 FL 的下一步方案，給出了解決 class-imbalance 的另一種思路，開了一條路，估計(jì)下一步會(huì)有很多這方面的 paper 出現(xiàn)。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2654

源碼鏈接

https://github.com/libuyu/GHM_Detection

@wangshy 推薦

#Video Object Detection

本文是清華大學(xué)和商湯科技發(fā)表于 ECCV 2018 的工作。在視頻物體檢測(cè)任務(wù)中，作者提出了一種關(guān)注運(yùn)動(dòng)信息（Fully Motion-Aware Network：MANet）的端到端模型，它在統(tǒng)一的框架中同時(shí)進(jìn)行像素級(jí)和實(shí)例級(jí)的特征對(duì)準(zhǔn)來提高檢測(cè)精度。

像素級(jí)校準(zhǔn)可靈活地建模細(xì)節(jié)運(yùn)動(dòng)，而實(shí)例級(jí)校準(zhǔn)更多地捕捉物體整體運(yùn)動(dòng)信息，以便對(duì)遮擋具有魯棒性。實(shí)驗(yàn)表明，本文模型在ImageNet VID數(shù)據(jù)集上達(dá)到了領(lǐng)先的精度。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2622

源碼鏈接

https://github.com/wangshy31/MANet_for_Video_Object_Detection

@pyy 推薦

#Data Augmentation

本文來自神戶大學(xué)，論文提出了一種基于隨機(jī)圖像裁剪和修補(bǔ)的圖像預(yù)處理方法 RICAP，隨機(jī)裁剪四個(gè)圖像并對(duì)其進(jìn)行修補(bǔ)以創(chuàng)建新的訓(xùn)練圖像。該方法非常簡(jiǎn)單實(shí)用，把幾張圖拼在一起，然后 label 就是這幾張圖類別占圖片大小的比率。實(shí)驗(yàn)表明，本文方法在 CIFAR-10 數(shù)據(jù)集上實(shí)現(xiàn)了 2.19％ 的測(cè)試誤差。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2645

@Kralkatorrik 推薦

#Image Classification

本文是清華大學(xué)和 UIUC 發(fā)表于 CVPR 2018 的工作。這篇文章假定數(shù)據(jù)樣本在特征空間服從高斯混合分布，使用 Gaussian Mixture 代替 Softmax 做概率表示，用交叉熵?fù)p失來做優(yōu)化。除此之外，遵循約束類內(nèi)距離增加類間距離的思想，引入 L_likehood 損失，并在 GM 中增加 margin，構(gòu)成了最終的 LGM Loss。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2619

源碼鏈接

https://github.com/WeitaoVan/L-GM-loss

@paperweekly 推薦

#Human Pose Estimation

本文來自電子科技大學(xué)和 Vision Semantics。現(xiàn)有的人體姿態(tài)估計(jì)方法通常更側(cè)重于設(shè)計(jì)網(wǎng)絡(luò)學(xué)習(xí)更適合的特征，從而使得定位精度更高。往往容易忽視在模型實(shí)際部署時(shí)，可能面臨模型較大和計(jì)算復(fù)雜度過高的問題。本文基于一個(gè)輕量級(jí)的 Hourglass 網(wǎng)絡(luò)和知識(shí)蒸餾，提出了一種模型復(fù)雜度更低、模型 size 更小的全新方法——FPD。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2647

@haonan 推薦

#Generative Graph

本文是斯坦福大學(xué)和南加州大學(xué)發(fā)表于 ICML 2018 的工作，論文關(guān)注的問題是基于圖的概率生成模型，作者提出了一種全新的深度自回歸模型 GraphRNN。寫作動(dòng)機(jī)如下：1. 因?yàn)樾枰硎?node 之間的關(guān)系，所以 space 大；2. node 的表示順序多種多樣；3. node 的生成順序需要依賴已經(jīng)生成的 node 順序。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2608

源碼鏈接

https://github.com/JiaxuanYou/graph-generation

@xuzhou 推薦

#Time Series Analysis

時(shí)間序列聚類是根據(jù)序列之間的相似性或者特征進(jìn)行分類。之前的方法通常是將特定的距離衡量方法和標(biāo)準(zhǔn)的聚類算法結(jié)合起來。但是這些方法沒有考慮每一個(gè)序列的子序列之間的相似性，這可以被用來更好地比較時(shí)間序列。

本文提出了一個(gè)新穎的基于兩個(gè)聚類步驟的聚類算法。第一步，對(duì)每個(gè)時(shí)間序列進(jìn)行最小平方多項(xiàng)式分割，該技術(shù)是基于逐漸變大窗口技術(shù)并返回不同長(zhǎng)度的分割。然后基于模型近似分割和統(tǒng)計(jì)特征系數(shù)將所有的分割被映射到相同的維度空間。第二步，對(duì)所有時(shí)間序列對(duì)象進(jìn)行組合。作者考慮到了算法自動(dòng)調(diào)整主要參數(shù)的特點(diǎn)。實(shí)驗(yàn)證明了該方法的優(yōu)越性。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2505

@paperweekly 推薦

#Recommender System

本文是 Schibsted Media Group 發(fā)表于 RecSys 2018 的工作。論文關(guān)注的問題是推薦系統(tǒng)在二手市場(chǎng)上的應(yīng)用，作者通過在線實(shí)驗(yàn)對(duì)三種基于深度神經(jīng)網(wǎng)絡(luò)的推薦模型進(jìn)行了基準(zhǔn)測(cè)試，對(duì)比它們?cè)谏a(chǎn)環(huán)境中的性能表現(xiàn)。這三種模型分別為混合項(xiàng)目-項(xiàng)目推薦器、基于序列的用戶項(xiàng)目推薦器以及一種更高級(jí)的多臂bandit算法。

結(jié)果表明，在冷啟動(dòng)和基于序列的模型中，將協(xié)同過濾和內(nèi)容特性相結(jié)合可以更好地表示項(xiàng)目。此外，作者還在其他推薦算法的基礎(chǔ)上，將bandit作為更高級(jí)的再排序工具，這種方法對(duì)于利用上下文信息和組合多個(gè)業(yè)務(wù)領(lǐng)域的推薦系統(tǒng)非常有用。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2646

@zhangjun 推薦

#Evolutionary Algorithm

本文是 IBM Research AI 發(fā)表于 NeurIPS 2018 的工作，亮點(diǎn)在于將 SGD 和進(jìn)化算法融合起來，提高機(jī)器學(xué)習(xí)優(yōu)化算法的有效性。

SGD 是一種常見的基于目標(biāo)函數(shù)梯度的算法，常用于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型參數(shù)學(xué)習(xí)，優(yōu)化效率較高，但容易陷入局部最優(yōu)解；而進(jìn)化算法是一種全局優(yōu)化算法，只要進(jìn)化代數(shù)足夠大，總會(huì)找到全局最優(yōu)解，但計(jì)算效率相對(duì)低下?；诖?#xff0c;本文提出了兩者結(jié)合的優(yōu)化框架，并在 CV、NLP、ASR 任務(wù)上進(jìn)行了測(cè)試，驗(yàn)證了本文方法的有效性。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2615

@ZSCDumin?推薦

#Recommender System

本文來自南洋理工大學(xué)。作為個(gè)體的用戶和群組成員的行為是不同的，作者基于用戶評(píng)級(jí)歷史的深度學(xué)習(xí)技術(shù)，提出了一個(gè)注意力群體推薦模型來解決群體推薦問題，模型自動(dòng)學(xué)習(xí)群組中的每個(gè)用戶的影響權(quán)重并根據(jù)其成員的權(quán)重偏好為群組推薦項(xiàng)目。雖然基于圖和概率的模型已經(jīng)得到了廣泛的研究，但本文是第一個(gè)將 Attention 機(jī)制應(yīng)用到群體推薦中的。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2561

#推 薦 有 禮#

本期所有入選論文的推薦人

均將獲得PaperWeekly紀(jì)念周邊一份

▲?深度學(xué)習(xí)主題行李牌/卡套 + 防水貼紙

?禮物領(lǐng)取方式?

推薦人請(qǐng)根據(jù)論文詳情頁底部留言

添加小助手領(lǐng)取禮物

*每位用戶僅限領(lǐng)取一次

想要贏取以上周邊好禮？

點(diǎn)擊閱讀原文即刻推薦論文吧！

點(diǎn)擊以下標(biāo)題查看往期推薦：?

• ??又為寫作思路熬到禿頭？16篇最新論文打包送你

• ??收下這 16 篇最新論文，周會(huì)基本不用愁

• ??這 16 篇最新論文，幫你輕松積攢知識(shí)點(diǎn)

• ??本周份AI論文推薦新鮮出爐！真的很skr了~
  

• ??想了解推薦系統(tǒng)最新進(jìn)展？請(qǐng)收好這些篇論文

• 論文多到讀不完？不如看看我們?yōu)槟憔x的這15篇

• 本周有哪些值得讀的AI論文？進(jìn)來告訴你答案

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？?答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

??來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 獲取更多論文推薦

總結(jié)

以上是生活随笔為你收集整理的本周NLP、CV、机器学习论文精选推荐的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。