在碎片化閱讀充斥眼球的時代，越來越少的人會去關(guān)注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第 99?篇文章

QuAC : Question Answering in Context

@guohao916 推薦

#Machine Reading Comprehension

本文提出了一個基于上下文的機(jī)器閱讀理解數(shù)據(jù)集 QuAC，該數(shù)據(jù)集存在兩類人群：Student 和 Teacher。Student 依次提出一系列自由式的問題，而 Teacher 進(jìn)行回答，該回答是基于文章內(nèi)部的片段產(chǎn)生的。不同于以往的機(jī)器閱讀理解數(shù)據(jù)集，該數(shù)據(jù)集存在以下特點：?

1. 問題是開放式的，也就是說問題的答案不一定存在于文章的片段中。因此 Student 在提問前不知道是否能夠被回答；

2. Teacher 的回答必需基于文章內(nèi)部的片段，不存在自由片段（游離于文章內(nèi)容的片段）；

3. 對話終止的條件包括：從開始對話到現(xiàn)在，(a). 已經(jīng)有 12 個問題被回答了；(b). Student 和 Teacher 中的某一位主動提出結(jié)束對話；(c). 有兩個問題不能夠被回答。?

論文采用了 Pretrained InferSent，Feature-rich logistic regression，BiDAF++ 以及 BiDAF++ w/ x-ctx 作為基準(zhǔn)算法，選用 HEQQ，HEQD 和 F1 等作為效果度量指標(biāo)，進(jìn)行了一系列實驗。實驗結(jié)果表明，目前的基準(zhǔn)算法得到的最好結(jié)果，相較于人工判斷的效果還存在很大提升空間。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2255

數(shù)據(jù)集鏈接

http://quac.ai/

Densely Connected CNN with Multi-scale Feature Attention for Text Classification

@wangshy 推薦

#Text Classification

本文是清華大學(xué)發(fā)表于 IJCAI 2018 的工作。針對文本分類任務(wù)中卷積神經(jīng)網(wǎng)絡(luò)通常無法靈活學(xué)習(xí)可變 n 元特征（n-gram）的問題，論文提出了一種具有適應(yīng)式注意力機(jī)制的密集連接的卷積神經(jīng)網(wǎng)絡(luò)。該模型通過建立底層特征和高層特征之間的跨層連接，從而獲得了豐富的多尺度特征，而注意力模型能夠自適應(yīng)地選擇合適尺度的特征以適用于各種不同的文本分類問題。該法面向六個公開數(shù)據(jù)集均實現(xiàn)了超過基線的預(yù)測精度。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2240

源碼鏈接

https://github.com/wangshy31/Densely-Connected-CNN-with-Multiscale-Feature-Attention

On the Decision Boundary of Deep Neural Networks

@lykaust15 推薦

#Deep Neural Networks

近年來，深度學(xué)習(xí)在各個領(lǐng)域以及工業(yè)界都取得了令人矚目的成功。但是人們一直無法解釋為什么深度學(xué)習(xí)在分類上的 performance 會比傳統(tǒng)的方法要好那么多。尤其是，人們無法解釋為什么模型復(fù)雜度那么高的神經(jīng)網(wǎng)絡(luò)沒有災(zāi)難性的 overfitting 問題（確實存在 overfitting 問題，但是沒有嚴(yán)重到過于影響到模型的performance）。

這是一個非常值得研究的問題。它能夠幫助我們更進(jìn)一步理解深度學(xué)習(xí)從而進(jìn)一步提升深度學(xué)習(xí)的 performance。同時，它也有可能幫助我們解決一些實際的問題，比如 adversarial attacking，catastrophic forgetting。?

在前人的工作基礎(chǔ)上，本文從理論和實驗上證明了深度學(xué)習(xí)和 SVM 的內(nèi)在聯(lián)系。如果訓(xùn)練數(shù)據(jù)的 cross entropy loss 趨向于 0，那么使用 SGD 訓(xùn)練深度學(xué)習(xí)會使神經(jīng)網(wǎng)絡(luò)的最后一層的參數(shù)的方向趨向于 SVM solution 的方向。

也就是說，如果將深度神經(jīng)網(wǎng)絡(luò)劃分成兩個部分，最后一層和除了最后一層的所有層。我們可以將除了最后一層的所有層當(dāng)做一個 mapping function，這個 mapping function 將原始的輸入映射到一個 hidden representation 上。而網(wǎng)絡(luò)的最后一層實際上是一個 linear classifier。如果使用 hidden representation 和原始的 label 訓(xùn)練一個 SVM，我們會發(fā)現(xiàn) SGD 會使神經(jīng)網(wǎng)絡(luò)的最后一層的參數(shù)的方向 converge 到這個 SVM solution 的方向上。

本文還用大量的實驗證明神經(jīng)網(wǎng)絡(luò)最后一層 classifier 的 bias 也非常接近 SVM 的 bias。本文顯示 margin theory 有可能解釋深度學(xué)習(xí)的 generalization property。?

和前人的工作不同，本文沒有對神經(jīng)網(wǎng)絡(luò)進(jìn)行任何的簡化，研究的模型就是平時常用的模型，比如 resnet，densenet。本文的結(jié)論非常具有實用性。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2252

源碼鏈接

https://github.com/lykaust15/NN_decision_boundary

Next Item Recommendation with Self-Attention

@daven88 推薦

#Recommender System

本文提出了一種基于 self-attention 的基于序列的推薦算法，該算法是用 self-attention 從用戶的交互記錄中自己的去學(xué)習(xí)用的近期的興趣，同時該模型也保留了用戶的長久的興趣。整個網(wǎng)絡(luò)是在 metric learning 的框架下，是第一次將 self-attention 和 metric learning的結(jié)合的嘗試。

實驗結(jié)果表明，通過 self-attention，模型可以很好的學(xué)習(xí)用戶的短期興趣愛好， 并且能有效的提升模型效果。通過和近期的文章得對比發(fā)現(xiàn)，該方法可以在很大程度上改善序列化推薦的效果。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2246

A Reinforced Topic-Aware Convolutional Sequence-to-Sequence Model for Abstractive Text Summarization

@yangdali 推薦

#Abstractive Summarization

本文是騰訊發(fā)表于 IJCAI 2018 的工作，文章提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的總結(jié)式文本摘要生成方法，并結(jié)合主題模型的注意力機(jī)制，利用強(qiáng)化學(xué)習(xí)方法進(jìn)行優(yōu)化，在 DUC、Gigaword 和 LCSTS 數(shù)據(jù)集上達(dá)到 state of the art。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2234

Fake Sentence Detection as a Training Task for Sentence Encoding

@lunar 推薦

#Sentence Embeding

本文給出了一個新穎的看法，即一些垃圾數(shù)據(jù)對訓(xùn)練也可以是有用的。作者人為制造出很多假數(shù)據(jù)（通過隨機(jī)從文本中丟失一些詞和打亂一些詞的順序），訓(xùn)練出一個二分類網(wǎng)絡(luò)用于判別真假文本，這種方式訓(xùn)練出的模型在很多任務(wù)上有更好的表現(xiàn)。有點像 CV 界數(shù)據(jù)增強(qiáng)的逆向玩法。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2229

Dropout is a special case of the stochastic delta rule: faster and more accurate deep learning

@chlr1995 推薦

#Bayesian Deep Learning

本文從數(shù)學(xué)角度嘗試解釋 Dropout 的作用，深入探究 dropout 的本質(zhì)。論文提出了一種從權(quán)重層面引入噪聲的方法。實驗結(jié)果顯示，這種方法不僅可以提高網(wǎng)絡(luò)的最終收斂結(jié)果，也可以加速收斂。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2212

源碼鏈接

https://github.com/noahfl/densenet-sdr

Backprop Evolution

@lunar 推薦

#Genetic Algorithms

本文是 Google Brain 發(fā)表于 ICML 2018 的工作，作者希望能夠找到一種能夠替代反向傳播的方法。因此，他們設(shè)計了一種 domain-specific language (DSL) 來函數(shù)式描述數(shù)學(xué)公式（例如反向傳播），然后利用演化算法來發(fā)現(xiàn)新的傳播算法，旨在找到泛化性能比 BP 更好的算法。最終通過實驗，他們找到的算法能夠在訓(xùn)練前期收斂得更快，但是收斂時并沒有表現(xiàn)得更好。?

BP 算法雖然取得了很大的成就，但是近年學(xué)界前沿也指出它的一些局限性，本文給這方面的研究探出了一小步。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2211

Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network

@Qfengly 推薦

#Dialog System

本文是百度發(fā)表于 ACL 2018 的工作，論文將 attention 應(yīng)用于多輪對話，打破之前的 RNN 和 CNN 結(jié)構(gòu)，在多輪上速度快，達(dá)到了目前最好效果。其次，本文使用 self-attention 和 cross-attention 來提取 response 和 context 的特征。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2250

NASH: Toward End-to-End Neural Architecture for Generative Semantic Hashing

@EricShen 推薦

#Recommender Systems

本文在 ACL 2018 上獲得了 Best Paper Honourable Mention Award?，F(xiàn)有的句子表示大多都是基于連續(xù)的 vector（skip-thought vector 等），而本文考慮用離散的 binary vector 來表示句子（文檔），并首次提出用端到端的 Variational Autoencoder 來學(xué)習(xí) binary 的句子表示。基于這些 binary 的向量，兩個文檔的相似度就可以通過他們 representations 之間的 hamming distance（即有多少 bit 不同）來進(jìn)行判斷。

相較于連續(xù)的 vector 上的 inner product 操作，這種策略有更快的計算速度（這種方法被稱為 semantic hashing）。同時，離散的向量在 storage 上也比連續(xù)的向量更加節(jié)省空間。

在 information retrieval 的幾個 benchmark 數(shù)據(jù)集上，本文的模型相對于以前的 semantic hashing 方法在搜索準(zhǔn)確率上實現(xiàn)了明顯的提升。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2225

Geometric Understanding of Deep Learning

@pxwluffy 推薦

#Deep Learning

本文從幾何的角度理解深度學(xué)習(xí)，為深度學(xué)習(xí)提供嚴(yán)密的數(shù)學(xué)論證。深度學(xué)習(xí)目前還停留在實驗科學(xué)的階段，其嚴(yán)格的數(shù)學(xué)解釋還未完全建立。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2216

A Multi-task Learning Approach for Improving Product Title Compression with User Search Log Data

@aforever 推薦

#Multi-task Learning

本文是阿里發(fā)表于 AAAI 2018 的工作，論文利用用戶搜索日志進(jìn)行多任務(wù)學(xué)習(xí)以壓縮商品標(biāo)題，生成的商品短標(biāo)題在離線自動評測、人工評測以及在線評測中均超過傳統(tǒng)抽取式摘要方法。端到端的訓(xùn)練方式避免了傳統(tǒng)方法的大量人工預(yù)處理以及特征工程。多任務(wù)學(xué)習(xí)中的 Attention 分布一致性設(shè)置使得最終生成的商品短標(biāo)題中能透出原始標(biāo)題中重要的詞，尤其是能引導(dǎo)成交的核心詞，對于其他電商場景也有重要意義。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2253

#文 末 福 利#

以下是簡單粗暴送書環(huán)節(jié)

PaperWeekly?× 圖靈教育?

《Python深度學(xué)習(xí)》

<5本>

熱門暢銷√大神執(zhí)筆√入門必備√

作者：Franc?ois Chollet

譯者：張亮

■?30多個代碼示例，帶你全面掌握如何用深度學(xué)習(xí)解決實際問題

■?Keras框架速成的明智之選

■?夯實深度學(xué)習(xí)基礎(chǔ)，在實踐中培養(yǎng)對深度神經(jīng)網(wǎng)絡(luò)的良好直覺

■?無須機(jī)器學(xué)習(xí)經(jīng)驗和高等數(shù)學(xué)背景

由 Keras 之父、Google 人工智能研究員 Franc?ois Chollet 執(zhí)筆，美亞 4.6 星評，16 開全彩印刷，通俗易懂，幫助讀者建立關(guān)于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)核心思想的直覺。書中用 30 多個代碼示例，步驟講解詳細(xì)透徹，介紹了用 Python 和 Keras 進(jìn)行深度學(xué)習(xí)的探索實踐，包括計算機(jī)視覺、自然語言處理、產(chǎn)生式模型等應(yīng)用。

?

?參與方式?

請在文末留言分享

對于各位初級煉丹師而言，

應(yīng)該如何選擇適合自己的深度學(xué)習(xí)框架？

小編將隨機(jī)抽取5位同學(xué)

送出圖靈教育新書

截止時間：8月31日（周五）20:00

點擊以下標(biāo)題查看往期推薦：?

• ??暑假沒人帶怎么辦？還有我們?yōu)槟阃扑]論文

• ??本周份AI論文推薦新鮮出爐！真的很skr了~
  

• ??本周最熱 AI 論文大集合，還不快一鍵收藏？

• 還在熬夜憋思路？這12篇最新論文打包送給你

• 本頂會論文輪番炸場，本周哪些論文最值得讀？

總結(jié)

以上是生活随笔為你收集整理的收下这12篇最新论文，炼丹不愁没灵感 | 本周值得读的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。