在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區，查看更多最新論文推薦。

這是 PaperDaily 的第 87?篇文章

Zero-Shot Dialog Generation with Cross-Domain Latent Actions

@paperweekly 推薦

#Dialogue Generation

本文是 CMU 發表于對話系統頂會 SIGDIAL 2018 的工作，并且獲得最佳論文提名,角逐今年 SIGDIAL 最佳論文獎。此文提出零資源對話生成的問題，目的讓端到端神經對話系統可以在沒有新的對話數據的情況下迅速的遷移到全新的領域。作者們提出了Action Matching（AM）算法來從現有領域的對話數據和領域描述（domain description）中學習出跨領域的隱系統行動（cross-domain latent actions），以實現神經對話模型零資源遷移。

測試表明利用提出的 AM 算法，可以讓配有拷貝機制的神經對話系統在全新的 domain 實現相當于有訓練數據時 80% 的性能。本文研究同時也引出了多個前沿的研究課題。?

論文假設在一類對話領域中存在可以共享的對話狀態跟蹤和對話策略，模型只需建立來著不同領域中對話句子之間的關系，就可以繼續在新的領域正常運作。作者將有對話數據的領域稱為源領域（source domain），將沒有對話數據的領域稱為目標領域（target domain）。然后通過把近似對話功能來自 source domain 的句子和來自 target domain 句子投射到相近的隱空間上，就可以讓在 source domain domain 上訓練出來的對話狀態跟蹤和對話策略直接在 target domain 上使用。這個目標可以通過 AM 算法中交替優化兩種不同的目標函數實現。

實驗數據結果表明 AM 是在所有對比模型中唯一可以實現在全新領域零資源遷移的方法。此外，為了更加高效的驗證未來的零資源對話模型，除了利用現有的多領域人人對話數據，論文還開源了一個多領域的人機對話模擬器，可以自動生成不同領域，不同難度的對話。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2077

源碼鏈接

https://github.com/snakeztc/NeuralDialog-ZSDG

Design Challenges and Misconceptions in Neural Sequence Labeling

@handsome 推薦

#Neural Sequence Labeling

本文是 COLING 2018 的 Most reproducible Paper。作者用 PyTorch 實現了一個統一的序列標注框架，重現了 CoNLL 2003 English NER、CoNLL 2000 Chunking 和 PTB POS tagging 這三個數據集上不同模型的的表現。值得一提的是，基于這個統一的框架，作者對一些已有工作的一些不一致的結論進行了反駁，提出了一些新的看法。對于實踐者而言，這篇論文還是很有借鑒意義的。

論文作者詳細解讀：COLING 2018 最佳論文解讀：序列標注經典模型復現

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2061

源碼鏈接

https://github.com/jiesutd/NCRFpp

Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architectures

@paperweekly 推薦

#Dialog Systems

本文是新加坡國立大學、復旦大學和京東發表于 ACL 2018 的工作，論文提出了一個名為 Sequicity 的框架，可將任務型對話的狀態追蹤和文本生成通過 Seq2Seq 模型來完成。

此外，在此任務的基礎上，作者還提出了 Two Stage CopyNet 模型。相比傳統模型，該模型參數較少且訓練速度更快。實驗表明，本文模型在大規模語料中優于當前最新模型的 baseline，并且在處理 out-of-vocabulary 問題時，也有著出色表現。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2095

Semantic Sentence Matching with Densely-connected Recurrent and Co-attentive Information

@zhkun 推薦

#Sentence Matching

句子匹配（Sentence Matching）是自然語言理解任務中一個非常重要的任務，例如 Natural Language Inference，Paraphrase Identification，Question Answering 等都可以歸屬于這個任務。這個任務主要就是理解句子語義，理解句子之間的語義關系。因此如何去表示這些內容就變得十分重要了。

為了更好的利用原始特征信息，作者參考 DenseNet，提出了一種 densely-connected co-attentive recurrent neural network 模型，該模型最突出的地方就是可以從最底層到最頂層一直保留原始信息以及利用 co-attention 得到的交互信息。

本文將 DenseNet 的一些想法引入到了 stack RNN 中，還是可以給人一些靈感的，比如說從殘差連接到 DenseNet，比如說注意力權值的使用方法，比如說利用 AutoEncoder 來壓縮向量，這些還是十分值得學習的。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2082

Unsupervised Neural Machine Translation with Weight Sharing

@paperweekly 推薦

#Neural Machine Translation

本文是中科大發表于 ACL 2018 的工作，論文提出對無監督機器翻譯進行權重共享約束，使模型能夠為每種語言使用獨立的編碼器。為了實施共享潛在空間，模型還提出了嵌入增強編碼器和兩個不同的 GAN。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2094

源碼鏈接

https://github.com/ZhenYangIACAS/unsupervised-NMT

Exploiting Spatial-Temporal Modelling and Multi-Modal Fusion for Human Action Recognition

@zhaoqijie 推薦

#Action Recognition

本文來自百度，該論文是獲得 CVPR18-ActivityNet18 視頻分類（行為識別）task 第一名的比賽方法描述。作者提出了一個 Spatial-Temporal Network (STNet)，在 TSN 的基礎上，深度整合空間和時間上的特征，學習出更具行為代表性的時序表征特征。

此外，本文還提出了一個多流信息整合的方案 Improved Temporal Xception Network，將 5 種不同的輸入流信息整合學習，并得到 top1 accuracy = 82.4 的單模型最高精度。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2079

Performance Comparison of Convolutional AutoEncoders, Generative Adversarial Networks and Super-Resolution for Image Compression

@TwistedW 推薦

#Image Compression

本文來自早稻田大學，論文用精煉的語言對比了幾類圖像生成模型，將卷積自編碼器（CAE）、生成對抗網絡（GAN）和超分辨率（SR）在生成圖像性能上做了比較。通過提取圖像緊湊的特征，文章得出 CAE 比 JPEG 具有更好的編碼效率，GAN 顯示出在大壓縮比和高主觀質量重建方面的潛在優勢，超分辨率在其中實現了最佳的速率失真（RD）性能，與 BPG 相當。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2085

ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing

@sawako 推薦

#Image Reconstruction

本文是 KAUST 發表于 CVPR 2018 的工作，論文研究了圖像的 CS 重建問題，并且基于經典的 ISTA 提出了 ISTA-Net。ISTA-Net 的每一層先對輸出進行編碼，即卷積提取特征，然后對特征進行壓縮（shrinkage），最后再進行解碼。與眾多傳統 CS 算法以及 ADMM-Net 相比，ISTA-Net 的速度最快，重建效果最好。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2056

源碼鏈接

https://github.com/jianzhangcs/ISTA-Net

CFENet: An Accurate and Efficient Single-Shot Object Detector for Autonomous Driving

@zhaoqijie 推薦

#Object Detection

本文來自北京大學和阿里巴巴，論文為自動駕駛場景提供了一種新的單步檢測器，對小目標的檢測做了極大的優化。該文章是基于 SSD 改進的方法里效果最好的版本，論文方法在 CVPR 2018 的 workshop of autonomous driving（WAD) 中獲得目標檢測項目的第二名，結果為本方法的單模型、多尺度預測結果。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2070

Eye In-painting with Exemplar Generative Adversarial Networks

@zhangjichao 推薦

#Image Inpainting

本文來自 Facebook，論文提出了一種基于 Exemplar 的人眼修復算法，除了得到高質量的修復結果，而且能夠保持修復結果的身份特征。論文提出的框架具有一定的通用性，可以被應用到其他修復問題，以及超分辨率等問題中。論文還開源了一個新的數據集來作為 benchmark。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2058

源碼鏈接

https://github.com/bdol/exemplar_gans

Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization

@figo 推薦

#Deep Reinforcement Learning

本文來自小米，論文對標 OpenAI PPO， 提出了一種與 PPO（OpenAI, Google Brain 默認強化學習算法，也是到目前最好的 RL 算法）相比均有很強競爭力的 RL 算法。

在與 PPO 保持相同復雜度和計算量的前提下，嚴格按照 OpenAI 的測試評價指標，在 Atari 49 + Mujoco 7 上取得了 state of the art? 的效果，且同時可以應用在離散和連續的情形。論文開放了源代碼和實驗數據，這在 RL 領域，確是為數不多的開源如此徹底的論文。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2091

源碼鏈接

https://github.com/cxxgtxy/POP3D.git

Supervised Reinforcement Learning with Recurrent Neural Network for Dynamic Treatment Recommendation

@xiaolu 推薦

#Deep Reinforcement Learning

本文是華東師范大學發表于 SIGKDD 2018 的工作。近幾年，許多機器學習算法致力于輔助醫生更好地開展工作，例如生成醫療圖像報告，輔助診斷等。其中輔助醫生開藥（藥物推薦）的研究已經有很長歷史。傳統藥物推薦算法主要分為監督學習（SL）和強化學習（RL）。SL 通過匹配醫生的藥方來訓練模型，RL 通過優化病人輸出進行學習。本文嘗試通過融合 SL 的指示信號和 RL 的評估信號來提升藥物推薦效果。?

早期，許多研究工作通過構建專家系統來進行藥物推薦。隨著近年海量電子病歷的涌現，一些工作利用這些大量的個性化數據，結合人工智能算法進行基于模型的藥物推薦。基于模型的藥物推薦算法大致分為 SL 和 RL 兩類。

SL 通過減少模型輸出和指示信號（醫生藥方）之間的差異來訓練模型。但是，在真實醫療環境中好的 label 或者指示信號是不明確的。另一方面，藥物推薦的根本目的是為了優化病人的輸出（減少死亡率，減少腫瘤大小等），而不僅是匹配醫生的藥方。

第二類方法是基于 RL 的藥物推薦。RL 通過最大化評估信號（reward）即病人的輸出來訓練模型。此外，醫生的開藥過程實際是一個多步決策過程，所以 RL 能更好地反應真實的醫療場景。可是，由于缺少指示信號，RL 可能輸出高風險的藥物。?

Barto 曾提出指示信號和評估信號是互補的關系，基于此，我們提出一種同時融合這兩種信號的模型來解決藥物推薦問題。模型融合了 DDPG 和 RNN，其中DDPG中的 Actor 由指示信號和評估信號共同訓練。通過在公開電子病歷 MIMIC-3 上進行實驗，驗證了本文模型的有效性。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2092

On the Spectral Bias of Deep Neural Networks

@herb 推薦

#Fourier Analysis

根據前人的工作告訴我們，過參的（over-parameterized） DNN 會對簡單的光滑（smooth） 函數優先擬合，也就是說更容易破獲到數據的整體結構（global structure），而不是對每個樣本的過擬合。這一現象對于真實數據和隨機生成的數據都是會發生的。可見，DNNs 對擬合光滑數據很有傾向性（bias）。?

本文工作并不是研究泛化性或者優化方法的表現，而是用傅里葉分析證明 DNNs 對光滑函數的內稟傾向性。具體來說（這里默認了一個事實：越高頻，越不光滑）：

1. 對于任意有限參數值 θ，DNN 中 ReLU 函數里的相應幅度，會隨著頻譜中的頻率分量 k 以衰減。對于高頻特征的捕獲，DNN 的寬度是 polynomially 的，深度是 exponentially 。說白了，數據的高頻分量在網絡中貢獻很小，所以體現了對光滑低頻函數的傾向性（在一定的 steps 上）。這是 paper 最重要最核心的結果。

2. 于是有了理論上的推論：對于擬合擬合類 δ 函數來說，DNN 的能力就會大大受限。

3. 論文還證明了：加入 DNN 映射的是一個低微微分流形，那么 DNN 就可以充分利用流形的幾何特征去近似地擬合高頻特征分量。

4. 經驗上證明了：對于 CIFAR-10 數據來說，所有的樣本（甚至包括對抗樣本）被 DNN 分類后，相同特定類別里的樣本都在某種程度上存在著線性關聯（用的AutoNEB）。

5. 經驗上證明了：對于高頻函數分量的 DNN 參數占坑較小。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2080

Generative Adversarial Image Synthesis with Decision Tree Latent Controller

@TwistedW 推薦

#Image Synthesis

本文是 NTT 集團發表于 CVPR 2018 的工作，文章提出了決策樹潛在控制器生成對抗網絡（DTLC-GAN）模型，該模型可以在不依賴詳細監督的情況下學習到圖像的分層解釋表示。DTLC-GAN 以層次分解的方式捕捉圖像的顯著語義特征，在有限的標簽信息下以粗到細的方式控制圖像的語義特征，實現了同一類別下不同語義特征圖像的生成。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2068

Mixed Link Networks

@chlr1995 推薦

#Scaffolding Networks

本文從拓撲結構的角度，分析了 ResNet（Eccv版本）和 DenseNet 的結構特性，并以此提出了 Dense Topology。從 Dense Topology 出發，對層與層之間的連接方式進行了變換，主要方式有拼接（DenseNet Concatenation）和累加（ResNet Addition）兩種，最終構造了一種混合 concat 和 addition的 Mixed link 結構，兩種操作的數量由 k1 和 k2 兩個超參數決定。最后通過實驗驗證了網絡結構的有效性，以及超參數的穩定性。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2062

#推 薦 有 禮#

本期所有入選論文的推薦人

均將獲得PaperWeekly紀念周邊一份

▲?深度學習主題行李牌/卡套 + 防水貼紙

?禮物領取方式?

推薦人請根據論文詳情頁底部留言

添加小助手領取禮物

想要贏取以上周邊好禮？

點擊閱讀原文即刻加入社區吧！

點擊以下標題查看往期推薦：?

• ??還在為周會發愁？你需要這13篇最新論文

• ??快醒醒，一大波最新 AI 論文加開源代碼來襲！
  

• ??15 篇最新 AI 論文來襲！NLP、CV...人人有份

• 還在熬夜憋思路？這12篇最新論文打包送給你

• 本頂會論文輪番炸場，本周哪些論文最值得讀？

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 加入社區刷論文

總結

以上是生活随笔為你收集整理的暑假没人带怎么办？还有我们为你推荐论文 | 本周值得读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。