开学综合症有救了！17篇最新AI论文不容错过
在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。
在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。
點擊本文底部的「閱讀原文」即刻加入社區，查看更多最新論文推薦。
這是 PaperDaily 的第 130?篇文章@jingyihiter 推薦
#Text Generation
本文來自國防科大和微軟亞研院，文章提出 pre-training-based 的 encoder-decoder 框架，encoder 采用 BERT 將輸入序列表示為 context 向量，decoder 分為兩階段：第一階段采用 transformer-based 解碼生成偽輸出序列，第二階段對偽輸出序列進行 mask 送入 BERT 表示，將輸入序列與偽輸出序列聯合，解碼預測輸出序列。
文章首次將 BERT 應用于文本生成任務，在 CNN/Daily Mail 和 New York Times 數據集上達到 SOTA 的結果。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2855
@QAQ 推薦
#Language Model
本文介紹了來自 OpenAI 的新語言模型 GPT-2，其在文本生成任務上達到接近人類水平，可生成論文（并編造數據與引用使論證看上去合理）、續寫幻想故事。在多個數據集上碾壓當前結果。在未經專門訓練的情況下實現翻譯與閱讀理解。不足是會出現重復文本與世界建模失敗（如在水下發生火災）。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2822
源碼鏈接
https://github.com/openai/gpt-2
@rico93 推薦
#Attention Mechanism
本文來自康奈爾大學和 Facebook AI Research，論文提出的 lightweight convolution 模型相對于 transformer 來說能達到一致的水平，但只需要更少的操作數量，運算速度比 Transformer 快 20%。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2801
源碼鏈接
https://github.com/pytorch/fairseq
@Ttssxuan 推薦
#Auto ML
本文來自 Google Brain，論文提出了 progressive dynamic hurdles (PDH) 神經網絡架構搜索方法，此方法能夠動態的把資源分配到相對優秀的候選者，最終得到“Evolved Transformer”，其在幾個翻譯任務（WMT 2014 English-German, WMT 2014 English-French, WMT 2014 English-Czech, LM1B）相對原始 Transformer 有一致的提升，并且有更高的計算效率和更少的參數量。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2817
@paperweekly 推薦
#Dialog System
本文是微信 AI 團隊和上海交大發表于 AAAI 2019 的工作，論文關注的任務是基于背景知識的對話生成，通過指針生成機制和注意力機制，基于對話歷史和背景知識生成更有意義的回復。作者提出了一個泛化的指針生成機制，能同時從對話歷史和外部知識中復制實體。此外，作者還提出了一種 Cluster-based Beam Search 算法，能在解碼時動態地將相似語義的序列分組歸類，避免生成通用回復。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2845
@VanceChen 推薦
#Multimodal Sentiment Analysis
本文是 CMU 的 MultiComp Lab 發表在 AAAI 2019 上的工作。多模態情感分析是 NLP 的一個新的核心研究領域，研究從語言、視覺和聲學模態表達的說話人情緒。多模式學習的核心挑戰涉及可以處理和關聯這些模態信息的推斷聯合表示。然而，現有工作通過要求所有模態作為輸入來學習聯合表示，因此，學習的表示可能對測試時的噪聲或丟失模態敏感。
隨著機器翻譯中 Seq2Seq 模型的成功，有機會探索在測試時可能不需要所有輸入模態的聯合表示的新方法。論文提出了一種通過在模態之間進行轉換來學習魯棒聯合表示的方法。論文的方法基于 Key Insight，即從源到目標模態的轉換提供了僅使用源模態作為輸入來學習聯合表示的方法。
論文使用周期一致性損失來增加模態轉換，以確保聯合表示保留所有模態的最大信息。一旦翻譯模型使用配對的多模態數據進行訓練，我們只需要在測試時從源模態獲得最終情緒預測的數據。這確保了我們的模型在其他模態中不受擾動或缺失信息的影響。
我們使用耦合的翻譯預測目標訓練我們的模型，并在多模態情緒分析數據集上實現新的最新結果：CMU-MOSI，ICT-MMMO 和 YouTube。 另外的實驗表明，我們的模型學習越來越多的判別性聯合表示，具有更多的輸入模態，同時保持對丟失或擾動模態的魯棒性。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2789
源碼鏈接
https://github.com/hainow/MCTN
@paperweekly 推薦
#Object Detection
本文來自中國科學院大學和圖森未來。檢測任務中存在目標尺寸多樣化的問題，為了解決這一問題，涌現了很多包含 SSD、FPN、SNIP 等在內的經典算法。基于感受野對不同尺度目標的檢測影響，作者提出了一個全新的三叉戟網絡（TridentNet）。
為了使模型對不同尺寸目標的“表達能力”近似，作者借鑒了 SNIP 的特征提取網絡，采用了“scale-aware”的并行結構。為了加快模型的推理速度，作者采用了 dilated convolution 得到不同感受野的特征圖，從而實現檢測不同尺度目標的目的，取代了 SNIP 中的特征金字塔生成不同尺度目標的做法。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2833
@paperweekly 推薦
#Human Pose Estimation
本文來自曠視科技，奪得 COCO Keypoints 2018 比賽冠軍。本文旨在設計出一個好的 multi-stage 的人體姿態檢測方法，隨著網絡 stage 數目增加，模型的預測能力能夠逐步提高的網絡。而不會像 Hourglass 及其它網絡一樣，增加 stage 數目并不會顯著提高模型的預測能力。作者采用了 top-down 的解決思路，將重心放在對單人關節點的檢測上。針對 multi-stage 算法存在的問題，作者分別進行了不同的探索。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2834
@Phil 推薦
#Object Detection
本文來自香港中文大學、商湯科技、Amazon 和南洋理工，論文提出了一種新的 anchor 生成方法——Guided Anchoring，即通過圖像特征來指導 anchor 的生成。 通過預測 anchor 的位置和形狀，來生成稀疏而且形狀任意的 anchor，并且設計了 Feature Adaption 模塊來修正特征圖，使之與 anchor 形狀更加匹配。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2806
@afei 推薦
#Image Segmentation
本文提出了一種新的分割網絡——BOWDA Net。基于此網絡，作者在 MICCAI 2012 前列腺分割競賽中排行第一，結果為 state of the art。創新點有兩點：1）針對前列腺 MR 圖像邊界不清晰的問題，提出了邊界加權分割 loss，平滑了邊界；2）針對數據集小的問題，作者借鑒了遷移學習以及 GAN 的思想，解決了 source domain 和 target domain shift 的問題，值得閱讀。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2851
@paperweekly 推薦
#Image Inpainting
本文來自安大略理工大學，論文提出了一種全新圖像修復方法，能重構出圖像的精細細節。具體而言，作者提出了一種兩階段的對抗模型 EdgeConnect，該模型由一個邊生成器和一個圖像補全網絡組成。邊生成器將圖像確實區域的邊生成，而后圖像補全網絡以邊為先驗填補圖像。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2832
源碼鏈接
https://github.com/knazeri/edge-connect
@JasonZHM 推薦
#Image Compression
利用卷積自編碼器進行圖像壓縮需要同時優化壓縮率和重構圖像質量，但由于用于表征壓縮率的編碼比特率不可微，因此不能直接反向傳播。現有研究普遍采用額外訓練熵估計器的方法解決這個問題。
該研究則引入了來自神經網絡架構搜索領域的網絡剪枝方法，提出了 CAE-ADMM 模型，直接對壓縮后的編碼進行剪枝，在保持編碼速度的情況下，SSIM 及 MS-SSIM 的表現均超越了使用熵估計器的現有模型和傳統編碼器（JPEG、JPEG 2000 等）。該研究同時對引入的剪枝方法在模型中的效果進行了檢驗。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2803
源碼鏈接
https://github.com/JasonZHM/CAE-ADMM
@zhangjun 推薦
#Bayesian Deep Learning
DNN 的不確定性量化是當前一大研究熱點，在小數據機器學習、自動駕駛、強化學習、貝葉斯優化、主動學習等領域應用廣泛。一種經典的方法是將模型參數視為隨機變量，用近似推斷的方法（比如：MCMC 類和 VI 類）扎實地求出每個參數的后驗分布，這種方法相對準確，但計算效率較差，尤其對于參數數以億計的復雜結構網絡更加困難；另一種方法是朝著實用方向的，訓練還是基于傳統的 SGD + Dropout，在測試時對參數后驗分布進行近似，使得模型在預測時可考慮到不確定性的影響。
本文屬于第二種思路，基于一種叫做 Stochastic Weight Averaging （SWA）的方法，即將 T 個 Epoch 中的參數作為統計數據，求平均作為參數后驗分布的均值，方差作為分布的方差（僅考慮后驗分布為高斯的情況，也是大多數方法的假設。）。思路比較簡單，相對傳統的貝葉斯推斷方法，計算效率非常高。這類方法中另一個典型代表是 Oxford 的 Yarin Gal 提出的 MC Dropout。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2815
源碼鏈接
https://github.com/wjmaddox/swa_gaussian
@paperweekly 推薦
#Recommender Systems
本文是明尼蘇達大學和京東發表于 WSDM 2018 的工作。當前大多數推薦系統更注重用戶和商品之間的宏觀交互（如用戶-商品評分矩陣），很少有人會結合用戶的微觀行為數據（如瀏覽商品的時長、對商品的閱讀和評論）進行推薦。
本文從微觀行為的角度對推薦系統進行改進，作者將用戶的固有數據視為用戶和商品之間的宏觀交互，并保留了宏觀交互的順序信息，同時，每個宏觀交互都包含一系列微觀行為。具體來說，論文提出了一個全新模型——RIB，它由輸入層、Embedding 層（解決數據稀疏和數據高維的問題）、RNN 層（建模時序信息）、Attention 層（捕捉各種微觀行為影響）和輸出層組成。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2549
@paperweekly 推薦
#Deformable Convolution
本文來自牛津大學，論文提出了一種分布偏移卷積 DSConv，可以輕松替換標準神經網絡體系結構，并實現較低的存儲器使用和較高的計算速度。DSConv 將傳統的卷積內核分解為兩個組件：可變量化內核（VQK）和分布偏移。通過在 VQK 中僅存儲整數值來實現較低的存儲器使用和較高的速度，同時，通過應用基于內核和基于通道的分布偏移來保持與原始卷積相同的輸出。
作者在 ResNet50 和 34 以及 AlexNet 和 MobileNet 上對 ImageNet 數據集測試了 DSConv。通過將浮點運算替換為整數運算，本文方法在卷積內核中實現了高達 14x 的內存使用量減少，并將運算速度提高了 10 倍。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2835
@Rcypw?推薦
#Network Embedding
本文是 UIUC 和 HEC Montreal 發表于 WSDM 2018 的工作，論文開創性地將強化學習思想應用到星型異構網絡節點表示學習當中 ，利用馬爾科夫鏈去獲取最優的節點之間邊的序列。作者將獎勵計算作為節點表示的外部任務的性能作為特征，目標是采取一系列行動來最大化累積獎勵，基于長短記憶網絡利用深度強化學習模型，完成網絡表示學習。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2590
@Layumi?推薦
#Person Re-identification
現在行人重識別高準確率模型真的魯棒么？是不是像傳統分類問題一樣容易被攻擊呢？本文提出的方法，將目前行人重識別上較高的 baseline Recall@1=88.56%, mAP=70.28% （layumi/Person_reID_baseline_pytorch） 降到 Recall@1=0.68%, mAP=0.72%。
對抗樣本存在于很多任務中，但如何在不同任務中構造對抗樣本是一個問題。對于 reID 來說，攻擊的方式與正常的分類不同。因為 reID 在測試的時候的類別與訓練時類別不同，沒有相同的類別（也就是測試的人和訓練的人不是同一批，Open-set）。那么在構造對抗樣本時，傳統的降低預測概率回傳梯度方法就受限。在實驗中也有相應結果。文章提出了一種新的方法來攻擊圖像檢索（reID 是圖像檢索的一個子問題）。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2799
#推 薦 有 禮#
本期所有入選論文的推薦人
均將獲得PaperWeekly紀念周邊一份
▲?深度學習主題行李牌/卡套 + 防水貼紙
?禮物領取方式?
推薦人請根據論文詳情頁底部留言
添加小助手領取禮物
*每位用戶僅限領取一次
想要贏取以上周邊好禮？
點擊閱讀原文即刻推薦論文吧！
點擊以下標題查看往期推薦：?
??5篇頂會論文帶你了解知識圖譜最新研究進展
??NLP、CV、ML方向最新論文清單
??本周有哪些值得讀的論文？不如看看這18篇
??近期值得讀的10篇GAN進展論文
??想了解推薦系統最新研究進展？請收好這份清單
??近期知識圖譜頂會論文推薦，你都讀過哪幾篇？
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？?答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
??來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
? 投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
?
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 獲取更多論文推薦
總結
以上是生活随笔為你收集整理的开学综合症有救了！17篇最新AI论文不容错过的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： F-Principle：初探深度学习在计
- 下一篇： 仅剩3天 | 带学《百面机器学习》葫芦书