本周有哪些值得读的 AI 论文?我们替你挑选了 18 篇
在碎片化閱讀充斥眼球的時代,越來越少的人會去關注每篇論文背后的探索和思考。
在這個欄目里,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。
點擊本文底部的「閱讀原文」即刻加入社區,查看更多最新論文推薦。
這是 PaperDaily 的第 127?篇文章@hauturier 推薦
#Dialog Systems
本文是一篇來自微軟和 Google Brain 的對話系統綜述文章,論文針對問答型、任務型和聊天機器人這三類對話系統,回顧了各自當前最優的方法,并將它們與傳統方法加以結合。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2676
@paperweekly 推薦
#Response Generation
本文來自阿爾伯塔大學。Seq2Seq 模型在提高會話代理性能方面取得了重大突破,它雖然能生成句法良好的回復,但回復缺乏對上下文的感知及多樣性,大部分都是沒有營養的通用回復。
針對該問題,本文提出了一個完全數據驅動的神經交互模型THRED,通過層次化的聯合 attention 機制,在回復生成中利用對話歷史和主題信息,使對話更加多樣化。此外,論文還引入了兩種新的自動化評價指標:語義相似度和回復回聲指數。實驗表明,本文模型能產生更具多樣性并且上下文相關的回復。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2743
源碼鏈接
https://github.com/nouhadziri/THRED
@zkt18 推薦
#Question Answering
本文是北京大學、騰訊和中科院發表于 AAAI 2019 的工作。Answer Selection 和 KBQA 是 QA 中的兩個重要任務,現有方法通常會將二者分開做。論文使用 multi-task 將二者同時進行,提出了新穎的 multi-view attention 多任務模型。首先,兩個任務都可視為 ranking 任務,一個在 text-level,另一個在 knowledge-level;其次兩個任務可以互相提升,一個利用上下文信息,一個利用外部信息。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2637
@paperweekly 推薦
#Machine Comprehension
本文是浙江大學發表于 NeurIPS 2018 的工作。機器理解是 NLP 中一個非常重要的任務,論文提出了一個用機器理解作為補充結構來提升端到端生成任務表現的模型。作者將機器理解任務中的編碼器和模型層作為遷移對象,將其用于 Seq2Seq 模型編碼和解碼階段來提升 Seq2Seq 的生成效果,讓生成過程可以對語義進行更深層次的理解。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2693
@paperweekly 推薦
#Sentiment Classification
本文是香港科技大學楊強組發表于 AAAI 2019 的工作,該文提出了一個新的跨 aspect 粒度的遷移問題,從更容易獲取大量標簽數據的粗粒度的aspect類別任務遷移到數據匱乏的細粒度 aspect 實體任務。
在該問題設置中,需要同時解決任務間 aspect 粒度差異與領域特征分布差異的問題。論文模型提出了一個自監督的由粗到細的注意力模塊來減少任務間粒度的差異,并且采用了對比特征對齊方法來語義上的對齊 aspect 特定的特征表達。
實驗結果表明,通過利用源 aspect 類別任務提煉出的有用知識,即使對于目標 aspect 實體任務采用簡單 attention-based RNN 模型也能取得優秀的性能。并且該論文提供了用于遷移的,大規模,多領域,aspect 類別的語料。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2717
@guohao916 推薦
#Conversational Question Answering
本文來自微軟,論文作者提出了一種全新的基于上下文注意力機制的深度神經網絡模型 SDNet 以解決對話問答任務。通過利用內部注意力機制和自注意力機制,對篇章和對話內容歷史信息進行建模從而理解對話流程。
作者融合了 NLP 上的最新的突破性模型 BERT,并且在該預訓練模型的基礎上進行改進微調。實驗結果表明,SDNet 取得了好于之前一系列模型的結果。在 CoQA 數據集上,F1 指標上相比于最新模型提升了 1.6%。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2628
@IndexFziQ 推薦
#Language Model
本文是 Samuel R. Bowman 等人的最新工作,論文關注的是語境化詞語表示問題。最近的一些預訓練語言模型的工作(ELMo、BERT 等)表明,預訓練句子編碼器可以在 NLP 任務上獲得非常強的性能。
然而,每篇論文都使用自己的評估方法,不清楚哪個預訓練任務最有效,或者是否可以有效地組合多個預訓練任務。并且,在句子到向量編碼的相關設置中,使用多個標注數據集的多任務學習已經產生了魯棒的當前最佳結果,也不清楚是不是多任務學習的作用。?
本文根據 GLUE 基準測試中的 9 個語言理解任務,評估了由不同的預訓練任務和這些任務的幾種組合而成訓練可重用的 Sentence Encoder。實驗結果表明語言建模是其中最有效的一個預訓練任務,多任務學習可以進一步提高模型效果。
然而,ELMo 預訓練也存在脆弱性和限制:1)在一些任務上,ELMo 的效果并不是很明顯;2)可能對特定的任務 ELMo 才會很有效果,并且現有的多任務學習方法也無法提高句子編碼器的泛化能力致通用的地步。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2728
源碼鏈接
https://github.com/jsalt18-sentence-repl/jiant
@paperweekly 推薦
#Object Detection
本文是曠視科技和復旦大學發表于 NeurIPS 2018 的工作。近年來,深度神經網絡對于目標檢測任務的提升取得了巨大突破。通常做法是運用目標檢測算法為一張給定圖像生成一系列邊界框,同時分類標注每個目標。但對于卷積神經網絡而言,直接無序生成任意數量的預測框并非無足輕重,Anchor 的思想也正因此應運而生,并在目標檢測任務上得到廣泛應用。
本文提出了一個全新靈活的錨點框機制 MetaAnchor,其錨點框函數可由任意自定義的先驗框動態生成。加上權重預測,MetaAnchor 可與大多數基于錨點框的目標檢測系統(如當前最優的單步檢測器 RetinaNet)協同工作。相較于預定義錨點框方法,實驗證明 MetaAnchor 對于錨點框設置和邊界框分布更為魯棒,并在遷移任務上深具潛力。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2670
@QAQ 推薦
#Data Augmentation
本文來自 Google Brain,論文關注的問題是圖像領域的數據增強。作者提出了一種名為 AutoAugment 的自動數據增強的方法,可以有效降低誤差率。實驗表明,本文方法在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 上實現了最先進的準確率(無需額外數據)。此外,本文方法還可以直接遷移到其他數據集上而無需進行微調。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2706
源碼鏈接
https://github.com/tensorflow/models/tree/master/research/autoaugment
@zl1994 推薦
#Object Detection
本文來自 UIUC 和 IBM,論文重點解決目標檢測中分類錯誤的問題。作者指出了當前目標檢測框架對于目標分類任務存在的三個問題:1. 分類分支和回歸分支共享特征不是最優的;2.多任務訓練也不是最優的;3.對于小目標來說,大的感受野會導致小目標冗余的 context。論文主要思路是對分類和回歸這兩大任務解耦,并借鑒 R-CNN 中的機制使得不同大小的目標有自適應的 context 信息。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2688
源碼鏈接
https://github.com/bowenc0221/Decoupled-Classification-Refinement
@paperweekly 推薦
#Image Classification
本文是東京大學發表于 CVPR 2018 的工作,論文嘗試將在音頻上的方法應用于圖像領域,并提出了一種將圖像作為波形處理的混合方法。具體來說,作者認為人類無法識別圖形波長融合,但這些信息對機器而言卻是有意義的。CNN 有將輸入數據作為波形處理的操作,作者提出的 BC Learning 方法是將兩個不同類的圖像進行混合,然后訓練模型輸出混合比,靠近哪個就分為哪類。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2687
源碼鏈接
https://github.com/mil-tokyo/bc_learning_image/
@Kralkatorrik 推薦
#Face Recognition
本文提出了一個輕量級的網絡來做人臉識別, 比 MobileFaceNet 的 size 大一倍, 精度提高一些。主要看文章設計網絡思路,作者使用 BottleNeck 和快速降采樣策略減少參數量,從而使這個網絡能夠運行在移動設備上。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2710
@vimjian 推薦
#Pose Estimation
本文來自浙江大學,論文研究的問題是基于 RGB 的姿態估計,作者引入一個逐像素投票的網絡來定位 2D keypoints。本文方法在 LINEMOD、Occlusion LINEMOD 和 YCBVideo 數據集上均取得了 SOTA 結果。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2739
@IndexFziQ 推薦
#Multi-task Learning
這是一篇來自愛爾蘭學者 Ruder 的綜述文章。論文整理了 Multi-task Learning 的相關工作,重點介紹在深度學習上的應用。多任務學習在很多任務上都可以獲得比較不錯的效果,如何選擇合適的輔助任務幫助主任務獲得更好的效果也是值得關注的地方。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2708
@Yerrick 推薦
#Learning to Rank
本文是 Google 發表于 CIKM 2018 的工作,論文形式化地將 Learning to Rank 領域經典的 LambdaMart 方法的 loss 表示出來,并提出了對于 NDCG 更緊的 bound,能夠更好地在訓練時提升 NDCG。同時基于他們的方法可以設計更多基于 Listwise 的 metric 直接進行優化。推導并不特別復雜,很有啟發意義。方法也被TensorFlow/ranking所實現。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2667
@NeoTheSunshine?推薦
#Graph Neural Networks
本文是麻省理工和斯坦福發表于 ICLR 2019 的工作,論文證明了 GNNs 至多可以和 WL test 在區分圖結構方面同樣有效。此外,作者還證明了 GNN 和 WL test 同樣有效情況下的對 neighbor aggregation 和 graph pooling functions 的條件,并且提出一種簡潔但有效的模型架構 GIN。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2730
@figo?推薦
#Neural Architecture Search
本文來自小米 AI,內容上屬于目前很火的 AutoML Neural Architecture Search。這篇論文提出了 MoreMNAS 算法,應該是多目標(EA-NSGAII)+強化學習 NAS 的首篇論文。論文的初步試驗,已經擊敗了 SRCNN、FSRCNN、VDSR 等單幀超分辨率領域知名網絡(應該是截止到 CVPR 2016 的成果)。?
論文的想法是比較巧妙的,采用 NSGAII 作為主框架,解決強化學習由于超參、算法等導致的可能的衰退問題,同時采用強化學習變異可以更好的利用學習的經驗,二者相互補充,使得方法的魯棒性有保證。另外強化學習只用來解決那些不容易解決的目標例如超分的 PSNR,對于其他可以提前計算的目標,則用了 Roulette-wheel selection。
論文中的搜索空間直接采用 cell-block,看起來效果也不錯,比較自然地完成 Cross Over 和 Natural Mutation 環節。另外,論文解決的實際上是帶約束的 MOP 問題,并對最低的 PSNR 進行了約束,以保證模型的業務可用性。?
實驗結果是基于一臺 8GPU 機器完成(V100,1 周),實乃深度學習煉丹師的福音,對于不少公司而言,這個配置是現成的。總體這種方法有一定的通用性,感興趣的讀者可以用來試水其他領域。遺憾的是該論文沒有公開源碼。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2740
@paperweekly?推薦
#Click-Through Rate Prediction
本文是阿里巴巴發表于 AAAI 2019 的工作,作者提出了一種由興趣抽取和興趣演化兩個模塊共同組成的 CTR 預估模型——DIEN。論文亮點在于作者關注隱藏在用戶行為背后的潛在興趣特征的挖掘和表示(GRU + auxiliary loss)。
淘寶平臺上商品種類繁多,用戶興趣具有多樣性。預測時,僅僅捕獲與目標商品相關的興趣及其演變(AUGRU)。該算法被應用于阿里媽媽定向廣告各大產品中,在DIN的基礎上取得了非常顯著的效果提高。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2692
源碼鏈接
https://github.com/alibaba/x-deeplearning/tree/master/xdl-algorithm-solution/DIEN
#推 薦 有 禮#
本期所有入選論文的推薦人
均將獲得PaperWeekly紀念周邊一份
▲?深度學習主題行李牌/卡套 + 防水貼紙
?禮物領取方式?
推薦人請根據論文詳情頁底部留言
添加小助手領取禮物
*每位用戶僅限領取一次
想要贏取以上周邊好禮?
點擊閱讀原文即刻推薦論文吧!
點擊以下標題查看往期推薦:?
??又為寫作思路熬到禿頭?16篇最新論文打包送你
??收下這 16 篇最新論文,周會基本不用愁
??這 16 篇最新論文,幫你輕松積攢知識點
??本周NLP、CV、機器學習論文精選推薦
??想了解推薦系統最新進展?請收好這些篇論文
論文多到讀不完?不如看看我們為你精選的這15篇
本周有哪些值得讀的AI論文?進來告訴你答案
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體,縮短讀者尋找優質內容的成本呢??答案就是:你不認識的人。
總有一些你不認識的人,知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁,促使不同背景、不同方向的學者和學術靈感相互碰撞,迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人,在我們的平臺上分享各類優質內容,可以是最新論文解讀,也可以是學習心得或技術干貨。我們的目的只有一個,讓知識真正流動起來。
??來稿標準:
? 稿件確系個人原創作品,來稿需注明作者個人信息(姓名+學校/工作單位+學歷/職位+研究方向)?
? 如果文章并非首發,請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發,均會添加“原創”標志
? 投稿郵箱:
? 投稿郵箱:hr@paperweekly.site?
? 所有文章配圖,請單獨在附件中發送?
? 請留下即時聯系方式(微信或手機),以便我們在編輯發布時和作者溝通
?
現在,在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號后臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 獲取更多論文推薦
總結
以上是生活随笔為你收集整理的本周有哪些值得读的 AI 论文?我们替你挑选了 18 篇的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 全面解析Inception Score原
- 下一篇: 实录 | 平安人寿资深算法工程师姚晓远: