2020年已過近半，人工智能學術界的頂級會議也舉行了不少。在今年已經舉行的頂會中，騰訊、百度、阿里等國內科技巨頭被收錄論文在數量和質量上均有所突破，涉及機器學習、自然語言處理、計算機視覺等多個領域。下面，本文整理出這些科技公司在今年頂會中被錄入的部分已分享的論文以饗讀者，歡迎大家收藏。

?AAAI 2020

騰訊

在2020年的AAAI上，騰訊優圖實驗室共有10篇論文入選，以下是已分享的部分論文：

1、Rethinking Temporal Fusion for Video-based Person Re-identification on Semantic and Time Aspect（Oral）

推薦：本文提出了一種新的通用時間融合框架，在語義和時間兩個方面對幀特征進行融合。在語義方面，探索了多階段融合網絡，在多個語義層次上融合更豐富的幀特征，有效地減少了傳統單階段融合帶來的信息損失。同時，針對時間軸，對現有的幀內注意方法進行了改進，增加了一個新的幀間注意模塊，通過考慮幀間關系，有效地減少了時間融合中的信息冗余。

論文地址：
https://arxiv.org/abs/1911.12512

2、Fast Learning of Temporal Action Proposal via Dense Boundary Generator

推薦：本文提出了提出一種快速的、端到端的稠密邊界動作生成器(Dense Boundary Generator，DBG)。該生成器能夠對所有的動作提名（proposal）估計出稠密的邊界置信度圖。并引入額外的時序上的動作分類損失函數來監督動作概率特征(action score feature，asf)，該特征能夠促進動作完整度回歸(Action-aware Completeness Regression，ACR)。此外，還設計一種高效的動作提名特征生成層(Proposal Feature Generation Layer，PFG)，該Layer能夠有效捕獲動作的全局特征，方便實施后面的分類和回歸模塊。

論文地址：
https://arxiv.org/abs/1911.04127

3、TEINet: Towards an Efficient Architecture for Video Recognition

推薦：本文提出了一個有效的時間模塊，稱為時間增強和交互（TEI模塊），它可以插入到現有的2dcnn中（用TEINet表示）。TEI模塊通過分離信道相關和時間交互的建模，提出了一種不同的學習時間特征的范式。首先，它包含一個運動增強模塊（MEM），該模塊在抑制無關信息（例如背景）的同時增強與運動相關的特征。然后，介紹了一個時態交互模塊（TIM），它以信道方式補充時態上下文信息。該兩階段建模方案不僅能夠靈活有效地捕捉時間結構，而且能夠有效地進行模型推理。

論文地址：
https://arxiv.org/abs/1911.09435v1

4、Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning

推薦：本文從自監督特征學習的角度對圖像審美評價問題進行了研究。作者設計了兩個新的接口任務來識別應用于合成實例的編輯操作的類型和參數。然后，將我們的前托詞任務中的特征應用于一層線性分類器，以二元審美分類的方式評估其性能。我們在三個基準數據集上進行了大量的定量實驗，證明我們的方法能夠忠實地提取美學感知特征，并優于其他的接口方案。此外，我們還獲得了與使用ImageNet 1000萬個標簽的最新監督方法相當的結果。

論文地址：
https://arxiv.org/abs/1911.11419v1

5、Asymmetric Co-Teaching for Unsupervised Cross-Domain Person Re-Identification

推薦：人的再識別（re-ID）是一項具有挑戰性的工作，因為身份樣本和成像條件的高度差異。盡管近年來在深層學習領域的研究取得了顯著的成果，但很少有研究能夠很好地推廣到不可見的目標領域。一種流行的解決方案是通過聚類給未標記的目標圖像分配偽標記，然后再對模型進行再訓練。然而，聚類方法往往會引入噪聲標簽，并將低置信度樣本作為離群點丟棄，這可能會阻礙再訓練過程，從而限制泛化能力。在這項研究中，我們認為，通過在聚類之后顯式地添加一個樣本過濾過程，挖掘出的樣本可以更有效地使用。為此，我們設計了一個非對稱的協同教學框架，該框架通過協同兩個模型選擇彼此可能有干凈標簽的數據來抵抗噪聲標簽。同時，其中一個模型接收盡可能純凈的樣本，而另一個模型接收盡可能多樣的樣本。此過程鼓勵所選訓練樣本既干凈又雜，并且這兩個模型可以迭代地相互促進。大量的實驗表明，該框架能夠始終如一地提高大多數基于聚類的方法的適應精度。

地址：
https://arxiv.org/abs/1912.01349

6、Viewpoint-Aware Loss with Angular Regularization for Person Re-Identification

推薦：近年來有監督的行人重識別（ReID）取得了重大進展，但是行人圖像間巨大朝向差異，使得這一問題仍然充滿挑戰。大多數現有的基于朝向的特征學習方法，將來自不同朝向的圖像映射到分離和獨立的子特征空間當中。這種方法只建模了一個朝向下人體圖像的身份級別的特征分布，卻忽略了朝向間潛在的關聯關系。為解決這一問題，本文提出了一種新的方法，叫帶角度正則的朝向敏感損失（VA-ReID）。相比每一個朝向學習一個子空間，該方法能夠將來自不同朝向的特征映射到同一個超球面上，這樣就能同時建模身份級別和朝向級別的特征分布。在此基礎上，相比傳統分類方法將不同的朝向建模成硬標簽，本文提出了朝向敏感的自適應標簽平滑正則方法（VALSR）。這一方法能夠給予特征表示自適應的軟朝向標簽，從而解決了部分朝向無法明確標注的問題。大量在Market1501和DukeMTMC數據集上的實驗證明了本文的方法有效性，其性能顯著超越已有的最好有監督ReID方法。

論文地址：
https://arxiv.org/abs/1912.01300

7、Robust Conditional GAN from Uncertainty-Aware Pairwise Comparisons

推薦：CGAN往往需要大量標注。為了解決這個問題，現有方法大多基于無監督聚類，比如先用無監督學習方法得到偽標注，再用偽標注當作真標注訓練CGAN。然而，當目標屬性是連續值而非離散值時，或者目標屬性不能表征數據間的主要差異，那么這種基于無監督聚類的方法就難以取得理想效果。本文進而考慮用弱監督信息去訓練CGAN，在文中我們考慮成對比較這種弱監督。成對比較相較于絕對標注具有以下優點：1.更容易標注；2.更準確；3.不易受主觀影響。

論文地址：
https://arxiv.org/abs/1911.09298

8、An Adversarial Perturbation Oriented Domain Adaptation Approach for Semantic Segmentation

推薦：如今神經網絡借助大量標注數據已經能夠達到很好的效果，但是往往不能很好的泛化到一個新的環境中，而且大量數據標注是十分昂貴的。因此，無監督領域自適應就嘗試借助已有的有標注數據訓練出模型，并遷移到無標注數據上。對抗對齊(adversarial alignment)方法被廣泛應用在無監督領域自適應問題上，全局地匹配兩個領域間特征表達的邊緣分布。但是，由于語義分割任務上數據的長尾分布(long-tail)嚴重且缺乏類別上的領域適配監督，領域間匹配的過程最終會被大物體類別（如：公路、建筑）主導，從而導致這種策略容易忽略尾部類別或小物體（如：紅綠燈、自行車）的特征表達。本文提出了一種生成對抗擾動并防御的框架。首先該框架設計了幾個對抗目標（分類器和鑒別器），并通過對抗目標在兩個領域的特征空間分別逐點生成對抗樣本。這些對抗樣本連接了兩個領域的特征表達空間，并蘊含網絡脆弱的信息。然后該框架強制模型防御對抗樣本，從而得到一個對于領域變化和物體尺寸、類別長尾分布都更魯棒的模型。

論文地址：
https://arxiv.org/pdf/1912.08954.pdf

?

百度

本屆AAAI大會，百度共有28篇論文被收錄，較去年的15篇入選成績提升近一倍，入選論文涉及機器學習、自然語言處理、計算機視覺等多個領域，以下是已分享的部分論文：

1、Distributed Primal-Dual Optimization for Online Multi-task Learning

推薦：傳統的在線多任務學習算法有兩個重要的局限性：1.由于向中央機器傳送高速度的順序數據而導致通信量大；2.建立任務關聯性的運行時復雜度昂貴。為了解決這些問題，在本文中，我們考慮一個設置，其中多個任務位于不同的地理位置，其中一個任務可以與其他任務同步數據，以利用相關任務的知識。具體地說，我們提出了一種自適應的原始-對偶算法，該算法不僅能捕獲對抗學習中的任務特定噪聲，而且能以運行時效率執行無投影更新。此外，由于該模型允許能量不足或帶寬受限的任務延遲更新，因此非常適合于分散的周期連接任務。理論結果證明了我們的分布式算法的收斂性保證，并且有一個最優的遺憾。實證結果表明，該模型對各種真實數據集都是有效的。

論文地址：
https://arxiv.org/abs/2004.01305

2、Meta-CoTGAN: A Meta Cooperative Training Paradigm for Improving Adversarial Text Generation

推薦：本文提出了一種新的方法，旨在通過有效地減緩對抗訓練的模式崩潰來提高對抗文本生成的性能。為此，我們引入了一種協同訓練范式，即語言模型與生成器協同訓練，并利用該語言模型有效地塑造生成器的數據分布以防模式崩潰。此外，我們沒有原則性地參與生成器的協同更新，而是建立了一個元學習機制，將生成器的協同更新作為一個高層次的元任務，直覺地確保在對抗性更新之后生成器的參數能夠抵抗模式崩潰。在實驗中，我們證明我們提出的方法可以有效地減緩對抗性文本生成器的模式崩潰速度。總的來說，我們提出的方法無論是在生成質量還是在驗證域的多樣性方面，都能優于具有顯著裕度的基線方法。

論文地址：
https://arxiv.org/abs/2003.11530v1

3、IVFS: Simple and Efficient Feature Selection for High Dimensional Topology Preservation

推薦：特征選擇是處理高維數據的重要工具。在無監督的情況下，許多流行的算法都是為了保持原始數據的結構。本文提出了一種簡單有效的特征選擇算法，從計算拓撲上下文的持久圖表示的拓撲保持的角度來增強樣本的相似度保持。該方法是在一個統一的特征選擇框架IVFS的基礎上設計的，該框架受到隨機子集方法的啟發。該算法能夠很好地保持完整數據的成對距離和拓撲模式。結果表明，該算法在亞采樣率較低的情況下，能夠提供令人滿意的性能，從而支持了該方法在大規模數據集上的有效實現。大量實驗驗證了所提出的特征選擇方案的有效性。

論文地址：
https://arxiv.org/abs/2004.01299

4、ERNIE 2.0: A Continual Pre-training Framework for Language Understanding

推薦：近年來，預訓練模型在各種語言理解任務中取得了最新的成果，這表明大規模語料庫的預訓練在自然語言處理中可能起著至關重要的作用。目前的預訓練程序通常集中在幾個簡單任務的模式訓練上，以掌握單詞或句子的共現。然而，除了共現外，在訓練語料庫中還存在其他有價值的詞匯、句法和語義信息，如命名實體、語義貼近度和話語關系。為了從訓練語料庫中最大限度地提取詞匯、句法和語義信息，我們提出了一個名為ERNIE 2.0的連續預訓練框架，該框架通過不斷的多任務學習，逐步構建和學習預訓練任務。實驗結果表明，ERNIE 2.0在16個任務上均優于BERT和XLNet，其中包括基于GLUE基準的英語任務和幾種常見的漢語任務。

論文地址：
https://arxiv.org/abs/1907.12412?context=cs.CL

5、Synchronous Speech Recognition and Speech-to-Text Translation with Interactive Decoding

推薦：近年來，將源語翻譯成目的語的語篇轉換（ST）受到了廣泛的關注。與傳統的流水線系統相比，端到端ST模型具有低延遲、較小模型尺寸和較少錯誤傳播的潛在優點。然而，眾所周知，如果沒有作為中間產物的轉錄，很難實現這樣一個模型。現有的研究一般采用多任務學習的方法，結合自動語音識別（ASR）技術對端到端ST進行聯合訓練，以提高翻譯質量。然而，該方法中不同的任務不能充分利用彼此的信息，限制了改進。另一些工作提出了一個兩階段模型，其中第二個模型可以使用第一個模型的隱藏狀態，但是它的級聯方式極大地影響了訓練和推理過程的效率。本文提出了一種新的交互注意機制，使ASR和ST能夠在單一模型中同步、交互地進行。具體來說，轉錄和翻譯的生成不僅依賴于它以前的輸出，而且還依賴于在其他任務中預測的輸出。在TED語音翻譯語料庫上的實驗表明，該模型在語音翻譯質量上優于強基線，并取得了較好的語音識別性能。

論文地址：
https://arxiv.org/abs/1912.07240

6、Multi-Label Classification with Label Graph Superimposing

推薦：近年來，圖卷積網絡（GCN）被用來提高多標簽識別的性能。然而，什么是標簽相關建模的最佳方法，以及如何通過標簽系統感知來改進特征學習，目前還不清楚。本文從以下兩個方面對傳統的GCN+CNN多標簽識別框架進行了改進，提出了一種標簽圖疊加框架。首先，將統計共現信息生成的標簽圖疊加到由標簽的知識先驗構成的圖中，建立標簽相關性模型，然后對最終的重疊圖進行多層圖卷積，實現標簽嵌入抽象。其次，我們建議利用整個標簽系統的嵌入來更好地進行表示學習。在特征學習過程中，通過在淺層、中層和深層增加GCN和CNN之間的橫向連接，將標簽系統的信息注入主干CNN中，實現標簽感知。在MS-COCO和Charades數據集上進行了大量的實驗，

論文地址：

https://arxiv.org/pdf/1911.09243v1.pdf

7、Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification

推薦：多標簽圖像和視頻分類是計算機視覺中的基礎性任務，也是一項具有挑戰性的任務。主要的挑戰在于捕獲標簽之間的空間或時間依賴關系，并發現每個類的區別特征的位置。為了克服這些困難，我們提出了將跨模態注意與語義圖嵌入相結合的多標簽分類方法。在構造標簽圖的基礎上，提出了一種基于鄰接關系的相似度圖嵌入方法來學習語義標簽嵌入，該方法可以顯式地利用標簽關系。然后在學習標簽嵌入的指導下生成了新的跨模態注意圖。在兩個多標簽圖像分類數據集（MS-COCO和NUS-WIDE）上的實驗表明，這個方法優于其他現有技術。此外，在一個大型多標簽視頻分類數據集（YouTube-8M片段）上驗證了該方法的有效性，評價結果證明了該方法的泛化能力。

論文地址：
https://arxiv.org/abs/1912.07872

8、Dynamic Instance Normalization for Arbitrary Style Transfer

推薦：在本文中，作者提出了一個新的廣義規范化模塊，稱為動態實例規范化（DIN），它允許靈活和更有效的任意樣式傳輸。由實例規范化和動態卷積組成，DIN將樣式圖像編碼為可學習卷積參數，在此參數上對內容圖像進行樣式化。與使用共享的復雜編碼器對內容和樣式進行編碼的傳統方法不同，所提出的DIN引入了一個復雜的樣式編碼器，同時還提供了一個緊湊和輕量級的內容編碼器，用于快速推斷。實驗結果表明，所提出的方法在具有挑戰性的樣式模式上產生了非常不錯的結果。

論文地址：
https://arxiv.org/abs/1911.06953

9、SetRank: A Setwise Bayesian Approach for Collaborative Ranking from Implicit Feedback

推薦：在線推薦系統的最新發展集中在用戶點擊和購買等隱性反饋的協同排名上。與反映分級用戶偏好的顯式評分不同，隱式反饋只生成正面和不明顯的標簽。雖然在這方面已經作出了相當大的努力，但眾所周知的成對和列表方法仍然受到各種挑戰的限制。具體地說，對于成對方法，獨立成對偏好的假設在實踐中并不總是成立的。此外，由于整個列表排列的先決條件，列表方法不能有效地容納“關系”。為此，本文提出了一種新的協同排序方法SetRank，以內在地適應推薦系統中隱含反饋的特點。具體來說，SetRank的目標是最大化新的setwise偏好比較的后驗概率，并且可以通過矩陣分解和神經網絡來實現。

論文地址：
https://arxiv.org/pdf/2002.09841

10、Semi-Supervised Hierarchical Recurrent Graph Neural Network for City-Wide Parking Availability Prediction

推薦：預測全市停車可用性的能力對于停車誘導和信息（PGI）系統的成功開發至關重要。事實上，有效預測全市停車場的可用性，可以提高停車效率，有助于城市規劃，最終緩解城市擁堵。然而，預測城市停車場的可用性是一項非常重要的工作，主要面臨三大挑戰：1.停車場之間的非歐氏空間自相關；2.停車場內部和停車場之間的動態時間自相關；3.實時傳感器（如攝像機、超聲波傳感器、GPS）獲取的實時停車可用性信息不足。為此，我們提出了半監督遞階遞歸圖神經網絡（SHARE）來預測城市停車場的可用性。

論文地址：
https://arxiv.org/abs/1911.10516v1

11、Learning Conceptual-Contextual Embeddings for Medical Text

推薦：外部知識通常對自然語言理解任務有用。我們引入了一個上下文文本表示模型，稱為概念上下文（CC）嵌入，它將結構化知識整合到文本表示中。與實體嵌入方法不同，我們的方法將知識圖編碼為上下文模型。CC嵌入可以像預先訓練的語言模型一樣，輕松地重用于各種任務。我們的模型通過利用語義泛化有效地對龐大的UMLS數據庫進行編碼。對電子健康記錄（EHRs）和醫學文本處理基準的實驗表明，我們的模型大大提高了有監督的醫學NLP任務的性能。

論文地址：
https://arxiv.org/abs/1908.06203

12、Ultrafast Photorealistic Style Transfer via Neural Architecture Search.

推薦：真實感風格轉換的關鍵挑戰在于，算法應該忠實地將參考照片的風格轉換為內容照片，而生成的圖像應該看起來像是由相機捕獲的圖像。雖然已經提出了幾種真實感風格的圖像傳輸算法，但它們需要依賴于后期和/或預處理才能使生成的圖像看起來真實。如果我們禁用額外的處理，這些算法將無法在細節保存和照片真實感方面產生合理的照片真實感樣式化。在這項工作中，我們提出了解決這些問題的有效辦法。我們的方法包括一個構建步驟（C-step）來構建真實感風格化網絡和一個修剪步驟（P-step）來加速。在C-step中，我們在仔細設計預分析的基礎上，提出了一種密集型自動編碼器PhotoNet。PhotoNet集成了特征聚合模塊（BFA）和實例規范化跳過鏈接（INSL）。為了產生忠實的樣式化，我們在解碼器和INSLs中引入了多個樣式轉換模塊。PhotoNet在效率和有效性方面都明顯優于現有算法。在P-step中，我們采用了一種神經結構搜索方法來加速光網絡。提出了一種基于師生學習的真實感風格化自動網絡剪枝框架。搜索得到的名為PhotoNAS的網絡架構在保持樣式化效果幾乎不變的情況下，比PhotoNet實現了顯著的加速。

論文地址：
https://arxiv.org/abs/1912.02398

13、Symbiotic Attention with Privileged Information for Egocentric Action Recognition

推薦：以自我為中心的視頻識別是進行多種交互推理的自然實驗平臺。由于以自我為中心的視頻數據集中有大量的動作詞匯，最近的研究通常采用兩個分支結構進行動作識別，即一個分支用于動詞分類，另一個分支用于名詞分類。然而，動詞與名詞分支之間的關聯性研究卻大多被忽視。此外，由于缺乏位置感知注意機制，這兩個分支未能挖掘出局部特征。在本文中，我們提出了一個利用特權信息（SAP）進行自我中心視頻識別的共生注意框架。更精細的位置感知目標檢測特性有助于理解參與者與目標的交互。我們在動作識別中引入這些特征，并將它們視為特權信息。我們的框架允許動詞分支、名詞分支和特權信息之間的相互通信。這種通信過程不僅將局部細節注入到全局特征中，而且利用了對正在進行的動作的時空位置的隱含指導。我們引入新的共生注意（SA）來實現有效的交流。

論文地址：
https://arxiv.org/pdf/2002.03137.pdf

14、GBCNs: Genetic Binary Convolutional Networks for Enhancing the Performance of 1-bit DCNNs

推薦：二值卷積神經網絡（BCNNs）被廣泛應用于移動和人工智能芯片應用中，以提高深卷積神經網絡（DCNNs）的存儲和計算效率。然而，目前的BCNNs還不能完全探索其相應的全精度模型，導致它們之間的性能差距很大。本文提出了一種改進的二值卷積網絡（RBCNs），將全精度核函數和特征映射相結合，在統一的框架下對二值化過程進行改進，以達到優化BCNNs的目的。特別地，我們使用GAN在其相應的全精度模型的指導下對1位二進制網絡進行訓練，顯著提高了BCNNs的性能。校正后的卷積層具有通用性和靈活性，可以很容易地并入現有的dcnn，如WideResNets和ResNets。大量實驗表明，與最新的BCNNs相比，所提出的RBCNs具有更好的性能。特別地，我們的方法對目標跟蹤任務具有很強的泛化能力。

論文地址：
https://arxiv.org/abs/1908.07748

15、AutoRemover: Automatic Object Removal for Autonomous Driving Videos

推薦：基于自動駕駛中對真實感仿真的需要，本文提出了一種視頻修復算法emph{AutoRemover}，該算法專為生成無運動物體的街景視頻而設計。在我們的設置中，我們有兩個挑戰：第一個是陰影，陰影通常沒有標記，但與移動對象緊密耦合。第二個是視頻中巨大的自我運動。為了處理陰影，我們建立了一個自動驅動陰影數據集，并設計了一個深度神經網絡來自動檢測陰影。為了處理大的自我運動，我們利用多源數據，特別是三維數據，進行自主駕駛。更具體地說，幀之間的幾何關系被合并到修補深度神經網絡中，以產生高質量的結構一致的視頻輸出。實驗表明，該方法優于其他最新的目標去除算法，使RMSE降低了19%以上。

論文地址：
https://arxiv.org/abs/1911.12588

16、CSPN++: Learning Context and Resource Aware Convolutional Spatial Propagation Networks for Depth Completion

推薦：深度完成是指給定相應的彩色圖像，將稀疏的深度圖轉換為稠密的深度圖。卷積空間傳播網絡（CSPN）是目前最先進的深度完成方法之一，它可以恢復場景的結構細節。本文提出了CSPN++，通過學習自適應卷積核大小和傳播迭代次數，進一步提高了CSPN++的有效性和效率，從而可以根據請求動態分配每個像素所需的上下文和計算資源。

論文地址：
https://arxiv.org/abs/1911.05377

17、ZoomNet：Part-Aware Adaptive Zooming Neural Network for 3D Object Detection

推薦：3D目標檢測是自動駕駛和機器人技術中的一項重要任務。雖然已經取得了很大的進展，但在估計遠距離和遮擋物體的三維姿態方面仍然存在挑戰。本文提出了一種新的基于立體圖像的三維檢測框架ZoomNet。ZoomNet的流水線是從一個普通的二維目標檢測模型開始的，該模型用于獲取左右邊界框對。為了進一步利用RGB圖像中豐富的紋理線索進行更精確的視差估計，我們引入了一個概念上的直接模塊——自適應縮放，它同時將2D實例邊界框調整為統一的分辨率，并相應地調整相機的內部參數。通過這種方法，我們可以從調整大小的方塊圖像中估計更高質量的視差圖，然后為附近和遠處的物體構建密集的點云。此外，我們引入學習零件位置作為互補特征，以提高抗遮擋能力，并提出三維擬合分數，以更好地估計三維檢測質量。

論文地址：
https://arxiv.org/abs/2003.00529

?

ICLR 2020

ICLR 2020 上出現了多達 34 篇滿分論文（8 分），以下是來自華為、字節跳動、騰訊等企業的滿分論文。

華為

Causal Discovery With Reinforcement Learning

推薦：在此論文中，華為諾亞方舟實驗室因果研究團隊將強化學習應用到打分法的因果發現算法中，通過基于自注意力機制的 encoder-decoder 神經網絡模型探索數據之間的關系，結合因果結構的條件，并使用策略梯度的強化學習算法對神經網絡參數進行訓練，最終得到因果圖結構。在學術界常用的一些數據模型中，該方法在中等規模的圖上的表現優于其他方法，包括傳統的因果發現算法和近期的基于梯度的算法。同時該方法非常靈活，可以和任意的打分函數結合使用。

論文地址：
https://arxiv.org/pdf/1906.04477.pdf

字節跳動

1、Mirror-Generative Neural Machine Translation

推薦：本文研究者提出了一個鏡像生成式的機器翻譯模型（MGNMT），可以更好地利用非平行語料提高NMT的效果。MG-NMT使用生成式的方法，同時優化兩個方向的翻譯器和語言模型，從而能從兩個角度得到提升。實驗表明了這種方法的有效性。

論文地址：
https://openreview.net/pdf?id=HkxQRTNYPH

2、Sparse Coding with Gated Learned ISTA

推薦：本文研究了求解稀疏編碼問題的迭代收縮閾值學習算法。在前人工作的假設下，作者首先發現其估計中的碼成分可能低于預期，即需要增益，為了解決這個問題，一個適合于對該機制進行理論分析的門機制，因此其有效性可以形式化地保證。在除了增益門，我們進一步引入超調門來補償LISTA。廣泛實證結果證實了我們的理論發現，并驗證了我們方法的有效性。

論文地址：
https://openreview.net/forum?id=BygPO2VKPH

騰訊

Watch the Unobserved: A Simple Approach to Parallelizing Monte Carlo Tree Search

推薦：蒙特卡羅樹搜索（MCTS）算法在許多具有挑戰性的基準上取得了巨大的成功。然而，它們通常需要大量的發布，這使得它們的應用程序成本高昂。此外，由于MCT固有的順序性，并行化MCT也極具挑戰性：每次推出都嚴重依賴于從以前的模擬中估計的統計數據（例如，節點訪問計數），以實現有效的勘探開發權衡。盡管有這些困難，我們還是開發了一個算法WU-UCT來有效地并行化MCTS，該算法實現了線性加速，并且隨著工人數量的增加，性能損失有限。WU-UCT的關鍵思想是我們引入一組統計信息來跟蹤正在進行但不完整的模擬查詢（稱為未觀測樣本）的數量。這些統計數據用于在選擇步驟中原則性地修改UCT樹策略，以便在并行化最耗時的擴展和模擬步驟時保持有效的勘探開發權衡。在專有基準和Atari游戲基準上的實驗表明，與現有技術相比，WU-UCT具有線性加速和優越的性能。

論文地址：
https://arxiv.org/abs/1810.11755?context=stat.ML

?

ACL 2020

騰訊

在ACL 2020的論文收錄名單中，騰訊共有30篇論文入選，入選論文數刷新國內企業記錄，領跑國內業界AI研究第一梯隊，研究方向涵蓋對話及文本生成、機器翻譯及對話、多模信息抽取多個自然語言處理的重點領域。

1、Generate, Delete and Rewrite: A Three-Stage Framework for Improving Persona Consistency of Dialogue Generation

推薦：在對話過程中保持一致的角色屬性信息對人類來說是很容易的，但對機器來說，這仍然是一項有待探索的任務。近幾年，基于角色屬性的對話生成任務被提出來，旨在通過在對話生成模型中加入顯式的角色文本來解決屬性一致性問題。雖然現有的基于角色的對話生成模型在生成類似人類的回復上取得了成功，但是它們的單階段解碼框架很難避免生成不一致的角色詞。在這項工作中，作者提出了一個三階段的對話生成框架。該框架使用生成-刪除-重寫機制從生成的原型回復中刪除不一致的詞語，然后進一步將其改寫為屬性信息一致的回復。通過人工評價和自動指標進行了評估。在PersonaChat數據集上的實驗表明，這個方法獲得了非常好的性能。

論文地址：暫無

2、How Does Selective Mechanism Improve Self-Attention Networks?

推薦：近年來，在自注意力網絡引入選擇機制使得模型關注其中重要的輸入元素已經取得很好的效果。但是，對于選擇機制取得這樣結果的原因尚不清楚。本文提出一個通用的基于選擇機制的自注意力網絡。傳統的自注意力網絡在順序編碼以及結構信息建模能力存在一些不足，而本文針對其提出相應的假設，并在實驗中驗證假設的正確性。實驗分析發現，將選擇機制引入自注意力網絡的好處在于：1.其更多關注周圍詞的信息，從而對周圍詞序的變化比較敏感，使得其更好對順序進行編碼；2.其對于樹結構重要成分關注度更高，從而其擁有更強的捕捉結構信息的能力。

論文地址：暫無

阿里巴巴

阿里巴巴有22篇論文入選ACL 2020，內容覆蓋跨領域分詞、細顆粒度情感分析、多領域對話系統、文本生成、知識蒸餾等諸多NLP領域的熱點和前沿研究方向。

1、Structure-LevelKnowledge Distillation For Multilingual SequenceLabeling

推薦：多語種序列標記是一項使用單一的多語種統一模型預測標簽序列的任務。與依賴于多個單語模型相比，使用多語言模型具有模型規模小、在線服務容易和對低資源語言通用的優點。然而，由于模型容量的限制，目前的多語種模型仍然遠遠低于單獨的單語模型。本文提出將多個單語模型（教師）的結構知識提取到統一的多語言模型（學生）中，以縮小單語模型與統一的多語言模型之間的差距。我們提出了兩種基于結構層次信息的知識發現方法：1.近似地最小化學生和教師的結構層次概率分布之間的距離；2.將結構層次知識聚合為局部分布，并最小化兩個局部概率分布之間的距離。我們對4個多語種任務和25個數據集的實驗表明，我們的方法優于幾種強基線，并且比基線模型和教師模型具有更強的零炮概化能力。

論文地址：
https://arxiv.org/abs/2004.03846

2、Slot-consistent NLG for Task-oriented Dialogue System with Iterative Recti?cation Network

推薦：基于神經網絡的方法在 NLG 任務上已經取得了不錯的效果。然而，數據驅動類型的模型無法保證魯棒性，例如忽略了一個輸入槽位或生成了多余的槽位。前人的工作將這個問題稱為幻視現象。在這個工作中，我們研究如何通過保證槽位一致性提高 NLG 模型的可靠性。所謂槽位一致性是指模型生成的模板應該和輸入表示語義一致，即具有相同的槽位集合。針對這個問題，我們提出迭代改寫器，它能保證 NLG 模型生成正確而且流利的句子。它包含兩個模塊：1.基于檢索的自舉抽樣，用于抽樣偽錯數據；2.策略梯度學習，用于融入離散獎勵，例如不一致懲罰度。我們在 4 個數據集上驗證了模型的有效性，結果顯示我們大大降低了所有基線模型的槽位錯誤率 (ERR) 并達到了目前最好的效果，并且BLEU 的提升和人工校驗的結果也顯示了我們模型提高了生成句子的順暢度。

論文地址：暫無

百度

本屆ACL大會中，百度被收錄的11篇論文，覆蓋了對話與交互系統、情感分析/預訓練表示學習、NLP 文本生成與摘要、機器翻譯/同聲翻譯、知識推理、AI輔助臨床診斷等諸多自然語言處理界的前沿研究方向。

1、Conversational Graph Grounded Policy Learning for Open-Domain Conversation Generation

推薦：我們提出用圖的形式捕捉對話轉移規律作為先驗信息，用于輔助開放域多輪對話策略學習。基于圖，我們設計策略學習模型指導更加連貫和可控的多輪對話生成。首先，我們從對話語料庫中構造一個對話圖（CG），其中頂點表示“what to say”和“how to say”，邊表示對話當前句與其回復句之間的自然轉換。然后，我們提出了一個基于CG的策略學習框架，該框架通過圖形遍歷進行對話流規劃，學習在每輪對話時從CG中識別出哪個頂點和如何從該頂點來指導回復生成。我們可以有效地利用CG來促進對話策略學習，具體而言：1.可以基于它設計更有效的長期獎勵；2.它提供高質量的候選操作；3.它讓我們對策略有更多的控制。我們在兩個基準語料庫上進行了實驗，結果證明了本文所提框架的有效性。

論文地址：暫無

2、PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable

推薦：研發開放領域（Open-Domain）的對話機器人，使得它能用自然語言與人自由地交流，一直是自然語言處理領域的終極目標之一。對話系統的挑戰非常多，其中有兩點非常重要，一是大規模開放域多輪對話數據匱乏；二是對話中涉及常識、領域知識和上下文，一個對話的上文（Context），往往可以對應多個不同回復（Response）的方向。PLATO首次提出將離散的隱變量結合Transformer結構，應用到通用對話領域。通過引入離散隱變量，可以對上文與回復之間的“一對多”關系進行有效建模。同時，通過利用大規模的與人人對話類似的語料，包括Reddit和Twitter，進行了生成模型的預訓練，后續在有限的人人對話語料上進行微調，即可以取得高質量的生成效果。PLATO可以靈活支持多種對話，包括閑聊、知識聊天、對話問答等等。而文章最終公布的在三個公開對話數據集上的評測，PLATO都取得了新的最優效果。

論文地址：暫無

3、Towards Conversational Recommendation over Multi-Type Dialogs

推薦：真實人機對話，涉及多類型對話(閑聊、任務型對話、問答等)，如何自然的融合多類型對話是一個重要的挑戰。為應對這個挑戰，作者提出一個新的任務——多類型對話中的對話式推薦，期望Bot能夠主動且自然地將對話從非推薦對話(比如『問答』)引導到推薦對話，然后基于收集到的用戶興趣及用戶實時反饋通過多次交互完成最終的推薦目標。為便于研究這個任務，我們標注了一個包含多種對話類型、多領域和豐富對話邏輯(考慮用戶實時反饋)的人－人對話式推薦數據集DuRec(1萬個對話和16.4萬個utterance)。針對每個配對：推薦尋求者(user)和推薦者(bot)，存在多個序列對話，在每個對話中，推薦者使用豐富的交互行為主動引導一個多類型對話不斷接近推薦目標。這個數據集允許我們系統地考察整個問題的不同部分，例如，如何自然地引導對話，如何與用戶交互以便于推薦。最后，我們使用一個具有多對話目標驅動策略機制的對話生成框架在DuRec上建立基線結果，表明了該數據集的可用性，并為將來的研究設定了基線。

論文地址：暫無

4、SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis

推薦：作者提出了一種情感知識增強的語言模型預訓練方法，在通用預訓練的基礎上，設計了面向情感知識建模的Masking策略和情感多目標學習算法，融合了情感詞、極性、主體評論關系等多層情感知識，首次實現了情感任務統一的文本預訓練表示學習。該算法在情感分類、觀點抽取等情感分析任務中相對主流預訓練模型RoBERTa有顯著的提升，同時刷新了多個情感分析標準測試集的世界最好水平。

論文地址：暫無

5、Cross-Lingual Unsupervised Sentiment Classification with Multi-View Transfer Learning

推薦：本文針對無標簽資源的目標語言，提出了一種無監督的跨語言情感分析模型。

論文地址：暫無

6、Leveraging Graph to Improve Abstractive Multi-Document Summarization

推薦：本論文提出基于圖表示的多文檔生成式摘要方法GraphSum，在神經網絡模型中融合多文檔語義關系圖例如語義相似圖、篇章結構圖等，建模多篇章輸入及摘要內容組織過程，從而顯著提升多文檔摘要效果。GraphSum 基于端到端編解碼框架，其中圖編碼器利用語義關系圖對文檔集進行編碼表示，圖解碼器進一步利用圖結構組織摘要內容并解碼生成連貫的摘要文本。GraphSum 還可以非常容易地與各種通用預訓練模型相結合，從而進一步提升摘要效果。在大規模多文檔摘要數據集WikiSum 和MultiNews 上的實驗表明，GraphSum 模型相對于已有的生成式摘要方法具有較大的優越性，在自動評價和人工評價兩種方式下的結果均有顯著提升。

論文地址：暫無

7、Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer

推薦：無監督風格轉換是指在無平行語料的情況下，把輸入的句子改成目標風格，同時盡可能保持其原義。本文提出了一種全新的序列到序列的生成模型，可以動態地根據生成詞的風格相關性進行風格轉換。本文有兩個主要的創新點，一是用層級相關性傳播算法計算風格分類器中每個輸入詞的風格相關性信息，并以此作為指導信號來訓練生成器，讓生成器在生成的同時可以預測下一個詞的風格相關性。二是設計了以詞級別風格相關性和語義信息作為輸入的風格轉換解碼器，并通過多個損失項進行finetune訓練，從而實現風格轉換的功能。實驗表明，本文提出的方法在情感風格轉換和口語化風格轉換的任務上都達到了領先效果。

論文地址：暫無

8、Opportunistic Decoding with Timely Correction for Simultaneous Translation

推薦：在本論文中，百度首次提出了一種具有及時糾錯能力的解碼技術，它總是在每一步產生一定數量的額外單詞，以保持觀眾對最新信息的跟蹤，同時，它也在觀察更多的上下文時，對前一個過度生成的單詞提供及時的糾錯，以確保高翻譯質量。本文還首次提出了對這種糾錯場景下的延遲指標。實驗表明，我們的技術提高了延遲和質量：延遲減少了2.4，BLEU增加了3.1，中英翻譯和中英翻譯的修改率低于8%。本系統可用于任何語音到文本的同傳系統中。

論文地址：暫無

9、Simultaneous Translation Policies: from Fixed to Adaptive

推薦：本文提出一種簡單的啟發式算法，根據翻譯模型輸出的概率分布，可以將幾種精簡的固定“讀寫”策略組合成一種靈活的策略。本文進一步將該算法與集成方法相結合，既提高了翻譯質量，又降低了翻譯過程的時延。這種簡單的算法不需要訓練策略模型，使得其更易于在產品中使用。

論文地址：暫無

10、Learning Interpretable Relationships between Entities, Relations and Concepts via Bayesian Structure Learning on Open Domain Facts

推薦：本文通過貝葉斯結構學習建立了開放領域的關系與概念(Concept)之間的關聯，使得實體為何屬于某個概念的原因得到了很好的解釋。

論文地址：暫無

11、Towards Interpretable Clinical Diagnosis with Bayesian Network Ensembles Stacked on Entity-Aware CNNs

推薦：本研究提出一種新的診斷算法框架，該框架針對EMR具有無結構化文本和結構化信息并存的特點，結合醫療NLU，以深度學習模型實現EMR的向量化表示、診斷預分類和概率計算。結合醫療知識圖譜增強的多種貝葉斯網絡的組合模型，實現具有可解釋性的診斷推理。該框架能同時兼顧高診斷準確率和強可解釋性的特點，并可應用于面向基層醫師的輔助臨床診斷產品中。

論文地址：暫無

IJCAI 2020

騰訊

Deep Feedback Network for Recommendation

推薦：在本文中，作者初步研究了推薦系統中的多種顯式/隱式和正/負反饋之間的協同合作機制。DFN模型能夠基于多種反饋信息即時學習到用戶的無偏的正負向興趣，在點擊預估和不感興趣預估等多個任務上均有提升效果。直觀而有效的模型也使得DFN能成功在工業級推薦系統中得到部署和驗證。

論文地址：暫無

編輯：文婧

校對：洪舒越

—完—

總結

以上是生活随笔為你收集整理的一文看尽2020上半年阿里、腾讯、百度入选AI顶会论文的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。