01

ICLR介紹

ICLR，全稱為International Conference on Learning Representations（國際學習表征會議），自2013年成立至今僅九年的時間，它已被學術研究者們廣泛認可，在谷歌學術全領域的熱門出版物中排名第十。

谷歌學術“熱門出版物”榜單

目前ICLR 2022已經放榜，總提交數量為3328篇，最終有1095篇論文入選，其中Oral 54篇，Spotlight 176篇，Poster 865篇。

02

線上分享

ReadPaper從入選的優秀論文中選出了10篇，其中大部分被評為Oral或Spotlight，邀請到論文的第一作者給大家做線上分享，帶來論文的一手解讀，聊聊研究背景、實驗過程以及背后的科研故事等等。剛好在看論文的小伙伴，一定記得收藏活動，關注直播喲。

在講解過后，直播還設置了互動問答環節，記得提前準備好提問，千萬不要錯過了。

線上分享將會在“PaperWeekly”的B站直播間（https://live.bilibili.com/14884511）進行，詳細日程如下：

時間	嘉賓	ICLR入選論文
3.11 12:00	何俊賢	Towards a Unified View of ? Parameter-Efficient Transfer Learning (Spotlight)
3.16 12:00	金汶功	Iterative Refinement Graph Neural Network for Antibody ? Sequence-Structure Co-design (Spotlight)
3.16 19:00	孟強	Improving Federated Learning Face Recognition via Privacy-Agnostic Clusters?(Spotlight)
3.18 12:00	林森	TRGP: Trust Region Gradient Projection for Continual Learning?(Spotlight)
3.18 19:00	陳驍宇	Understanding Domain Randomization for Sim-to-real Transfer?(Spotlight)
3.23 12:00	金慶	F8Net: Fixed-Point 8-bit Only Multiplication for Network Quantization (Oral)
3.23 19:00	吳海旭	Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy?(Spotlight)
3.25 12:00	吳梓陽	How Low Can We Go: Trading Memory for Error in Low-Precision Training?
3.30 12:00	王子豐	PAC-Bayes Information Bottleneck?(Spotlight)
3.30 19:00	董力	BEiT: BERT Pre-Training of Image Transformers?(Oral)

03

十問回答

和往常的活動一樣，嘉賓們也被邀請入駐ReadPaper，并針對他們的論文進行了非常詳盡的“論文十問”回答，親自闡述了不少有關論文的解析和研究思考。

在觀看直播之前，小伙伴們可以點擊文末的閱讀原文，前往論文十問，先睹為快！

“Improving Federated Learning Face Recognition via Privacy-Agnostic Clusters” 的十問節選

04

嘉賓及論文介紹

▼點擊卡片展開▼

何俊賢

卡內基梅隆大學

計算機科學學院博士生

論文：

Towards a Unified View of Parameter-Efficient Transfer Learning

論文簡介：

在下游任務上對大型預訓練語言模型進行微調已經成為NLP的遷移學習范式。然而，傳統的方法是對預訓練模型的所有參數進行微調，隨著模型規模和任務數量的增加，這種方法變得不切實際。最近的工作提出了一系列參數高效的遷移學習方法，這些方法只對少數（額外的）參數進行微調，可以達到強大的性能。雖然效果顯著，但已有方法背后成功的關鍵因素以及它們之間的聯系并沒有被完全理解。在本文中，我們把已有的參數高效的微調方法分解成不同的設計元素，并提出了一個統一的框架建立它們之間的聯系。通過對機器翻譯、文本摘要、語言理解和文本分類等任務的實驗探究，我們借助這個統一的框架總結出了現有方法中的重要設計元素去理解它們為什么有效。此外，我們的統一框架使得我們能夠結合最優的設計去實例化出新的參數高效微調方法，這些方法比以前的方法調整參數更少，同時更加有效，在四個NLP任務上取得了與微調所有參數相當的結果。

金汶功

美國博德研究所

博士后研究員

論文：

Iterative Refinement Graph Neural Network for Antibody Sequence-Structure Co-design

論文簡介：

抗體是一種與病原體結合并激活免疫系統的蛋白質。抗體結合的特異性由這些 Y 形蛋白末端的CDR序列決定。在這篇論文中，我們提出了一種生成模型來自動設計具有特定性質的CDR序列。以前的生成方法假設蛋白質的3D結構已知并作為模型輸入，但這樣的假設往往不能滿足實際應用需要。為此，我們設計一個聯合生成模型，同時生成CDR的序列和其3D結構。我們的模型在迭代改進其預測的全局結構的同時，自回歸地生成序列。為了提高速度，我們以粗粒度的方式對CDR內部和外部結構關系進行建模。我們的方法在測試集上實現了更好的perplexity和3D結構準確度，并且能更好的設計能夠與病原體結合的抗體。

孟強

Aibee愛筆智能

算法工程師

論文：

Improving Federated Learning Face Recognition via Privacy-Agnostic Clusters

論文簡介：

聯邦學習可以一定程度緩解公眾日益高漲的對人臉識別中數據隱私的擔憂。然而傳統聯邦學習在該任務上表現不盡如人意，其主要原因是這個任務的特殊性：在客戶端之間傳播類中心對識別效果十分重要但是卻會導致隱私泄漏。為了解決隱私-性能的矛盾，本文提出了PrivacyFace，一個通過在客戶端之間分享輔助的去隱私信息來極大提升聯邦人臉識別性能的框架。PrivacyFace 主要由兩個組成部分組成：首先，提出一個實用的差分隱私本地聚類（DPLC）算法從本地類中心中提取去隱私信息。接著利用設計的全局一致性人臉識別損失函數來達到客戶端之間的全局優化，從而得到更優的特征空間。該框架在數學上滿足差分隱私，僅僅引入輕量的開銷就能顯著提升聯邦學習下人臉識別的性能（例如，在IJB-B和IJB-C的TAR@FAR=1e-4 提升為+9.63%和+10.26%）。在大規模數據集上的詳細結果以及消融實驗顯示了我們方法的有效性和實用性。

林森

亞利桑那州立大學

博士后研究員

論文：

TRGP: Trust Region Gradient Projection for Continual Learning

論文簡介：

災難性遺忘是持續學習的主要挑戰之一。為了解決這個問題，一些現有的方法對新任務的優化空間進行了限制，以盡量減少對舊任務的干擾。但是，這可能會導致新任務的學習性能不理想，尤其是當新任務與舊任務密切相關時。為了應對這一挑戰，論文提出了用于持續學習的信任區域梯度投影（TRGP），通過對任務相關性的有效分析來促進任務間的前向知識轉移。具體來講，論文引入了“信任區域”的概念，利用梯度在舊任務子空間的投影，快速有效地為新任務選擇最相關的舊任務。然后，論文提出了一種縮放權重投影，通過縮放矩陣巧妙地重用信任區域中所選舊任務的凍結權重。通過聯合優化縮放矩陣和模型，同時沿著與舊任務子空間正交的方向更新模型，TRGP可以有效地促進知識轉移而不會忘記。大量實驗表明，TRGP比相關的最先進方法有著顯著的性能提升。

陳驍宇

北京大學

在讀博士生

論文：

Understanding Domain Randomization for Sim-to-real Transfer

論文簡介：

強化學習算法在很多模擬環境任務下取得了很好的性能，包括雅達利游戲、圍棋、星際爭霸等。然而，當直接應用于機器人等實際場景任務時，強化學習面臨探索成本高、樣本量不足等問題。在這類問題上，模擬-現實遷移學習（sim-to-real transfer）被廣泛運用于將模擬環境中學到的知識遷移到真實場景。domain randomization作為模擬-現實遷移的一種常見的算法，在很多任務上均取得了很好的算法性能。盡管這一算法在實驗上取得了廣泛成功，其算法高效性并沒有得到清晰的理論理解。針對這一問題，我們提出了用于解釋模擬-現實遷移學習的理論框架。我們將模擬環境建模為包含隱式參數空間的馬爾可夫決策模型集合，并證明了domain randomization算法在沒有任何真實環境交互的情況下也能取得很好的性能。我們的理論強調了帶記憶的模型結構對于domain randomization算法的重要性。

金慶

美國東北大學

在讀博士

論文：

F8Net: Fixed-Point 8-bit Only Multiplication for Network Quantization

論文簡介：

本文針對深度模型的量化問題在現有先進方法上做了進一步研究，旨在實現僅用八位定點數乘法的量化模型，去除模型中的32位乘法操作，而使用移位操作進行替換。文中先對定點數的計算方法和統計特征進行了分析，對高斯分布和整流高斯分布（rectified Gaussian distribution）的相對量化誤差和定點數小數位之間的關系進行了統計分析，得出了隨機變量標準差和最優量化小數位的經驗規律。基于此，文中提出了一種使用標準差推斷量化所用定點數小數位的新方法。同時，針對當下流行的參數化激活值截斷閾值（PACT）量化方法，文中進行了深入分析，指出了其與定點數量化之間的內在聯系和形式上的等價性，提出了一種新型深度模型的定點數量化算法。針對殘差網絡中同胞層（sibling layers）對截斷值（clipping level）與定點數小數位的共享問題，文中也進行了探討。利用所提出的方法，文中在ImageNet數據集上對不同神經網絡結構（包括ResNet18、ResNet50、MobileNet、MobileNetV2）進行了實驗，均達到了當前最優水平。本文已被機器學習領域國際頂級會議ICLR收錄為口頭報告。

吳海旭

清華大學軟件學院

在讀碩士生

論文：

Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy

論文簡介：

現實世界中的系統每時每刻都在產生著大量的時序數據，從中發掘出異常，對于保持系統穩定運行、避免經濟損失至關重要。不同于以往基于點向特征的方案，本文提出了一種基于時序關聯差異的異常檢測算法Anomaly Transformer，利用每個時刻對整體序列關聯、局部先驗關聯的不同進行檢測。Anomaly Transformer在模型架構、學習策略、異常判據三個層面提供了完整的解決方案，在5個領域的數據上取得了最優的效果，被ICLR 2022接收為Spotlight（亮點）論文。

吳梓陽

粵港澳大灣區數字經濟研究院

AI金融與深度學習研究中心?

助理研究員

論文：

How Low Can We Go: Trading Memory for Error in Low-Precision Training

論文簡介：

低精度運算能幫助我們用更少的耗能、存儲以及時間訓練深度學習模型，但這些資源的節省并非沒有代價：低精度運算會帶來更大的計算誤差并導致模型的預測能力下降。本文的核心問題是研究如何在保證最終模型的性能的同時，通過選取最佳的低精度配置，來節省計算資源。我們的核心思路是將這個問題描述為一個超參數選取問題，并運用元學習(meta-learning)的思想來解決低精度與模型性能之間的取舍問題。通過本文的方法，對任意的目標數據集，我們都可以迅速地找到合適的低精度配置來達到資源節約以及性能保證的雙重目標。

王子豐

美國伊利諾伊大學香檳分校

在讀博士

論文：

PAC-Bayes Information Bottleneck

論文簡介：

一種基于PAC-Bayes泛化誤差界的信息瓶頸

解釋神經網絡的泛化能力是近年來人工智能領域的一項熱點研究。神經網絡中儲存的信息量被認為是可以衡量網絡泛化能力的指標。如果我們能計算神經網絡中的信息量，則可以解釋和推斷網絡的泛化能力，解開深度學習的黑箱，并且指導其優化和設計。在這篇文章中，我們提出了一種能快速計算神經網絡權重中儲存數據信息量的算法，并且基于此構建了一種新的信息瓶頸(PAC-Bayes IB)。我們在實驗中證明，這種信息度量能從多個角度解釋和追蹤網絡的泛化能力，比如在不同的寬度和深度，數據大小，數據噪音程度，批次大小等。并且，使用該種信息量作為約束能夠訓練更好的神經網絡。

董力

微軟亞洲研究院自然語言處理組

研究員

論文：

BEiT: BERT Pre-Training of Image Transformers

論文簡介：

近年來，大規模自監督預訓練在自然語言領域率先取得了突破性進展，帶來了全新的“預訓練-微調”范式。在GPT、BERT等一系列 “出圈” 工作中，生成式自監督占絕對優勢。但在計算機視覺領域，大多數工作沿著對比學習的思路進行推進，而生成式自監督預訓練一直沒有得到應有的重視。基于這個觀察，我們提出了BEiT自監督模型，使用掩碼圖像建模 (Masked Image Modeling) 這一任務，對Vision Transformers進行預訓練。BEiT首次驗證了生成式預訓練可以取得比對比學習更好的微調結果，并在圖像分類以及語義分割上取得了優異結果。更重要的是，通過擺脫對監督式預訓練的依賴，BEiT可以高效使用無標注圖片將Vision Transformers擴展到巨大的模型規模。相信BEiT在視覺領域所引發的“生成式自監督復興”，會加速領域到達“the BERT moment of CV”。

點擊“閱讀原文”進入活動詳情頁。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的ICLR 2022入选论文线上分享预告：一作解读，不容错过的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。