機器之心報道。

人工智能頂級會議 ICML 2018 即將于 7 月 10 日至 15 日在瑞典首都斯德哥爾摩舉行。昨天，大會提前公布了最佳論文獲獎名單，在超過 600 篇被接收論文中，來自 MIT 和 UC Berkeley 的研究人員分享了最佳論文的殊榮。值得一提的是，此前攻破 ICLR 2018 大會七篇對抗樣本防御方法的研究眾望所歸地成為了最佳論文。

而復(fù)旦大學副教授黃增峰一人署名的論文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》則和 DeepMind、斯坦福大學的兩篇論文一同位居「亞軍」論文行列。

Best Paper Awards

來自 MIT 的 Anish Athalye 與來自 UC Berkely 的 Nicholas Carlini 和 David Wagner 獲得了最佳論文。早在今年 2 月份，這項攻破 ICLR 2018 七篇對抗樣本防御論文的研究就引起了深度學習社區(qū)的熱烈討論。該研究定義了一種被稱為「混淆梯度」（obfuscated gradients）的現(xiàn)象。在面對強大的基于優(yōu)化的攻擊之下，它可以實現(xiàn)對對抗樣本的魯棒性防御。這項研究引起了深度學習社區(qū)的討論，GAN 提出者 Ian Goodfellow 也參與其中。機器之心曾對此做過報道。

論文：Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

論文地址：arxiv.org/abs/1802.00…

項目地址：github.com/anishathaly…

摘要：我們發(fā)現(xiàn)了一種「混淆梯度」（obfuscated gradient）現(xiàn)象，它給對抗樣本的防御帶來虛假的安全感。盡管基于混淆梯度的防御看起來擊敗了基于優(yōu)化的攻擊，但是我們發(fā)現(xiàn)依賴于此的防御并非萬無一失。對于我們發(fā)現(xiàn)的三種混淆梯度，我們會描述展示這一效果的防御指標，并開發(fā)攻擊技術(shù)來克服它。在案例研究中，我們試驗了 ICLR 2018 接收的 8 篇論文，發(fā)現(xiàn)混淆梯度是一種常見現(xiàn)象，其中有 7 篇論文依賴于混淆梯度，并被我們的這一新型攻擊技術(shù)成功攻克。

來自 UC Berkeley EECS 的 Lydia T. Liu、Sarah Dean、Esther Rolf、Max Simchowitz 和 Moritz Hardt 的論文同樣也獲得了最佳論文獎。由于機器學習系統(tǒng)易受到數(shù)據(jù)偏見而導(dǎo)致歧視性行為，人們認為有必要在某些應(yīng)用場景中用公平性準則約束系統(tǒng)的行為，并期待其能保護弱勢群體和帶來長期收益。該研究探索了靜態(tài)公平性準則的長期影響，發(fā)現(xiàn)結(jié)果和人們的期望相去甚遠。

論文：Delayed Impact of Fair Machine Learning

論文地址：arxiv.org/abs/1803.04…

摘要：機器學習的公平性主要在靜態(tài)分類設(shè)置中得到研究，但沒有關(guān)注這些決策如何隨時間改變潛在的群體。傳統(tǒng)的觀點認為公平性準能提升他們想保護的群體的長期利益。

我們研究了靜態(tài)公平性標準如何與暫時的利益指標相互作用，例如利益變量的長期提升、停滯和下降。我們證實了即使在一步反饋模型中，常見的公平性準則沒有隨時間帶來改善，并可能實際上給特定案例帶來傷害（無約束的目標函數(shù)反而不會）。

我們完整地總結(jié)了三個標準準則的延遲影響，對照了和這些準則的行為存在質(zhì)的不同的制度。此外，我們發(fā)現(xiàn)一種自然形式的度量誤差可以放寬公平性準則能夠在其中順利執(zhí)行的制度。

我們的結(jié)果強調(diào)了評估公平性準則的度量和時序建模的重要性，展示了一系列的新挑戰(zhàn)和權(quán)衡問題。

BAIR 博客此前曾經(jīng)介紹過這篇論文，參見：前沿 | BAIR 探索機器學習公平準則的長期影響：對弱勢群體的善意真的種出了善果？

Best Paper Runner Up Awards

在最佳論文亞軍（Runner Up）論文中，復(fù)旦大學數(shù)據(jù)科學學院副教授黃增峰完成的在線流（online streaming）算法獲得了這一榮譽，黃增峰為這篇論文的唯一作者。該論文討論的這種在線流算法可以在只有非常小的協(xié)方差誤差的情況下，從大型矩陣抽取出最能近似它的小矩陣。

論文：Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices

論文地址：http://203.187.160.132:9011/www.cse.ust.hk/c3pr90ntc0td/~huangzf/ICML18.pdf

摘要：給定一個 n×d 維的大型的矩陣 A，我們考慮計算一個 l×d 維的概要矩陣（sketch matrix）B，概要矩陣的維度 l 要顯著小于原矩陣 A，但它仍是矩陣 A 優(yōu)良的近似。我們希望最小化協(xié)方差誤差：

現(xiàn)在我們考慮流模型（streaming model）中的問題，其中的算法只能在有限的工作空間內(nèi)傳輸輸入一次。而流行的 Frequent Directions 算法（Liberty, 2013）與它的變體實現(xiàn)了最優(yōu)空間和誤差間的權(quán)衡。然而運行時間是否能提升還是一個懸而未決的問題。在本論文中，我們幾乎可以解決這個問題的時間復(fù)雜度。特別是，我們提供了有更快運行時間的新型空間-最優(yōu)（space-optimal）算法。此外，除非矩陣乘法的當前最優(yōu)運行時間能顯著提升，否則我們算法的運行時間是近似最優(yōu)的（near-optimal）。

對于大規(guī)模矩陣運算，精確的算法通常會非常慢，因此有非常多的研究聚焦于設(shè)計一種快速的隨機近似算法。為了加速計算，采用小矩陣近似大矩陣的矩陣概要是常用的技術(shù)。而在實際應(yīng)用中，數(shù)據(jù)通常以流式的形式傳輸，將整個數(shù)據(jù)集儲存在主內(nèi)存中通常是不切實際和不可能的。

在本論文中，作者黃增峰研究了在小的協(xié)方差下保留概要矩陣的在線流算法。在流模型中，輸入矩陣的行秩能一次降低到 1；該算法只允許在有限的工作空間內(nèi)傳輸一次，這是持續(xù)保留概要矩陣所必須的。

流行的 Frequent Directions 算法在空間占用和近似誤差間實現(xiàn)了最優(yōu)的權(quán)衡，該算法目前已經(jīng)廣泛應(yīng)用于在線學習。然而，我們?nèi)匀徊惶宄鼈兊倪\行時間是否能提升，也許我們只能寄希望于得到線性（稀疏）時間的算法，這在很多矩陣問題上是可能的。本論文主要由以下問題驅(qū)動：

是否存在輸入稀疏時間的 Frequent Directions 算法，能夠?qū)崿F(xiàn)同等最優(yōu)的空間-誤差權(quán)衡？

以下展示了黃增峰提出的主要算法，他的核心思想是在原始 FD 中使用快速逼近的 SVD，產(chǎn)生次優(yōu)的時間。

來自 DeepMind 和牛津大學的研究者也獲得了 Best Paper Runner Up Awards。

論文：The Mechanics of n-Player Differentiable Games

作者：David Balduzzi, Sebastien Racaniere, James Martens, Jakob Foerster, Karl Tuyls, Thore Graepel

論文地址：arxiv.org/abs/1802.05…

摘要：支撐深度學習的基石是保證目標函數(shù)能利用梯度下降收斂到局部極小值。不幸的是，這個保證在某些情況下會失效，例如生成對抗網(wǎng)絡(luò)，其中有多個交互損失。在博弈中，基于梯度的方法的行為并沒有得到很好的理解，隨著對抗性和多目標架構(gòu)的數(shù)量激增，這變得越來越重要。在這篇論文中，我們開發(fā)了新的技術(shù)來理解和控制一般博弈中的動態(tài)。主要的結(jié)果是將二階動態(tài)分解為兩個部分。第一個和潛博弈（potential game）相關(guān)，可以用內(nèi)含的函數(shù)簡化為梯度下降；第二個和哈密頓博弈相關(guān)，這是一種新的博弈類型，遵循一種守恒定律——類似于經(jīng)典力學系統(tǒng)中的守恒定律。該分解啟發(fā)了辛梯度調(diào)整（Symplectic Gradient Adjustment，SGA），這是一種用于尋找一般博弈中的穩(wěn)定不動點的新算法。基礎(chǔ)實驗表明 SGA 的性能和近期提出的尋找 GAN 穩(wěn)定不動點的算法不相上下，同時可以應(yīng)用到更多的一般博弈中，并保證收斂性。

同樣獲得該榮譽的還有來自斯坦福大學的研究者。

論文：Fairness Without Demographics in Repeated Loss Minimization

作者：Tatsunori Hashimoto, Megha Srivastava, Hongseok Namkoong, Percy Liang

論文地址：arxiv.org/abs/1806.08…

摘要：機器學習模型（如語音識別器）通常被訓練以最小化平均損失，這導(dǎo)致了表征差異（representation disparity）——少數(shù)群體（如非母語說話者）對訓練目標函數(shù)的貢獻較少，并因此帶來了更高的損失。更糟糕的是，由于模型準確率會影響用戶保留，因此少數(shù)群體的數(shù)量會隨著時間而日益減少。本論文首先展示了經(jīng)驗風險最小化（ERM）的現(xiàn)狀放大了表征差異，這甚至使得最初公平的模型也變得不公平了。為了緩解這一問題，我們開發(fā)了一種基于分布式魯棒優(yōu)化（distributionally robust optimization，DRO）的方法，可以最小化所有分布上的最大風險，使其接近經(jīng)驗分布。我們證明了該方法可以控制每個時間步的少數(shù)群體風險，使其符合羅爾斯分配正義，同時該方法對群體的標識并不清楚。我們證明 DRO 可以阻止樣本的表征差異擴大，而這是 ERM 做不到的，我們還在現(xiàn)實世界的文本自動完成任務(wù)上證明了該方法對少數(shù)群體用戶滿意度的改進。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的ICML 2018大奖出炉：伯克利、MIT获最佳论文，复旦大学榜上有名的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。