?PaperWeekly 原創 · 作者?|?尹娟

學校?|?北京理工大學博士生

研究方向?|?隨機過程、復雜網絡單位

引言

該論文是關于深度學習理論性的文章，要知道深度神經網絡經常會對樣本分布之外的數據和對抗樣本會出現不可預測性。在該論文中作者提出了一個幾何梯度分析（GGA）來提高識別模型不可信的預測，該分析方法不需要重新訓練給定的模型。基于神經網絡各自輸入的 來分析神經網絡損失的幾何特征。作者還提供了梯度的幾何性質和損失函數的局部最小值之間的理論聯系。

論文標題：

Identifying Untrustworthy Predictions in Neural Networks by Geometric Gradient Analysis

論文鏈接：

https://arxiv.org/abs/2102.12196

幾何梯度分析

設 表示在一個監督分類任務中輸入樣本 及其對應的類標簽 。用 表示由參數向量 參數化的神經網絡，用 表示神經網絡對給定樣本 ?預測的類別。定義 為神經網絡的損失函數。將 定義為給定樣本 的第 類 表示為：

其中 表示符號函數。忽略對 的依賴性，對于給定的樣本 ，余弦相似矩陣 被定義為：

其中 ，并且 表示 和 這兩個 圖之間的余弦相似度。與以前僅依賴于預測類別的顯著性的方法相比，幾何梯度分析考慮了所有可能的輸出類別的 之間的幾何屬性。同時考慮多個 使得幾何梯度攻擊檢測器更難被攻擊。為了欺騙訓練好的神經網絡和幾何梯度測器，攻擊者必須在保留所有輸出類別的 之間的幾何屬性中同時造成錯誤分類。

在神經網絡訓練成熟之后，正確分類的輸入 大部分被映射到預測類別 的局部最小值中，對于這些正確分類的樣本，非預測類 ，， 的 指向遠離局部最小值的地方，并且呈現出高的平均余弦值。相反，錯誤分類的樣本遠離這些局部最優值的附近，并且對于不同的類別顯示不同的 ，因此 的平均余弦相似性較低并且方差較大。

損失函數局部極小的充要條件：為了進一步推動神經網絡輸入空間中梯度幾何的分析，作者引入了一個性質，能夠識別給定的數據點是否位于損失中的局部極小值上。

定理1： 被定義為：

當且僅當：

點 在 的局部最小值中。

引理1：令 是一個 并且 是函數 的局部最小值點。則有：

證明：在 點進行泰勒展開，則有：

進一步化簡可得：

如果 是局部最小值點，則有：

引理2：令 是一個 。對于所有的向量 有 ，則有：

證明：計算：

其中 表示是 的海森矩陣。因為 是一個 ，當 時， 收斂到 。

將引理1代入到 ，存在點 有 ，，則：

其中 ，因為 是連續的，則此時可知 。計算：

如果這個表達式對于收斂到 的所有 x 都是漸近非負的，對于任意的 ，有 ，定義 ：

因為 是任意的，這意味著 是損失函數 的局部最小值。

實驗設置

為了用 方法識別模型不可信的預測，首先為給定的樣本 ? 生成相應的 。然后從 中計算簡單的特征，并使用它們來訓練樣本分布之外的點。對于給定的樣本 ，假設 是與神經網絡 類的下標索引。通過利用余弦相似矩陣 的對稱性，并可以觀察到該矩陣主對角線的元素都等于 。作者對兩個不同的集合 和 計算五個基本特征，分別是平均值、最大值、最小值、標準偏差和能量，其中 。

作者使用基于 的有目標攻擊來最大化隨機目標類的損失，這種攻擊可能導致所有其他類別的相似顯著圖，因為攻擊將優化輸入，使目標類別的損失達到局部最小值。作者利用均方誤差和分類交叉熵損失來攻擊。對所有目標攻擊使用了相同的步長 和 100 次攻擊迭代。作者添加余弦相似度目標來優化對抗擾動，使得所有非預測類 對齊。余弦相似度目標的損失由下式給出：

實驗結果

如下表所示，在 ，，， 中對于不同 OOD 數據和對抗攻擊中所有數值的真實陽性率為 95%。可以發現，論文中所提出的 GGA 方法對所有攻擊都表現出較高的識別性能。

如下表所示，所提出的 方法對所有自適應攻擊都表現出很高的識別性能。有目標的 PGD 攻擊比無目標的 PGD 攻擊成功率高。使用 交叉熵損失進行目標攻擊更有效。通過余弦相似性攻擊 ，可以成功地增加余弦相似性矩陣中非預測類之間的余弦相似性。

余弦相似度目標的權重越高，錯誤分類越少，反之亦然。 攻擊只能導致分別對 、 和 數據集的 10000 個樣本中的 561、1354 和 857 個樣本進行錯誤分類。相比之下，無目標和有目標 攻擊的成功率為 100%，導致所有數據集的 10000 幅圖像全部被錯誤分類。

如下圖所示，分類器的預測標簽是彩色編碼的，其中橙色的部分對應于真實類別，而藍色的部分對應于對抗攻擊后預測的類別。在決策邊界附近，當不同類別的 之間的梯度方向開始發散時， 會發生特征波動。由此可以看出， 的平均值是分類器決策的穩定指標。

如下表所示為使用的相同的對抗攻擊和異常數據的檢測性能，這些數據僅使用前 個預測進行計算。可以發現即使只有5%的原始 用于計算 ，所有檢測任務的性能也僅略微下降。可以觀察到預測類別和非預測類別的梯度之間的余弦相似性對于檢測不可信的預測來說是足夠的。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的几何梯度分析神经网络中不可信预测性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。