導讀：

Te road reaches every place, the short cut only one”— James Richardson

見路不走：現在有很多大師都告訴別人要去照抄別人，有的大師告訴別人不要去照抄別人，這兩種說法都不全面，首先要分析事物發生的本質，然后再采取相應的方式?- 天幕紅塵

深度學習面對的問題其實是同一個問題

人工智能會很快取代放射科醫生嗎？最近，研究人員訓練了一個深層神經網絡來分類乳腺癌，達到了85% 的性能。當與其他三種神經網絡模型結合使用時，最終的集成方法的分類準確率達到了99% ，可與經過多年訓練的放射科專家相媲美。

上面描述的結果是真實的，只是有一個小小的改變: 研究人員沒有使用最先進的人工深層神經網絡，而是訓練“自然”神經網絡——更準確地說，一群四只鴿子——來診斷乳腺癌。

然而，令人驚訝的是，鴿子從未被視為醫學成像的未來，大公司還沒有投資數十億建立大規模的鴿子養殖場: 我們對鴿子的期望與我們對深層神經網絡(DNN)的期望相比有些蒼白。

在許多方面，DNN確實不負眾望: 它們在社會、工業和科學領域的成功故事是不可否認的，新的突破仍然在幾個月，甚至幾周內發生。然而，緩慢而穩定地，失敗案例一直在積累: DNN在識別物體方面達到超人的表現，但即使是微小的無形變化或不同的背景環境都能夠完全破壞預測。

DNN 可以為一張圖片生成一個看似合理的標題，但令人擔憂的是，他們可以這樣做，而不需要真正地看這張圖片。DNN 可以準確地識別人臉，但是對于少數族群的人臉，它們顯示出很高的錯誤率。DNN 可以根據簡歷預測招聘決策，但是算法的決策偏向于選擇男性。

一方面超人的表現，另一方面驚人的失敗，兩者之間的差異如何調和？正如自然機器智能中的“深度神經網絡中的捷徑(shortcut)學習”一文中所論述的，并在本文中詳細闡述的，許多失敗案例并不是獨立的現象，而是在某種意義上相互關聯的，即DNN 遵循意想不到的“捷徑”策略。雖然表面上很成功，但是這些策略在稍微不同的情況下通常會失敗。

捷徑學習不是一個新奇的現象:，它有很多別名，例如“協變量轉移下的學習”、“反因果學習”、“數據集偏見”、“坦克傳奇”和“聰明漢斯效應”。我們在這里討論捷徑學習如何統一許多深度學習的問題，以及我們可以做什么來更好地理解和減輕捷徑學習。

什么是捷徑？

在機器學習中，模型可以學習的解決方案受到數據、模型結構、優化器和目標函數的約束。然而，這些約束通常不允許單一的解決方案: 通常有許多不同的方法來解決一個問題。捷徑是指在典型的測試環境中表現良好，但在不同情況下失敗的解決方案，它揭示了與我們的意圖不匹配的問題。

舉個例子，當用一個簡單的星星和月亮的數據集(頂行)訓練時，一個標準的神經網絡(三層，完全連接)可以很容易地對新的類似例子進行分類(數學上稱為 iid測試集)。然而，在略有不同的數據集(ood test set)上進行測試揭示了一種快捷策略: 網絡已經學會了將對象位置與類別關聯起來。

在訓練過程中，恒星總是出現在圖片的左上角或者左下角; 衛星則出現在左上角或者右下角。這種模式仍然存在于iid 測試集(中間一行)的樣本中，但不存在于 ood測試圖像(下面一行)中，從而暴露了快捷方式。

這里最重要的觀點是，在訓練設置約束下，位置和形狀都是有效的解決方案，因此沒有理由期望神經網絡更喜歡其中一個。然而，人類對于使用物體形狀有著強烈的直覺。正如這個例子可能看起來不自然的，對抗性的例子，有偏見的機器學習模型，領域泛化的缺乏，以及輸入略有改變的失敗都可以被理解為同一個潛在現象的實例: 捷徑學習。

例如，研究人員開發了一種機器分類器，能夠成功地從許多醫院的 x 光掃描中檢測出肺炎，但是在新醫院的掃描中，其性能卻出人意料地低: 該模型出人意料地以近乎完美的準確度識別出特定的醫院系統(例如，通過檢測掃描上的醫院特有的金屬標記，見左)。再加上醫院的肺炎患病率，在訓練期間，它能夠做出相當好的預測——而對肺炎完全沒有了解。分類器沒有學習“理解”肺炎，而是選擇了最簡單的解決方案，并且只考慮token類型。

深度學習之外的捷徑學習

通常這種失敗可以作為機器學習算法不值得信任的例子。然而，生物學習者也遭受非常相似的故障模式。在牛津大學實驗室的一項實驗中，研究人員觀察到老鼠學會了通過一個復雜的迷宮，這個迷宮顯然是基于細微的顏色差異。考慮到老鼠的視網膜最多只能支持原始的顏色視覺，這個實驗非常令人驚訝。對這一奇怪發現的深入研究表明，老鼠欺騙了研究人員: 他們在實驗中根本沒有使用他們的視覺系統，而是簡單地根據迷宮墻壁上顏色油漆的氣味來區分顏色。一旦控制了嗅覺，這種顯著的辨別顏色的能力就消失了。

動物經常通過解決一個實驗范例(即數據集) ，以一種意想不到的方式欺騙實驗者，而不使用人們實際上感興趣的潛在能力。這凸顯了人類想象用人類以外的方式來解決一個艱難的挑戰是多么難以置信的困難: 當然，在實施層面上，老鼠和人類的膚色歧視之間可能存在差異。但是在算法層面，通常有一個默認的假設，即類似人的性能意味著類似人的策略(或算法)。

這種“相同的策略假設”與深度學習并行: 即使 DNN 單位不同于生物神經元，如果 DNN 成功地識別物體，那么很自然地假設它們像人類一樣使用物體形狀。因此，我們需要區分數據集上的性能和獲得某種能力之間的區別，并且在將“對象識別”或“語言理解”之類的高級能力歸屬于機器之前，要格外小心，因為通常有一個更簡單的解釋:

永遠不要把那些可以通過捷徑學習得到充分解釋的能力歸因于高水平的能力。

捷徑學習需要改變我們衡量進步的方式

從歷史上看，機器學習研究是由基準驅動的，這些基準通過在固定的任務和數據集的組合上對算法進行評估，使算法具有可比性。這種模式在很短的時間內使這個領域取得了巨大的進展。但這并非沒有缺點。其中一個影響就是，它給研究人員創造了強大的動力，促使他們更多地關注于改進現有基準的新算法的開發，而不是理解他們的算法或基準。這種對理解的忽視是為什么捷徑學習成為深度學習中如此普遍的問題的部分原因。

讓我們來看一個突出的例子: ImageNet 數據集和挑戰創建于2009年，作為一種新的方式來衡量在物體識別，算法識別和分類物體的能力。由于其巨大的規模 ImageNet 提出了自己作為一個未解決的問題的規模，沒有人敢于解決以前。它的多樣性和規模為當前的深度學習革命鋪平了道路。

他們2012年的論文論證了帶有學習權重的深層神經網絡是唯一適合處理這種復雜性的(與當時流行的使用手工特征進行圖像分析的方法形成對比)。在接下來的幾年里，ImageNet 成為了進步和性能的驅動力，在 ImageNet 基準與計算機視覺的進步同義。

直到最近幾年，隨著越來越多的 DNN 失效案例的出現，這種情況才開始慢慢改變。所有這些失敗案例背后的一個主要原因是，盡管 ImageNet 的規模和多樣性不需要真正的對象識別，也就是說模型必須正確識別和分類我們用作標簽的前景對象。相反，在許多情況下，物體同樣可以很好地通過它們的背景、紋理或其他一些人類不太明顯的捷徑來識別。如果背景比場景中的主要對象更容易識別，那么網絡通常會利用這一點進行分類。

這種行為的后果在普遍意義上是顯著的失敗。請看下面的圖表。在左邊有一些方向，人們期望一個模型能夠概括。無論是手繪的黑白照片還是彩色照片上的門牌號碼，五都是五。同樣，姿勢、紋理或背景的輕微扭曲或變化不會影響我們對圖像中主要對象的預測。相比之下，一個 DNN 可以很容易地被他們所有愚弄。有趣的是，這并不意味著 DNN 不能一概而論: 事實上，他們完美地概括了，盡管方向對人類來說幾乎沒有意義。下面圖片的右側顯示了一些例子，從可理解的圖片到完全不可理解的圖片。

導致捷徑學習和隨之而來的泛化失敗的關鍵問題是，我們對任務的理解和它實際上激勵模型學習的東西之間存在差異。我們如何緩和這個問題，并提供對捷徑學習的洞察力？目前大多數基準測試的一個主要缺點是，它們測試的圖像與訓練期間使用的數據分布相同。這種類型的評估只需要一種較弱的概括形式。然而，我們需要的是與我們的直覺大致相符的強大的概括能力。為了測試這些，我們需要良好的非分布測試(o.o.d. 測試) ，它們具有明確的分布偏移、定義良好的預期解決方案，并解釋模型學習捷徑的方式。

但它并不止于此: 隨著模型越來越好，它們將學會利用更微妙的捷徑，所以我們設想 ood 基準隨著時間的推移不斷發展，朝著越來越強大的測試。這種類型的“滾動基準”可以確保我們在模型開發過程中不會失去最初的目標，而是不斷重新集中精力解決我們實際關心的潛在問題，同時增加我們對建模管道和快捷學習之間的相互作用的理解。

偏愛理解之路勝過捷徑，但是怎么做呢？

科學的目的在于理解。雖然深度學習作為一個工程學科在過去的幾年里取得了巨大的進步，但是深度學習作為一個科學學科在理解支配機器如何從數據中提取模式的原則和限制方面仍然落后。加深對如何減少捷徑學習的理解，超越了當前機器學習的應用領域，未來可能會產生有趣的機會與經濟學(設計不會因獎勵意外的“捷徑”行為而危及長期成功的管理激勵措施)或法律(創造沒有“漏洞”捷徑機會的法律)等其它學科交叉融合。

然而，重要的是要指出，我們可能永遠不會完全解決捷徑學習。模型的決策總是基于不完全的信息，因此泛化失敗應該是預料之中的: 捷徑學習的失敗是常態，而不是例外。為了增加我們對捷徑學習的理解，甚至可能減少捷徑學習的實例，我們提供以下五點建議:

1 連點成線: 快捷學習是無處不在的

無論是生物學還是人工學習，快捷學習似乎是學習系統的一個普遍特征。深度學習的許多問題都是通過快捷學習聯系在一起的——模型利用數據集的快捷機會，只選擇少數幾個預測特征，而沒有仔細考慮所有可用的證據，從而遭受意想不到的泛化失敗。在受影響的領域之間“連接點”可能會促進進展，并且取得進展可以在各種應用程序領域產生非常有價值的影響。

2 認真詮釋結果

發現快捷方式通常可以揭示看似復雜數據集的簡單解決方案的存在。我們認為，在將“物體識別”或“語言理解”等高級能力賦予機器之前，我們需要非常謹慎，因為通常有一個更簡單的解釋。

3 測試ood數據

在iid測試數據上評估模型性能(就像大多數當前基準測試那樣)不足以區分預期的和非預期的(快捷)解決方案。因此，ood 普通化測試將需要成為規則，而不是例外。

4 理解什么使解決方案易于學習

DNN 總是學習一個問題最簡單的可能的解決方案，但要理解哪些解決方案是容易的(因此可能被學習) ，需要分離結構(體系結構)、經驗(培訓數據)、目標(損失函數)和學習(優化)的影響，以及對這些因素之間的相互作用的徹底理解。

5 首先問一個任務是否應該被解決

捷徑的存在意味著，無論任務是否得到充分證實，DNN 通常都會找到解決辦法。例如，他們可能會嘗試從敏感的人口統計數據(比如皮膚顏色或種族)或者膚淺的外表性別來評估信用評分。這是令人擔憂的，因為它可能會加強錯誤的假設和有問題的權力關系時，應用機器學習的模糊界定或有害的任務?？旖萱I可以讓這些有問題的任務看起來完全可以解決。

然而，DNN 處理高性能任務或基準的能力永遠不能證明任務的存在或基本假設是正確的。因此，在評估一項任務是否可以解決時，我們首先需要問: 它應該被解決嗎？如果是這樣，這個問題應該由人工智能來解決嗎？

快捷學習解釋了當前機器學習模型和人類智能之間一些最具代表性的區別——但具有諷刺意味的是，正是這種對“作弊”的偏好使得神經網絡看起來幾乎像人類: 誰從來沒有通過記憶考試材料來抄近路，而不是投入時間去真正理解？誰從來沒有試圖找到一個規定的漏洞，而不是堅持其精神？歸根結底，神經網絡或許與懶惰的人類并沒有太大的不同

全文翻譯自：https://thegradient.pub/shortcuts-neural-networks-love-to-cheat/

論文原文：Shortcut learning in deep neural networks

更多閱讀

用深層神經網絡解釋大腦的運作

經由因果分析，反駁AI監控學生上課，及辨別健康類謠言

總結

以上是生活随笔為你收集整理的dnn神经网络 缺点_抄近路神经网络如何因找捷径而犯错的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。