FGSM论文阅读
英文不好，，翻譯一般，有些不太通順的地方
《解釋和利用不利的例子》
摘要
包括神經網絡在內的幾種機器學習模型始終對一些容易造成誤解的示例進行錯誤分類，這些干擾示例是通過對數據集中的示例進行一些微小但壞的擾動后形成的輸入，受擾動的輸入會導致模型以高置信度輸出錯誤答案，早期對這種現象的解釋集中于非線性和過度擬合。相反，我們認為神經網絡容易受到對抗性擾動的主要原因是因為它們的線性特性，這種解釋得到一些新的定量結果的支持，同時對一些有關這方面內容的有趣事實進行了首次解釋，對它們的體系結構以及與訓練集之間的關系進行了概括，而且這種觀點產生了一種簡單快速生成對抗性示例的方法，使用這種方法為對抗訓練提供示例，我們減少了maxout網絡在MNIST數據集測試時的錯誤。
1.引言
S等取得了一個有趣的發現：一些機器學習模型（包括最新的神經網絡）容易受到對抗性例子的攻擊，也就是說機器學習模型會對這些示例進行錯誤分類，而這些示例與從數據分布中得出的正確分類示例僅稍有不同。在許多情況下，在訓練數據的不同子集或使用不同體系結構訓練得到的模型會將同一對抗示例進行錯誤分類。這表明對抗性示例暴露了我們訓練算法中的基本盲點。?
這些對抗性例子的原因是一個迷，一些推測性的解釋說這是由于深度神經網絡的極端非線性所致，也有可能是由于模型平均不足和純監督學習問題的正則化不足所致。
我們證明這些推斷假設是不必要的，高維空間中線性行為也足以引起對抗性例子，這種觀點使我們能夠設計快速生成對抗性示例的方法，從而使對抗性訓練切實可行。我們證明，對抗性訓練可以提供比使用dropout正則化更多的好處。通用的正則化策略，例如（dropout，預訓練和模型平均）并不能顯著降低模型對付對抗性示例的脆弱性，但是改用非線性模型族如（RBF網絡）能夠實現較好的效果。
我們的解釋表明，在設計模型時由于將其設計為線性而使其易于訓練，與使用非線性效應來抵抗對抗性圖片的擾動這之間存在一些矛盾，從長遠來看，可以通過成功訓練更多非線性模型或是采用更多強大的優化方法來避免這種折中。
2.近期的工作
S證明了神經網絡和相關模型的多種有趣特性，其中與本文最相關的是：
- 盒約束L-BFGS可以可靠地找到對抗性示例。
- 在例如ImageNet的一些數據集上，對抗性示例與原始示例非常接近，以至于人眼無法區分這些差異。
- 同樣的對抗示例時常會被一系列在不同網絡結構或者基于不同圖像樣本集訓練得到的模型上被錯誤的分類。
- 通過對抗性例子的訓練可以使模型規則化，但是由于需要在內部循環中進行昂貴的約束優化，因此這個實用性較差。
這些實驗結果表明，基于現代機器學習技術的分類器，即使是在測試集上獲得出色性能的分類器，也無法學到決定正確輸出的基本標準概念。取而代之的是這些算法建立了Potemkin village，它們可以很好的應用于自然發生的數據，但是當人們訪問空間中數據分布可能性較低的點時，它們就會被認為是偽造品。我們通常將這些結果解釋為深度網絡中特別的缺陷，盡管線性分類器具有相同的問題，我們認為對這一缺陷的了解是修復它的機會。實際上，Gu等人2014年已經開始著手設計抵抗對抗性擾動的模型，盡管還沒有模型能成功做到這一點，在保持最純凈輸入準確性的同時又做到抵抗對抗性擾動的模型。
3.對抗性例子的線性解釋
我們首先說明線性模型的對抗性示例存在。在許多問題中，單個輸入的功能受到限制，例如數字圖像通常每個像素僅使用8位，因此他們會丟棄低于動態范圍1/255的所有信息，由于特征的精度是有限的，所以如果擾動η的每個元素都小于特征的精度，則分類器對輸入x的響應不同于對抗性輸入x?= x +η的響應是不合理的。形式上，對于類別分類良好的問題，只要足夠小，我們期望分類器為x和x~分配相同的類別，其中足夠小，可以被與我們的問題相關的傳感器或數據存儲設備丟棄。考慮權重向量w和對抗性示例x?之間的點積：
對抗性擾動使激活度增加。我們可以通過賦予η= sign（w）來最大程度地限制η的最大范數。如果w具有n個維，并且權重向量的元素的平均大小為m，則激活將增長，因為不會隨問題的維數增長，但是由引起的激活變化可以隨n線性增長，因此對于高維問題，我們可以對輸入進行許多無窮小的更改，從而使輸出實現一個總的大的更改。我們可以將其視為一種“accidental steganography”，即使其中存在多個信號且其他信號具有更大的幅度,線性模型被迫專門處理與其權重最接近的信號。這個說明表明簡單線性模型會具有對抗性實例如果它的輸入具有足夠的維度。先前針對對抗性示例的解釋調用了神經網絡的假設屬性，而我們基于線性的假設更簡單，也可以解釋為什么softmax回歸容易受到對抗示例的影響。
4.非線性模型的線性擾動
對抗性示例的線性觀點提出一種生成它們的快速方法，我們假設神經網絡太過線性而無法抵抗太過線性的對抗性擾動，LSTM，Relu,maxout都故意設計為非常線性的方式進行設計，因此它們更容易優化。諸如softmax的一些非線性網絡出于相同的原因花費大量的時間在非飽和更線性方面進行調整。這種線性行為表明，線性模型的廉價分析性擾動也會破壞神經網絡。
圖1：在ImageNet上訓練的GoogleNet快速對抗示例生成演示。通過添加一個不明顯的小向量，這個元素等于成本函數相對于輸入符號的梯度元素，我們可以更改GoogleNet的圖片分類，在這里我們的.007對應于GoogleNet轉換為實數后8位圖像編碼的最小位大小。
設θ為模型參數，x為模型輸入，y與x相關聯的目標（對于具有目標的機器學習任務），而J（θ，x，y）為訓練神經網絡的成本。我們可以圍繞θ的當前值線性化成本函數，從而獲得最優的最大范數約束的
我們稱其為生成對抗性示例的快速梯度符號方法，請注意使用反向傳播可以有效地計算所需梯度。我們發現該方法可靠地導致了各種模型將其輸入錯誤分類。 有關ImageNet的演示，請參見圖1。 我們發現使用= .25會導致MNIST（？）測試集1上的淺層softmax分類器的錯誤率為99.9％，平均置信度為79.3％。 在相同設置下，maxout網絡將89.4％的對抗性示例錯誤分類，平均置信度為97.6％。??類似地，使用= 0.1時，在預處理版本的CIFAR-10上使用卷積maxout網絡時，我們得到87.15％的錯誤率和分配給錯誤標簽的平均概率96.6％測試集2。
生成對抗性示例的其他簡單方法也是可能的。例如，我們還發現，將x沿梯度方向旋轉小角度確實會產生對抗性示例。這些簡單，廉價的算法能夠生成錯誤分類的示例，這一事實證明了我們對線性網絡的對抗性示例的解釋。 該算法還可以作為快速對抗訓練的方法，甚至只是對訓練好的的網絡進行分析的一種方法。
5.線性模型的對抗訓練與權重衰減
也許我們可以考慮的最簡單的模型是邏輯回歸。 在這種情況下，快速梯度符號法是精確的。 我們可以對這種簡單設置情況下對抗示例是如何產生的得到一些了解。 有關指導性圖像，請參見圖2。如果我們訓練一個模型來識別帶有標簽? ? ?的??，其中是sigmoid函數
其中，是softplus函數,根據梯度符號擾動，我們可以對x的最壞情況的對抗擾動示例訓練，而不是x本身進行訓練得出一個簡單的分析形式。注意，梯度的符號只是而且，因此，logistic回歸的對抗版本應最小化
圖2：快速梯度符號法適用于邏輯回歸。(a)在Mnist上訓練的邏輯回歸模型的權重。(b)在Mnist上訓練的邏輯回歸模型的權重符號。這是最佳的擾動
這有點類似于L1正則化，但是有一些重要的區別，最重要的是在訓練期間從模型激活中減去L1損失，而不是增加到訓練成本當中,這意味著模型做出足夠飽和的預測，懲罰最終可能開始消失。在欠擬合的情況下，不能保證會發生這種情況，加入對抗訓練只會使訓練不到位的情況更加惡化，我們將L1權重下降視為比加入了對抗訓練更糟的情況，因為網絡沒能訓練到擬合足夠好的情況就停下了。
如果我們從邏輯回歸轉向多類softmax回歸，則L1權重衰減變得更加悲觀，因為它會將softmax的每個輸出視為獨立可擾動的，而實際上通常不可能找到與該類的所有權重向量對齊的η。在具有多個隱藏單元的深層網絡中，重量衰減高估了攝動可能帶來的損害。在具有多個隱藏單元的深層網絡中，重量衰減高估了擾動可能帶來的損害，由于L1權重衰減會高估對手可能造成的損失，因此與我們的特征精度相關聯的L1權重衰減系數必須小于。在MNIST上訓練maxout網絡時，我們使用= 0.25的對抗訓練獲得了良好的結果。 當將L1權重衰減應用于第一層時，我們發現甚至.0025的系數也太大，并且導致模型在訓練集上陷入超過5％的誤差。 較小的重量衰減系數允許成功訓練，但沒有帶來正則化好處。
6.深層網絡的對抗性訓練
對深度網絡的評價很容易受到對抗性例子的誤導，因為與淺層線性模型不同，深度網絡至少能夠表示抵抗對抗性擾動的功能。通用逼近定理（Hornik等，1989）保證了只要允許其隱藏層具有足夠的單位，具有至少一個隱藏層的神經網絡就可以以任意精度表示任何功能。 淺線性模型不能在訓練點附近變得恒定，同時還向不同的訓練點分配不同的輸出。當然，通用逼近定理并沒有說明訓練算法是否能夠發現具有所有所需屬性的函數。 顯然，標準的監督訓練并沒有指定所選功能可以抵抗對抗性示例，這必須以某種方式編碼在訓練過程中。Szegedy等。 （2014b）表明，通過訓練對抗性示例和干凈示例的混合物，可以使神經網絡有些正規化。 有關對抗性示例的培訓與其他數據增強方案有所不同； 通常，人們會使用轉換（例如預期在測試集中實際發生的轉換）來擴充數據。 相反，這種形式的數據增強使用了不太可能自然發生的輸入，但以模型概念化其決策功能的方式暴露了缺陷。 當時，從未證明此程序可以改進以達到最新基準水平。 但是，這部分是因為很難對基于L-BFGS的昂貴的對抗性示例進行廣泛的實驗。 我們發現基于快速梯度符號法的對抗目標函數訓練
是有效的調節器：
在我們所有的實驗中，我們使用α= 0.5。 其他值可能會更好。 我們對這個超參數的最初猜測足夠好，以至于我們不需要探索更多內容。 這種方法意味著我們會不斷更新我們提供的對抗性示例，以使它們抵制當前模型版本。 使用這種方法來訓練也通過dropout進行正規化的maxout網絡，我們能夠將錯誤率從沒有對抗訓練的0.94％降低到具有對抗訓練的0.84％。
我們觀察到在訓練集上的對抗示例中我們沒有達到零錯誤率。我們通過進行兩次更改來解決此問題。首先，我們使模型更大，每層使用1600個單位，而不是原來的maxout網絡使用240個單位解決此問題。如果沒有對抗訓練，這會使模型略微過擬合，并且在測試集上的錯誤率將達到1.14％。通過對抗訓練，我們發現驗證集的誤差會隨著時間的流逝而趨于平穩，并且進展非常緩慢。最初的maxout結果使用了早期停止，并在100個紀元內未降低驗證設置的錯誤率后終止學習。我們發現，盡管驗證集錯誤非常平坦，但對抗驗證集錯誤卻并非如此。因此，我們在對抗性驗證集錯誤上使用了提前停止。使用此標準來選擇要訓練的時期數，然后我們對所有60,000個示例進行了再訓練。使用不同的種子進行五次不同的訓練對于用于選擇訓練樣本的最小批處理，初始化模型權重并生成丟失掩碼的隨機數生成器，將導致四項試驗的每個錯誤在測試集上的錯誤率為0.77％，而另一項試驗的錯誤率為0.83％。平均值0.782％是在MNIST的排列不變版本上報告的最佳結果，盡管與通過微調帶遺漏的DBM所獲得的結果（Srivastava等人，2014）在統計上沒有區別（Srivastava等，2014）。
該模型還變得有點對抗性的例子。回想一下，在沒有對抗訓練的情況下，基于快速梯度符號法的同類示例中，這種模型的錯誤率為89.4％。經過對抗訓練，錯誤率降至17.9％。對抗性示例可在兩個模型之間轉移，但對抗性訓練的模型顯示出更高的魯棒性。通過原始模型生成的對抗示例在對抗訓練模型上的錯誤率為19.6％，而通過新模型生成的對抗示例在原始模型上的錯誤率為40.9％。當經過對抗訓練的模型確實對一個對抗示例進行了錯誤分類時，不幸的是，其預測仍然非常有信心。錯誤分類示例的平均置信度為81.4％。我們還發現，學習模型的權重發生了顯著變化，而經過對抗訓練的模型的權重明顯更具局限性和可解釋性（見圖3）。當數據受到對手的干擾時，對抗訓練過程可以看作是使最壞情況的錯誤最小化。 這可以解釋為學會玩對抗游戲，也可以解釋為將帶有的噪聲添加到輸入中的帶噪樣本的預期成本的上限最小化。 對抗訓練也可以看作是主動學習的一種形式，其中模型能夠請求新點的標簽。 在這種情況下，人類標簽器將替換為從附近點復制標簽的啟發式標簽器。
我們還可以通過對max范數框內的所有點進行訓練，或對該框內的許多點進行采樣，來對模型進行正則化，使其對小于A精度的特征變化不敏感。 這相當于在訓練期間以最大范數添加噪聲。 但是，均值為零且協方差為零的噪聲在防止對抗性示例方面非常低效。 任何參考矢量和此類噪聲矢量之間的預期點積為零。 這意味著在許多情況下，噪聲基本上不會產生任何影響，而只會產生更困難的輸入。
圖3：在MNIST上訓練的maxout網絡的權重可視化。 每行顯示單個maxout單位的過濾器。 左）天真的訓練模型。 右）經過對抗訓練的模型。
實際上，在許多情況下，噪聲實際上會導致較低的目標函數值。 我們可以將對抗訓練視為在一組嘈雜的輸入中進行艱苦的示例挖掘，以便僅考慮那些強烈抵抗分類的嘈雜點來更有效地進行訓練。 作為控制實驗，我們訓練了基于隨機添加的噪聲對maxout網絡進行訓練每個像素±，或者向每個像素添加中的噪聲。 在快速梯度符號對抗性示例中，它們分別獲得86.2％的錯誤率和97.3％的置信度，以及90.4％的置信度為97.8％的置信度。
由于符號函數的導數在任何地方都為零或未定義，因此基于快速梯度符號方法的對抗目標函數的梯度下降無法使模型預測對手對參數變化的反應。 如果我們取而代之的是基于小旋轉或按比例縮放的梯度的對抗性示例，則擾動過程本身是可區分的，學習可以將對手的反應考慮在內。 但是，我們發現此過程的正則化結果幾乎沒有強大的功能，也許是因為這些
各種對抗性例子并不難解決。
一個自然的問題是，擾動輸入層或隱藏層或同時擾動兩者是否更好。這里的結果不一致。 Szegedy等。 （2014b）報道，對抗性擾動在應用于隱藏層時產生最佳正則化。該結果是在S型網絡上獲得的。在我們使用快速梯度符號方法的實驗中，我們發現具有隱藏單元的激活不受限制的網絡只是通過使其隱藏單元的激活非常大來做出響應，因此通常最好只干擾原始輸入。 Rust模型我們發現輸入的擾動與隱藏層的擾動相當。基于旋轉隱藏層的擾動解決了無限激活增加的問題，從而使相加擾動相對較小。我們能夠成功地利用隱藏層的旋轉擾動來訓練maxout網絡。但是，這沒有產生與輸入層的附加擾動幾乎一樣強的正則化效果。我們對對抗性訓練的看法是，只有在模型具有學習抵抗對抗性例子的能力時，它才明顯有用。僅當應用通用逼近定理時，情況才很明顯。由于神經網絡的最后一層，即線性乙狀結腸或線性softmax層，并不是最終隱藏層功能的通用逼近器，因此這表明在將對抗性擾動應用于最終層時，很可能會遇到擬合不足的問題隱藏層。我們確實發現了這種效果。使用隱藏層擾動進行訓練的最佳結果從未涉及最終隱藏層的擾動。
7.不同模型的容量
對抗性示例的存在似乎違反直覺的原因之一是，我們大多數人對高維空間的直覺都很差。 我們生活在三個維度中，因此我們不習慣數百個維度中的小效果加起來創建大效果。 我們的直覺還為我們服務不好，這是另一種方式。 許多人認為容量低的模型無法做出許多不同的自信預測。 這是不正確的。 一些低容量的模型確實表現出這種現象。 例如，淺RBF網絡具有
只能自信地預測到正值類別在μ附近。 在其他地方，它們默認不預測班級，或者缺乏低信度的預測，RBF網絡天生就不受對抗示例的影響，從某種意義上說，它們被欺騙時信心不足。使用快速梯度符號法生成的對抗性示例（A = .25），沒有隱藏層的淺RBF網絡在MNIST上的錯誤率達到55.4％。但是，它對錯誤示例的信心僅為1.2％。它對干凈測試示例的平均置信度為60.6％。我們不能期望具有如此低容量的模型能夠在所有空間點上都能獲得正確的答案，但是它可以通過大幅降低其對“無法理解”的點的置信度來做出正確的響應。不幸的是，RBF單位不會對任何重大轉換保持不變，因此它們不能很好地概括。我們可以將線性單位和RBF單位視為精確調用折衷曲線上的不同點。線性單元通過在特定方向上響應每個輸入來實現較高的查全率，但由于在不熟悉的情況下響應過強而導致精度較低。 RBF單元僅通過響應特定的空間點即可達到高精度，但這樣做會犧牲召回率。受這一想法的啟發，我們決定探索各種涉及二次單元的模型，包括深RBF網絡。我們發現這是一項艱巨的任務-當使用SGD訓練時，具有足夠二次抑制能力來抵抗對抗性擾動的每個模型都將獲得很高的訓練集誤差。
8.為什么對抗性示例會通用化
對抗性示例的一個有趣的方面是，即使一個模型生成的示例具有不同的體系結構或在不相交的訓練集上進行了訓練，但針對一個模型生成的示例經常會被其他模型誤分類。 此外，當這些不同的模型對一個對抗性示例進行錯誤分類時，它們通常在類別上彼此一致。 基于極端非線性和過度擬合的解釋不能輕易地解釋這種現象-為什么要建立多個極端非線性模型
容量過大是否始終以相同的方式標記出分布點？ 從以下假設來看，這種行為尤其令人驚訝：對抗性示例像現實中的有理數一樣精細地平鋪空間，因為在這種觀點中，對抗性示例很常見，但僅在非常精確的位置發生。
在線性視圖下，對抗性示例出現在較寬的子空間中。 方向η只需具有帶成本函數梯度的正點積，而Aneed僅足夠大即可。 圖4展示了這種現象。 通過找出不同的A值，我們可以看到對抗性示例出現在由快速梯度符號方法定義的1-D子空間的連續區域中，而不是在細小口袋中。 這就解釋了為什么對抗性例子很多，為什么一個分類器分類錯誤的示例具有較高的先驗概率被另一個分類器分類錯誤。
為了解釋為什么多個分類器將相同類別分配給對抗性示例，我們假設使用當前方法訓練的神經網絡都類似于在同一訓練集上學習的線性分類器。 當在訓練集的不同子集上訓練時，該參考分類器能夠學習大約相同的分類權重，這僅僅是因為機器學習算法能夠概括。 基礎分類權重的穩定性反過來又導致對抗示例的穩定性。為了檢驗該假設，我們在深maxout網絡上生成了對抗性示例，并使用淺softmax網絡和淺RBF網絡對這些示例進行了分類。在被maxout網絡錯誤分類的示例中，RBF網絡預測maxout網絡的類別分配僅占16.0％的時間，而softmax分類器正確預測maxout網絡的類別占54.6％的時間。這些數字很大程度上是由不同模型的不同錯誤率驅動的。如果我們將注意力排除在兩個模型都出錯的情況下，則softmax回歸預測maxout的類別的時間為84.6％，而RBF網絡只能預測maxout的類別的時間為54.3％。相比之下，RBF網絡可以預測53.6％的時間的softmax回歸，因此它的行為本身具有很強的線性成分。我們的假設無法解釋maxout網絡的所有錯誤或跨模型泛化的所有錯誤，但顯然其中很大一部分與線性行為一致，線性行為是跨模型泛化的主要原因。
9.替代假設
現在，我們考慮并反駁了對抗性示例存在的一些替代假設。首先，一個假設是，生成訓練可以對訓練過程提供更多約束，或者使模型學習從“假”數據中區分“真實”數據和僅對“真實”數據充滿信心。 MP-DBM（Goodfellow等人，2013a）提供了一個很好的模型來檢驗這一假設。它的推理過程在MNIST上具有良好的分類精度（錯誤率0.88％）。該推斷過程是可區分的。其他生成模型具有不可微分的推理程序，這使得計算對抗性示例變得更加困難，或者需要其他非生成性鑒別器模型才能在MNIST上獲得良好的分類精度。對于MP-DBM，我們可以確定生成模型本身是在對付對抗性示例，而不是最上面的非生成分類器模型。我們發現該模型容易受到對抗性例子的攻擊。當anA為0.25時，我們發現從MNIST測試集生成的對抗性示例中的錯誤率為97.5％。生成訓練的其他形式仍然有可能賦予抵抗力，但顯然，僅產生生成這一事實并不足夠。
圖4：通過找出不同的A值，我們可以看到，只要我們沿正確的方向運動，幾乎所有足夠大的A值都會可靠地出現對抗示例。正確的分類僅在數據中出現x的細歧管上發生。 R n的大部分由對抗性示例和垃圾分類示例組成（請參閱附錄）。該地塊是由未經培訓的maxout網絡制作的。左圖）顯示了10個MNIST類中每個類的softmax層自變量的圖，因為我們在單個輸入示例中改變了A。正確的類別是4。我們看到，每個類別的未歸一化對數概率與A明顯呈分段線性關系，并且錯誤的分類在A值的較大范圍內都是穩定的。此外，隨著我??們增加A足以進入垃圾投入體系，這種預測變得非常極端。右）用于生成曲線的輸入（左上方=負A，右下方=正A，黃色框表示正確分類的輸入）。
關于為何存在對抗性示例的另一個假設是，單個模型具有奇怪的怪癖，但是對許多模型求平均會導致對抗性示例被淘汰。 為了驗證該假設，我們在MNIST上訓練了12個maxout網絡的集合。 每個網絡都使用不同的種子進行訓練，以用于隨機數生成器，該生成器用于初始化權重，生成丟失掩碼以及選擇數據的最小批以進行隨機梯度下降。 在旨在干擾A = .25的整個集成的對抗示例中，該集成的錯誤率為91.1％。 如果我們改為使用僅干擾一組成員的對抗性示例，則錯誤率降至87.9％。 集合僅提供有限的抵抗對抗性干擾的能力。
10.總結與討論
作為總結，本文提出了以下觀察意見：
?對抗性示例可以解釋為高維點積的屬性。它們是模型過于線性而不是非線性的結果。
?跨不同模型的對抗性示例的概括可以解釋為對抗性攝動的結果與模型的權重向量高度一致，并且不同的模型在訓練以執行相同任務時會學習相似的功能。
?擾動的方向而不是空間中的特定點最為重要。 空間中沒有充滿對抗性實例的口袋，這些對抗性實例像有理數一樣精確地貼圖了實數。
?因為這是最重要的方向，所以對抗性擾動會在不同的干凈示例中普遍存在。
我們介紹了一系列用于生成對抗性示例的快速方法。
?我們已經證明對抗訓練可以導致正規化；比輟學更正規化。
?我們進行的控制實驗無法以簡單但較少的方式重現此效果包括L1權重衰減和增加噪聲在內的高效正則器
?易于優化的模型容易受到干擾。
?線性模型缺乏抵抗對抗性擾動的能力；僅應訓練具有隱藏層的結構（適用通用逼近定理），以抵抗對抗性擾動。
?RBF網絡可以抵抗對抗性的例子。
?受過訓練以模擬輸入分布的模型不能抵抗對抗性示例。
?合奏不能抵抗對抗性的例子。附錄中提供了有關垃圾分類示例的其他一些觀察結果：
?垃圾分類的例子無處不在，很容易產生。
?淺線性模型不能抵抗垃圾分類示例。
?RBF網絡可以抵抗垃圾分類的示例。
基于梯度的優化是現代AI的主力軍。使用設計為足夠線性的網絡-無論是ReLU或maxout網絡，LSTM還是經過精心配置的Sigmoid網絡，都不會過飽和-我們能夠解決我們關心的大多數問題，至少在訓練上對抗性示例的存在表明，能夠解釋訓練數據，甚至能夠正確標記測試數據并不意味著我們的模型真正理解了我們要求他們執行的任務。取而代之的是，它們的線性響應對數據分布中未出現的點過于自信，而這些自信的預測通常是高度錯誤的。這項工作表明，我們可以通過明確識別有問題的點并在每個點處校正模型來部分糾正此問題。但是，可能還會得出一個結論，即我們使用的模型族本質上存在缺陷。易于優化的代價是容易被誤導的模型。這激勵了優化程序的發展，該優化程序能夠訓練行為在局部更穩定的模型。
?
總結
- 上一篇： 小波分析及相应MATLAB实现
- 下一篇： 怎么用计算机撩人,如何用你的专业“撩人”