前言

晚上逛微博看到的，順便拿過來翻譯一下，做做筆記

國際慣例，來個原文鏈接：

原文地址：Why is gradient descent robust to non-linearly separable data?

PDF拷貝：http://download.csdn.net/detail/zb1165048017/9678128

譯文

聲明：梯度下降法本身對于非線性可分數據是不具健壯性的。但是使用了合適的非線性激活函數以后便可以了。

原因在于核函數的技巧。在核函數方法中，我們對數據做一個非線性變換，因為結果數據是線性可分的。如圖所示，對于藍色和紅色點的分類任務，它們不是線性可分的。但是如果我們使用第三個變量(z=x2+y2)以后會如何呢？我們可以在藍色和紅色點之間畫一個平面，分離這兩類點。這恰恰就是神經網絡做的事情。

神經網絡學習可以被看成兩部分的處理，它們學習的是數據的一種非線性變換，以及基于這種變換的數據分類。考慮只有一層的神經網絡，網絡輸出(忽略偏置項)是Y=Wφ(Vx)，其中φ是非線性函數。目前神經網絡所需做的事情就是將非線性變換通過φ(Vx)施加于x，然后再轉換過的數據上執行現行分類任務。因此通過梯度下降算法學習是兩個部分的過程。第一部分，學習最優化核或者函數(通過V)；第二部分使用線性方法分類變換過的數據。這在Andrej Karpathy的主頁中也闡釋過。這里有一個鏈接可視化一個模型，去觀察神經網絡是如何應用核方法以及實施隨后的分類任務，點這里就是鏈接。

下圖展示了網站中神經網絡應用核方法其中的一張：

總結

以上是生活随笔為你收集整理的为什么梯度下降法对于非线性可分数据有效的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。