前言

晚上逛微博看到的，順便拿過(guò)來(lái)翻譯一下，做做筆記

國(guó)際慣例，來(lái)個(gè)原文鏈接：

原文地址：Why is gradient descent robust to non-linearly separable data?

PDF拷貝：http://download.csdn.net/detail/zb1165048017/9678128

譯文

聲明：梯度下降法本身對(duì)于非線性可分?jǐn)?shù)據(jù)是不具健壯性的。但是使用了合適的非線性激活函數(shù)以后便可以了。

原因在于核函數(shù)的技巧。在核函數(shù)方法中，我們對(duì)數(shù)據(jù)做一個(gè)非線性變換，因?yàn)榻Y(jié)果數(shù)據(jù)是線性可分的。如圖所示，對(duì)于藍(lán)色和紅色點(diǎn)的分類任務(wù)，它們不是線性可分的。但是如果我們使用第三個(gè)變量(z=x2+y2)以后會(huì)如何呢？我們可以在藍(lán)色和紅色點(diǎn)之間畫一個(gè)平面，分離這兩類點(diǎn)。這恰恰就是神經(jīng)網(wǎng)絡(luò)做的事情。

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)可以被看成兩部分的處理，它們學(xué)習(xí)的是數(shù)據(jù)的一種非線性變換，以及基于這種變換的數(shù)據(jù)分類?？紤]只有一層的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)輸出(忽略偏置項(xiàng))是Y=Wφ(Vx)，其中φ是非線性函數(shù)。目前神經(jīng)網(wǎng)絡(luò)所需做的事情就是將非線性變換通過(guò)φ(Vx)施加于x，然后再轉(zhuǎn)換過(guò)的數(shù)據(jù)上執(zhí)行現(xiàn)行分類任務(wù)。因此通過(guò)梯度下降算法學(xué)習(xí)是兩個(gè)部分的過(guò)程。第一部分，學(xué)習(xí)最優(yōu)化核或者函數(shù)(通過(guò)V)；第二部分使用線性方法分類變換過(guò)的數(shù)據(jù)。這在Andrej Karpathy的主頁(yè)中也闡釋過(guò)。這里有一個(gè)鏈接可視化一個(gè)模型，去觀察神經(jīng)網(wǎng)絡(luò)是如何應(yīng)用核方法以及實(shí)施隨后的分類任務(wù)，點(diǎn)這里就是鏈接。

下圖展示了網(wǎng)站中神經(jīng)網(wǎng)絡(luò)應(yīng)用核方法其中的一張：

總結(jié)

以上是生活随笔為你收集整理的为什么梯度下降法对于非线性可分数据有效的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。