文章目錄

• SVM目標函數
• • SVM目標函數推導
  • • 函數間隔：
    • 幾何間隔：
• 軟間隔、松弛
• • HingeLoss和軟間隔
  • 隨機梯度下降算法
  • 線性SVM的算法描述：
  • 線性SVM算法實現：

SVM目標函數

SVM目標函數推導

函數間隔：

幾何間隔：

SVM 算法就可以比較自然地敘述為：最大化（幾何間隔）d、使得：

不妨假設函數間隔為1，這樣就得到最開始的優化目標方程。
約束條件中：$y_i(w.x+b)?1>=0$，那個“1”就是函數間隔，注意這里的目標是關注的是間隔，$y_i(w.x+b)?1=0$就是間隔直線上的點。

軟間隔、松弛

在數學上就是做了如下操作：

${\xi }_i$就是松弛變量，可以把函數間隔變量化，但是變化可以控制，如何控制了，使用懲罰因子來控制函數間隔。

約束條件為：

從常識來看這個優化問題的解存在，w的解唯一，但是b的解不唯一，也就是解是一組平行線

HingeLoss和軟間隔

上述目標函數約束條件${\xi }_i$>=0，也就是函數間隔為1-${\xi }_i$，當${\xi }_i$<0時，函數間隔就為1，當${\xi }_i$>0時，函數間隔就為1-${\xi }_i$，等價為如下函數：

對應的目標函數為：

實際上我們一般見到的hingeLoss的目標函數是：

令$\lambda$ = 1\2C，他們二者是等價的。
Hinge Loss就相當于松弛因子ξ
對于間距大于一定程度的點，就沒有loss，就不用松弛。
正則化的作用相當于把分類的距離拉大。

隨機梯度下降算法

松弛因子ξ>=0轉化為Hinge Loss之后使用隨機梯度下降就比較方便了，針對單一樣本（$x_i$,$y_i$)對w,b求偏導：

線性SVM的算法描述：

首先該算法是基于hingeloss的隨機梯度下降算法，和感知機算法流程一致：遍歷樣本，找出誤差最大的樣本，也就是函數間隔比1小的最多的樣本，然后在誤差為正的樣本里面，選出誤差最大的樣本，使用這個樣本更新w和b,使用新的參數遍歷樣本，直到所有的樣本誤差為負，也就是所有的樣本函數間隔大于1。

線性SVM算法實現：

import numpy as npclass LinearSVM:def __init__(self):self._w = self._b = Nonedef fit(self, x, y, c=1, lr=0.01, epoch=10000):x, y = np.asarray(x, np.float32), np.asarray(y, np.float32)self._w = np.zeros(x.shape[1])self._b = 0.for _ in range(epoch):self._w *= 1 - lrerr = 1 - y * self.predict(x, True)idx = np.argmax(err)# 注意即使所有 x, y 都滿足 w·x + b >= 1# 由于損失里面有一個 w 的模長平方# 所以仍然不能終止訓練，只能截斷當前的梯度下降if err[idx] <= 0:continuedelta = lr * c * y[idx]self._w += delta * x[idx]self._b += deltadef predict(self, x, raw=False):x = np.asarray(x, np.float32)y_pred = x.dot(self._w) + self._bif raw:return y_predreturn np.sign(y_pred).astype(np.float32)

這種使用最大誤差樣本更新w,b的方式，是隨機梯度下降？預測一遍全部樣本找誤差最大的樣本，為什么不使用全部樣本的來更新w,b，我覺得隨機梯度就應該隨便找選擇一個樣本，使用這個樣本來更新w,b,假如有誤差就按照上述更新，沒有誤差就換一個樣本。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的机器学习：SVM、软间隔、随机梯度下降SVM线性算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。