文章目錄

• 分類和回歸的關系：
• 多分類問題處理的普適的方法：
• • 一對多(One VS Rest):
  • 一對一（One vs One):
  • 有向無環圖方法（Directed Acyclic Graph Method）
• 支持向量機回歸（SVR):
• • SVR優化目標：
  • SVM 優化目標：

分類和回歸的關系：

SVM二分類，SVM多分類，SVM回歸（SVR)：這三個分類類別是從少到多，從離散到連續的過程。

多分類問題處理的普適的方法：

一對多(One VS Rest):

對于一個 K 類問題、OvR 將訓練 K 個二分類模型{G1,…,GK}，每個模型將訓練集中的某一類的樣本作為正樣本、其余類的樣本作為負樣本。
預測結果$y_{pred}=argmax{G}_i(x)$。
這種方法比較“豪放”、主要是因為對每個模型的訓練都存在比較嚴重的偏差：正樣本集和負樣本集的樣本數之比在原始訓練集均勻的情況下將會是1/（K?1）。針對該缺陷、一種比較常見的做法是只抽取負樣本集中的一部分來進行訓練。

一對一（One vs One):

對于一個 K 類問題、OvO 將直接訓練出K(K?1)2個二分類模型{G12,…,G1K,G23,…,G2K,…,GK?1,K}，每個模型都只從訓練集中接受兩個類的樣本來進行訓練。在K(K?1)2次投票中得票最多的類即為模型所預測的結果。
OvO 是一個相當不錯的方法、沒有類似于 OvR 中“有偏”的問題。然而它也是有一個顯而易見的缺點的——由于模型的量級是K^2、所以它的時間開銷會相當大。

有向無環圖方法（Directed Acyclic Graph Method）

DAG 會將K(K?1)/2個模型作為一個有向無環圖中的K(K?1)/2節點并逐步進行決策，大概如下圖：

支持向量機回歸（SVR):

支持向量回歸常簡稱為 SVR，它的基本思想與“軟”間隔的思想類似——傳統的回歸模型通常只有在模型預測值f(x)和真值y完全一致時損失函數的值才為 0（最經典的就是當損失函數為∥f(x)?y∥^2的情形），而 SVR 則允許f(x)和y之間有一個?的誤差、亦即僅當:
|f(x)?y|>?, 對于分類問題、只有當樣本點離分界面足夠遠時才不計損失；對于回歸問題、則只有當真值離預測值足夠遠時才計損失。

SVR優化目標：

SVM 優化目標：

約束條件為：

總結

以上是生活随笔為你收集整理的机器学习：SVM多分类，SVM回归（SVR)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。