OvO與OvR

前文書道，邏輯回歸只能解決二分類問題，不過，可以對其進行改進，使其同樣可以用于多分類問題，其改造方式可以對多種算法（幾乎全部二分類算法）進行改造，其有兩種，簡寫為OvO與OvR

OvR

one vs rest，即一對剩余所有，如字面意思，有的時候稱為OvA，one vs all

假設有四個類別，對于這種分類問題，可以將一個類別選中以后，使其他三個類別合并為一個類別，即其它類別，這樣就換變為二分類問題了，這種可以形成四種情況，選擇預測概率高的，也就是說，有n個類別就進行n次分類，然后選擇分類得分最高的，這樣復雜度會上升很多，時間消耗會增加

OvO

one vs one，即一對一，就是進行一對一的比較

假設有四個類別，每個類別只用一個點表示，每次只挑出兩個類別，然后進行二分類任務，四個任務可以形成六個情況，即排列組合的C的計算，然后看，對于這六個類別中，那個最好，即n個類別就進行C（n，2）次分類，選擇贏數最高的分類結果，很顯然，時間消耗的更多，但是分類結果更準

具體實現

（在notebook中）

使用鳶尾花的數據集，先只使用部分數據（兩個維度），設置好以后，將數據集進行分割

  import numpy as np
  import matplotlib.pyplot as plt
  from sklearn import datasets

  iris = datasets.load_iris()
  X = iris.data[:,:2]
  y = iris.target

  from sklearn.model_selection import train_test_split

  X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)

使用sklearn中的邏輯回歸，使用ovr方式，因為ovo是默認情況，要使用ovr的話，需要設置multi_class為ovr，然后設置solver為liblinear

  from sklearn.linear_model import LogisticRegression
  #ovo是默認了
  log_reg = LogisticRegression(multi_class='ovr',solver='liblinear')
  log_reg.fit(X_train,y_train)

測試數據集的預測結果為

繪制函數：

  from matplotlib.colors import ListedColormap
  def plot_decision_boundary(model, axis):

      x0,x1 = np.meshgrid(  
          np.linspace(axis[0],axis[1],int((axis[1]-axis[0])*100)).reshape(-1,1),
          np.linspace(axis[2],axis[3],int((axis[3]-axis[2])*100)).reshape(-1,1)
      )
      X_new = np.c_[x0.ravel(),x1.ravel()]
      y_predict = model.predict(X_new)
      zz = y_predict.reshape(x0.shape)
      custom_cmap = ListedColormap(['#EF9A9A', '#FFF59D', '#90CAF9'])

      plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

繪制決策邊界

  plot_decision_boundary(log_reg,axis=[4,8.5,1.5,4.5])
  plt.scatter(X[y==0,0],X[y==0,1])
  plt.scatter(X[y==1,0],X[y==1,1])
  plt.scatter(X[y==2,0],X[y==2,1])

圖像為

使用ovo的方法，可以將multi_class設置為multinomial，再設置solver為newton-cg，也可以默認，不用設置也可以

  log_reg2 = LogisticRegression(multi_class="multinomial",solver="newton-cg")
  log_reg2.fit(X_train,y_train)

訓練數據集的預測結果為

繪制決策邊界

  plot_decision_boundary(log_reg2,axis=[4,8.5,1.5,4.5])
  plt.scatter(X[y==0,0],X[y==0,1])
  plt.scatter(X[y==1,0],X[y==1,1])
  plt.scatter(X[y==2,0],X[y==2,1])

圖像為

使用全部數據，重新進行數據集分割，首先是使用ovr的方法

  X = iris.data
  y = iris.target

  X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)

  log_reg = LogisticRegression(multi_class='ovr',solver='liblinear')
  log_reg.fit(X_train,y_train)
  log_reg.score(X_test,y_test)

此時輸出的結果為

然后是使用ovo的方法

  log_reg2 = LogisticRegression(multi_class="multinomial",solver="newton-cg")
  log_reg2.fit(X_train,y_train)
  log_reg2.score(X_test,y_test)

輸出結果為

使用sklearn中的ovr

使用和前面的一樣

  from sklearn.multiclass import OneVsRestClassifier

  ovr = OneVsRestClassifier(log_reg)
  ovr.fit(X_train,y_train)
  ovr.score(X_test,y_test)

輸出結果為

使用sklearn中的ovo

  from sklearn.multiclass import OneVsOneClassifier

  ovo = OneVsOneClassifier(log_reg)
  ovo.fit(X_train,y_train)
  ovo.score(X_test,y_test)

輸出結果為

以上就是OvO與OvR

總結

以上是生活随笔為你收集整理的【笔记】二分类算法解决多分类问题之OvO与OvR的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。