Logistic Regression具備算法復雜度低，容易實現等特點，常用于二分類問題。但是在多分類問題中，就顯得力不從心了。Softmax Regression 實際是Logistic Regression算法在多分類問題上的推廣。其核心在于任意兩個類直接是線性可分的。

1.?Softmax Regression 模型

假設有m個訓練樣本和k個類別標簽，描述如下：

利用θ表示學習模型的參數，對于每一個樣本，估計其所屬的類別概率為：

2. Softmax Regression損失函數與求解

類似于logistic regression回歸損失函數設計，softmax regression損失函數如下所示：

對于上面的損失函數，可以采用梯度下降算法進行求解。首先計算損失函數的梯度：

所以，參數θ的更新公式為：

3. Softmax regression和Logistic regression的關系

Softmax regression回歸器中存在FxK個待學習的參量。其中，F指特征分量的個數；K指所屬的類別數目。實際應用中，FxK未知參數矩陣存在參數冗雜的問題。證明如下：

通過上面分析，我們可以發現，從未知參量矩陣中減去向量，模型的預測結果并沒有發生改變。因此，softmax regression參數矩陣中存在冗余參數。

下面利用Soft regression推導Logistic regression.當k=2時，softmax regression算法的假設函數為：

利用softmax regression參數冗雜的特點，令△=θ1，從兩個向量中都減去這個向量：

通過上式，我們可以發現，LR就是SR的一種特例。

總結

以上是生活随笔為你收集整理的[原理篇] Soft Regression的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。