SMO（Sequential minimal optimization）

引子

前面章節中，我們使用了核函數的軟間隔支持向量機的優化模型為：
$$\underset{a}{\max }\sum _{i=1}^m{a}^{(i)}?\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}^{(i)}{a}^{(j)}{y}^{(i)}{y}^{(j)}\kappa (x^{(i)},x^{(j)})$$$$s.t.\sum _{i=1}^m{a}^{(i)}{y}^{(i)}=0,$$$$0\le {\alpha }^{(i)}\le C,i=1,2,3,...,m\text{\hspace{1em}(1)}$$

式 (1) 需要滿足的 KKT 條件為：
$$a^{(i)}=0?y^{(i)}f(x^{(i)})\ge 1,$$$$0\le {\alpha }^{(i)}\le C?f(x^{(i)})=1$$$${\alpha }^{(i)}=C?y^{(i)}f(x^{(i)})\le 1\text{\hspace{1em}(2)}$$

在 SMO（序列最小化）方法出現之前，人們依賴于二次規劃求解工具來解決上述的優化問題，訓練 SVM。這些工具需要具有強大計算能力的計算機進行支撐，實現也比較復雜。1998 年，微軟研究院的 John Platt 提出了 SMO 算法將優化問題分解為容易求解的若干小的優化問題，來訓練 SVM。簡言之，SMO 僅關注 $alpha$ 對 和 偏置 $b$ 的求解更新，進而求解出權值向量 $w$ ，得到決策邊界（分割超平面），從而大大減少了運算復雜度。

算法介紹

SMO 會選擇一對 ${\alpha }^{(i)}$ 及 ${\alpha }^{(j)}$ ，并固定住其他參數，即將其他參數認為是常數，則式 （1）中的約束條件就可寫為：

$$a^{(i)}{y}^{(i)}+a^{(j)}{y}^{(j)}=k$$$$0\le {\alpha }^{(i)}\le C$$$$0\le {\alpha }^{(j)}\le C\text{\hspace{1em}(3)}$$

其中：
$$k=?\sum _{k=i,j}{a}^{(k)}{y}^{(k)}\text{\hspace{1em}(4)}$$

那么，式 (1) 的優化問題可以推導：
$$\underset{\{a^{(i)}{a}^{(j)}\}}{\max }(a^{(i)}+a^{(j)})?[\frac{1}{2}{K}_{ii}(a^{(i)}{)}^2+\frac{1}{2}{K}_{jj}(a^{(j)}{)}^2+y^{(i)}{y}^{(j)}{K}_{ij}{a}^{(i)}{a}^{(j)}]$$$$?[y^{(i)}{a}^{(i)}\sum _{k=3}^m{y}^{(k)}{a}^{(k)}{K}_{ki}+y^{(j)}{a}^{(j)}\sum _{k=3}^m{y}^{(k)}{a}^{(k)}{K}_{kj}]$$$$s.t.a^{(i)}{y}^{(i)}+a^{(j)}{y}^{(j)}=?\sum _{k=i,j}{a}^{(k)}{y}^{(k)}=k,$$$$0\le {\alpha }^{(i)}\le C,0\le {\alpha }^{(j)}\le C\text{\hspace{1em}(5)}$$

• 由 $0\le {\alpha }^{(i)}\le C,0\le {\alpha }^{(j)}\le C$ 知，${\alpha }^{(i)}$ 及 ${\alpha }^{(i)}$ 的取值需要落在正方形中。
• 由 ${\alpha }^{(i)}{y}^{(i)}+{\alpha }^{(j)}{y}^{(j)}=k$ 知，${\alpha }^{(i)}$ 及 ${\alpha }^{(j)}$ 的取值需要落在正方形中取值還需要落到圖示的斜線段上。

假設我們放縮了 ${\alpha }^{(i)}$ 的取值：
$$L\le {\alpha }^{(i)}\le H\text{\hspace{1em}(6)}$$

我們可以確定出 ${\alpha }^{(i)}$ 的上下界為：

• $y^{(i)}=y^{(j)}$ 時：
  $$L=\max (0,{\alpha }^{(j)}?{\alpha }^{(i)}),H=\min (C,C+{\alpha }^{(j)}?{\alpha }^{(i)})\text{\hspace{1em}(7)}$$

• $y^{(i)}=y^{(j)}$ 時：
  $$L=\max (0,{\alpha }^{(j)}+{\alpha }^{(i)}?C),H=\min (C,{\alpha }^{(j)}+{\alpha }^{(i)})\text{\hspace{1em}(8)}$$

我們將優化函數定義為：
$$\Psi =({\alpha }^{(j)}+{\alpha }^{(i)})?[\frac{1}{2}{K}_{ii}(a^{(i)}{)}^2+\frac{1}{2}{K}_{jj}(a^{(j)}{)}^2+y^{(i)}{y}^{(j)}{K}_{ij}{a}^{(i)}{a}^{(j)}]\text{\hspace{1em}(9)}$$

由于 ${\alpha }^{(i)}$ 與 ${\alpha }^{(j)}$ 有線性關系，所以式 (9) 可以消去 ${\alpha }^{(i)}$ ，進而令 $\Psi$ 對 ${\alpha }^j$ 求二階導，并令二階導為 0 可得（中間過程省略）：
$$a^{(jnew)}=(2K_{ij}?K_{ii}?K_{jj})=a^{(jold)}(2K_{ij}?K_{ii}?K_{jj})?y^{(i)}(E^{(i)}?E^{(j)})\text{\hspace{1em}(10)}$$

其中：
$$E^{(i)}=f(x^{(i)})?y^{(i)}\text{\hspace{1em}(11)}$$

令：
$$\eta =2K_{ij}?K_{ii}?K_{jj}\text{\hspace{1em}(12)}$$

式 (10) 兩邊除以 $\eta$ 就得 ${\alpha }^{(j)}$ 的更新式：
$$a^{(jnew)}=a^{(jold)}?\frac{y^{(i)}(E^{(i)}?E^{(j)})}{\eta }\text{\hspace{1em}(13)}$$

但是，更新還要考慮上下界截斷：
$$a^{(jnewclipped)}=?\begin{array}{l}H,if{a}^{(jnew)}\ge H\\ a^{(jnew)},ifL<a^{(jnew)}<H\\ L,if{a}^{(jnew)}\le L\end{array}\text{\hspace{1em}(14)}$$

從而得到 ${\alpha }^{(i)}$ 的更新：
$$a^{(inew)}=a^{(iold)}+y^{(i)}{y}^{(j)}(a^{(jold)}?a^{(jnewclipped)})\text{\hspace{1em}(15)}$$

令：
$$b_1=b^{old}?E^{(i)}?y^{(i)}{K}_{ii}(a^{(inew)}?a^{(iold)})?y^{(j)}{K}_{ij}(a^{(jnewclipped)}?a^{(jold)})$$$$b_2=b^{old}?E^{(j)}?y^{(i)}{K}_{ij}(a^{(inew)}?a^{(iold)})?y^{(j)}{K}_{jj}(a^{(jnewclipped)}?a^{(jold)})\text{\hspace{1em}(16)}$$

則 $b$ 的更新為：
$$b^{(new)}=?\begin{array}{l}{b}_1,if0<a^{(inew)}<C\\ b_2,if0<a^{(jnewclipped)}<C\\ \frac{b_1+b_2}{2},otherwise\end{array}\text{\hspace{1em}(14)}$$

啟發式選擇

根據 Osuna 提出的理論，如果兩個拉格朗日乘子其中之一違背了 KKT 條件，此時，每一次乘子對的選擇，都能使得優化目標函數減小。

• 若 ${\alpha }^{(i)}=0$ ，可知樣本 $x^{(i)}$ 不會對模型 $f(x)$ 產生影響。
• 若 ${\alpha }^{(i)}=C$ ，樣本 $x^{(i)}$ 不會是支持向量。
• 若 $0<{\alpha }^{(i)}<C$ ，則 ${\alpha }^{(i)}$ 沒有落在邊界上，當下式滿足時， ${\alpha }^{(i)}$ 會違反 KKT 條件：
  $${\alpha }^{(i)}<Cand{y}^{(i)}f(x^{(i)})?1<0$$$${\alpha }^{(i)}>0and{y}^{(i)}f(x^{(i)})?1>0\text{\hspace{1em}(18)}$$

通常，式 (18) 過于嚴苛，因此考慮設置一個容忍區間 $[?\tau ,\tau ]$ ，并考慮令:
$$R^{(i)}=y^{(i)}{E}^{(i)}=y^{(i)}(f(x^{(i)})?y^{(i)})=y^{(i)}f(x^{(i)})?1\text{\hspace{1em}(19)}$$

可以將違反 KKT 條件的表達式寫為：
$${\alpha }^{(i)}<Cand{R}^{(i)}<?\tau$$$${\alpha }^{(i)}>0and{R}^{(i)}>\tau \text{\hspace{1em}(20)}$$

SMO 以編程的眼光，將啟發式選擇 $({\alpha }^{(i)},{\alpha }^{(j)})$ 描述為了兩層循環：

• 外層循環：外層循環中，如果當前沒有 $alpha$ 對 的變化，意味著所有 $alph{a}^{(i)}$ 都遵從了 KKT 條件，需要在整個樣本集進行迭代；否則，只需要選擇在處在邊界內（即 $0<{\alpha }^{(i)}<C$ ）、并且違反了 KKT 條件（即滿足了式 (20) ）的 ${\alpha }^{(i)}$ 。
• 內層循環：選出使得 $|E^{(i)}?E^{(j)}|$ 達到最大的 $alph{a}^{(j)}$ 。

算法流程

綜上，我們可以概括出 SMO 的算法流程：

在整個訓練集或者非邊界樣本中選擇違反了 KKT 條件的 ${\alpha }^{(i)}$ 。

在剩下的 $\alpha$ 中，選擇 $|E^{(i)}?E^{(j)}|$ 達到最大的 $alph{a}^{(j)}$ 。

重復以上過程直到達到收斂精度或最大迭代次數。

參考資料

• Platt, John (1998), Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines
• Wiki-SMO
• 支持向量機通俗導論（理解 SVM 的三層境界）
• 《機器學習實戰》
• 《機器學習》
• Sequential Minimal Optimization for SVM

總結

以上是生活随笔為你收集整理的5.6 SMO-机器学习笔记-斯坦福吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。