跟著李沐學AI中提到了感知機（解決二分類問題）的收斂性證明

下面就來證明一下。

教科書上的定理是? ?設訓練數據集T={(),(),···,()}是線性可分的，也就是說通過一條直線便能將兩個類別分開。如下圖所示：黑線能夠將貓和狗分開。其中,,

存在滿足條件的超平面將訓練數據集完全正確分開，且存在，對所有

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1)

假設所有數據有一個最大半徑R，則，通過公式推導可得在感知機算法在訓練數據集上的誤分類次數滿足不等式

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

公式（1）的解釋是如果網絡輸出正確，則必然成立，此時作為一個余量，則也成立。

證明過程如下：

根據感知機訓練過程可得：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

等式兩側同時乘結合公式(1)

則：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (4)

由（4）進行遞推可得

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (5)

由公式（3）還可得

又因為 如果為向量，則有

因此：

因為是最后第k次誤分類的結果，所以?和異號，所以

所以：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （6）

又因為

所以??

遞推可得? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

?由柯西不等式：

所以

公式得證，就是說最多經過次迭代即可找到完美分割的超平面。

?

總結

以上是生活随笔為你收集整理的感知机算法收敛性（Novikoff）证明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。