此博客停止更新遷移至SnailDove's Blog，查看本文點擊此處

PLA(Perception Learning Algorithm) 適用于二維及高維的線性可劃分問題。問題的答案只有同意或者不同意。

例子

銀行可以根據顧客的個人信息來判斷是否給顧客發放信用卡。將顧客抽象為一個向量，包括姓名、年齡、年收入、負債數等。同時設定各個屬性所占的權重向量為，對于正相關的屬性設置相對較高的權重，如年收入，對于負相關的屬性設置較低的權重，如負債數。表示是否想該用戶發放了信用卡。通過求和的內積減去一個閥值threshold，若為正則同意發放信用卡，否則不發放信用卡。我們假設存在著一個從到的映射，PLA算法就是用來模擬這個映射，使得求出的函數與盡可能的相似，起碼在已知的數據集(即樣本上)上一致。

PLA算法即用來求向量，使得在已知的數據中機器做出的判斷與現實數據相同。當為二維向量時，相當于在平面上畫出一條直線將所有的點分成兩部分，一部分同意發送，另一部分的不同意。內積可以表示成：

其中，

的值域：，，(?表示樣本中的值，用于輸入到算法進行調整)

結合文中例子：?表示在給定的樣本數據中，給該用戶發放了信用卡，表示未發放。

PLA先假定為向量，然后找到一個不滿足條件的點，調整的值，依次進行迭代所有樣本數據使得最終可以將兩部分完全分開。

W的調整方案

錯誤驅動調整

解釋一下ppt的內容，出現錯誤分2種情況：

在給定的已知數據中向該用戶發放了數據，即樣本中第個數據為，但算法給出的結果是不發放（），說明兩個向量的內積為負，需要調整向量使得兩條向量更接近，此時令調整系數為樣本的，則調整后的，的下標表示調整的次數，示意圖:

在給定的已知數據中向該用戶發放了數據，即樣本中第個數據為，但算法給出的結果是不發放（），說明兩個向量的內積為正，需要調整向量使得兩條向量更遠離，此時令調整系數為樣本的，則調整后的，示意圖:

注意：2種不同情況的調整的表達式都一樣

對于線性可分的數據集，PLA算法是可收斂的

兩個向量的內積增大說明：

兩個向量夾角越小

或者向量的長度增大

老師的ppt上??其中，的值域?

因此?

這說明每次調整后，向量的長度增加有限。不妨

帶入上一公式得到：

因此最終是收斂的，到此已經證明了PLA算法最終可以停止。

算法需要調整的次數

由上述過程可以得到以下兩個不等式：

那么來看這個式子：

再根據余弦值最大為1，可以得到，于是我們得到調整次數：.

PLA的優缺點

一方面，我事先肯定不知道，另一方面為了應對可能出現的噪聲。那么怎么衡量當前得到的直線能夠滿足要求呢？我們只能在每一步的時候都判斷一下，調整后的是否比上一次的能夠線性可分更多的數據，于是有了下面的改進算法Pocket PLA，PocketPLA比PLA在調整的時候多做一步：判斷當前改正犯的錯是否比之前更小，也就是貪心選擇。

Pocket PLA

參考

HappyAngel

DreamerMonkey

ppt全部來自臺大《機器學習基石》課堂

總結

以上是生活随笔為你收集整理的PLA算法总结及其证明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。