K-近鄰算法的思想如下：首先，計(jì)算新樣本與訓(xùn)練樣本之間的距離，找到距離最近的K 個(gè)鄰居；然后，根據(jù)這些鄰居所屬的類別來判定新樣本的類別，如果它們都屬于同一個(gè)類別，那么新樣本也屬于這個(gè)類；否則，對每個(gè)后選類別進(jìn)行評(píng)分，按照某種規(guī)則確定新樣本的類別。（統(tǒng)計(jì)出現(xiàn)的頻率）

該算法比較適用于樣本容量比較大的類域的自動(dòng)分類，而那些樣本容量較小的類域采用這種算法比較容易產(chǎn)生誤分當(dāng)K值較小時(shí)可能產(chǎn)生過擬合，因?yàn)橛?xùn)練誤差很小，但是測試誤差可能很大;相反，當(dāng)K值較大時(shí)可能產(chǎn)生欠擬合。

算法偽代碼

對未知類別屬性的數(shù)據(jù)集中的每個(gè)點(diǎn)依次執(zhí)行以下操作：

（1）    計(jì)算已知類別的數(shù)據(jù)集中的點(diǎn)與當(dāng)前點(diǎn)之間的距離；

（2）    按照距離遞增次序排序；

（3）    選取與當(dāng)前點(diǎn)距離最小的K個(gè)點(diǎn)；

（4）    確定前K個(gè)點(diǎn)所在類別的出現(xiàn)頻率；

總結(jié)

以上是生活随笔為你收集整理的机器学习：KNN算法(MATLAB实现)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。