统计学习笔记（3）——k近邻法与kd树
在使用k近鄰法進(jìn)行分類時(shí)，對新的實(shí)例，根據(jù)其k個(gè)最近鄰的訓(xùn)練實(shí)例的類別，通過多數(shù)表決的方式進(jìn)行預(yù)測。由于k近鄰模型的特征空間一般是n維實(shí)數(shù)向量，所以距離的計(jì)算通常采用的是歐式距離。關(guān)鍵的是k值的選取，如果k值太小就意味著整體模型變得復(fù)雜，容易發(fā)生過擬合，即如果鄰近的實(shí)例點(diǎn)恰巧是噪聲，預(yù)測就會出錯(cuò)，極端的情況是k=1，稱為最近鄰算法，對于待預(yù)測點(diǎn)x，與x最近的點(diǎn)決定了x的類別。k值得增大意味著整體的模型變得簡單，極端的情況是k=N，那么無論輸入實(shí)例是什么，都簡單地預(yù)測它屬于訓(xùn)練集中最多的類，這樣的模型過于簡單。經(jīng)驗(yàn)是，k值一般去一個(gè)比較小的值，通常采取交叉驗(yàn)證的方法來選取最優(yōu)的k值。
? ? ? ?實(shí)現(xiàn)k近鄰法時(shí)，主要考慮的問題是如何對訓(xùn)練數(shù)據(jù)進(jìn)行快速k近鄰搜索，這點(diǎn)在特征空間的維數(shù)大以及訓(xùn)練數(shù)據(jù)容量大時(shí)尤其重要。k近鄰法的最簡單實(shí)現(xiàn)是線性掃描，這時(shí)要計(jì)算輸入實(shí)例與每一個(gè)訓(xùn)練實(shí)例的距離，當(dāng)訓(xùn)練集很大時(shí)，計(jì)算非常耗時(shí)，這種方法是不可行的。為了提高k近鄰搜索的效率，可以考慮使用特殊的結(jié)構(gòu)存儲訓(xùn)練數(shù)據(jù)，以減少計(jì)算距離的次數(shù)。具體方法有很多，這里介紹kd樹方法。
1.實(shí)例
? ? ? ?先以一個(gè)簡單直觀的實(shí)例來介紹k-d樹算法。假設(shè)有6個(gè)二維數(shù)據(jù)點(diǎn){（2,3），（5,4），（9,6），（4,7），（8,1），（7,2）}，數(shù)據(jù)點(diǎn)位于二維空間內(nèi)（如圖2中黑點(diǎn)所示）。k-d樹算法就是要確定圖2中這些分割空間的分割線（多維空間即為分割平面，一般為超平面）。下面就要通過一步步展示k-d樹是如何確定這些分割線的。
? ? ? ?k-d樹算法可以分為兩大部分，一部分是有關(guān)k-d樹本身這種數(shù)據(jù)結(jié)構(gòu)建立的算法，另一部分是在建立的k-d樹上如何進(jìn)行最鄰近查找的算法。
2.構(gòu)造kd樹
? ? ? ? kd樹是一種對k維空間中的實(shí)例點(diǎn)進(jìn)行存儲以便對其進(jìn)行快速搜索的樹形數(shù)據(jù)結(jié)構(gòu)。kd樹是二叉樹，表示對k維空間的一個(gè)劃分。構(gòu)造kd樹相當(dāng)于不斷地用垂直于坐標(biāo)軸的超平面將k維空間進(jìn)行切分，構(gòu)成一系列的k維超矩形區(qū)域。kd樹的每一個(gè)節(jié)點(diǎn)對應(yīng)于一個(gè)k維超矩形區(qū)域。k-d樹是一個(gè)二叉樹，每個(gè)節(jié)點(diǎn)表示一個(gè)空間范圍。下表給出的是k-d樹每個(gè)節(jié)點(diǎn)中主要包含的數(shù)據(jù)結(jié)構(gòu)。
? ? ? ? ?從上面對k-d樹節(jié)點(diǎn)的數(shù)據(jù)類型的描述可以看出構(gòu)建k-d樹是一個(gè)逐級展開的遞歸過程。下面給出的是構(gòu)建k-d樹的偽碼。
? ? ? ?以上述舉的實(shí)例來看，過程如下：
? ? ? ? 由于此例簡單，數(shù)據(jù)維度只有2維，所以可以簡單地給x，y兩個(gè)方向軸編號為0,1，也即split={0,1}。
? ? ? ? （1）確定split域的首先該取的值。分別計(jì)算x，y方向上數(shù)據(jù)的方差得知x方向上的方差最大，所以split域值首先取0，也就是x軸方向；
? ? ? ? ?（2）確定Node-data的域值。根據(jù)x軸方向的值2,5,9,4,8,7排序選出中值為7，所以Node-data = （7,2）。這樣，該節(jié)點(diǎn)的分割超平面就是通過（7,2）并垂直于split = 0（x軸）的直線x = 7；
? ? ? ? ?（3）確定左子空間和右子空間。分割超平面x = 7將整個(gè)空間分為兩部分，如下圖所示。x <= 7的部分為左子空間，包含3個(gè)節(jié)點(diǎn){（2,3），（5,4），（4,7）}；另一部分為右子空間，包含2個(gè)節(jié)點(diǎn){（9,6），（8,1）}。
? ? ? ? ?如算法所述，k-d樹的構(gòu)建是一個(gè)遞歸的過程。然后對左子空間和右子空間內(nèi)的數(shù)據(jù)重復(fù)根節(jié)點(diǎn)的過程就可以得到下一級子節(jié)點(diǎn)（5,4）和（9,6）（也就是左右子空間的'根'節(jié)點(diǎn)），同時(shí)將空間和數(shù)據(jù)集進(jìn)一步細(xì)分。如此反復(fù)直到空間中只包含一個(gè)數(shù)據(jù)點(diǎn)，如下圖所示。最后生成的k-d樹如下圖所示。
3.搜索kd樹
? ? ? ? 在k-d樹中進(jìn)行數(shù)據(jù)的查找也是特征匹配的重要環(huán)節(jié)，其目的是檢索在k-d樹中與查詢點(diǎn)距離最近的數(shù)據(jù)點(diǎn)。這里先以一個(gè)簡單的實(shí)例來描述最鄰近查找的基本思路。
? ? ? ? 星號表示要查詢的點(diǎn)（2.1,3.1）。通過二叉搜索，順著搜索路徑很快就能找到最鄰近的近似點(diǎn)，也就是葉子節(jié)點(diǎn)（2,3）。而找到的葉子節(jié)點(diǎn)并不一定就是最鄰近的，最鄰近肯定距離查詢點(diǎn)更近，應(yīng)該位于以查詢點(diǎn)為圓心且通過葉子節(jié)點(diǎn)的圓域內(nèi)。為了找到真正的最近鄰，還需要進(jìn)行'回溯'操作：算法沿搜索路徑反向查找是否有距離查詢點(diǎn)更近的數(shù)據(jù)點(diǎn)。此例中先從（7,2）點(diǎn)開始進(jìn)行二叉查找，然后到達(dá)（5,4），最后到達(dá)（2,3），此時(shí)搜索路徑中的節(jié)點(diǎn)為小于（7,2）和（5,4），大于（2,3），首先以（2,3）作為當(dāng)前最近鄰點(diǎn)，計(jì)算其到查詢點(diǎn)（2.1,3.1）的距離為0.1414，然后回溯到其父節(jié)點(diǎn)（5,4），并判斷在該父節(jié)點(diǎn)的其他子節(jié)點(diǎn)空間中是否有距離查詢點(diǎn)更近的數(shù)據(jù)點(diǎn)。以（2.1,3.1）為圓心，以0.1414為半徑畫圓，如下圖所示。發(fā)現(xiàn)該圓并不和超平面y = 4交割，因此不用進(jìn)入（5,4）節(jié)點(diǎn)右子空間中去搜索。
? ? ? ? ?再回溯到（7,2），以（2.1,3.1）為圓心，以0.1414為半徑的圓更不會與x = 7超平面交割，因此不用進(jìn)入（7,2）右子空間進(jìn)行查找。至此，搜索路徑中的節(jié)點(diǎn)已經(jīng)全部回溯完，結(jié)束整個(gè)搜索，返回最近鄰點(diǎn)（2,3），最近距離為0.1414。
? ? ? ? ? 一個(gè)復(fù)雜點(diǎn)了例子如查找點(diǎn)為（2，4.5）。同樣先進(jìn)行二叉查找，先從（7,2）查找到（5,4）節(jié)點(diǎn)，在進(jìn)行查找時(shí)是由y = 4為分割超平面的，由于查找點(diǎn)為y值為4.5，因此進(jìn)入右子空間查找到（4,7），形成搜索路徑<（7,2），（5,4），（4,7）>，取（4,7）為當(dāng)前最近鄰點(diǎn)，計(jì)算其與目標(biāo)查找點(diǎn)的距離為3.202。然后回溯到（5,4），計(jì)算其與查找點(diǎn)之間的距離為3.041。以（2，4.5）為圓心，以3.041為半徑作圓，如下圖左所示。可見該圓和y = 4超平面交割，所以需要進(jìn)入（5,4）左子空間進(jìn)行查找。此時(shí)需將（2,3）節(jié)點(diǎn)加入搜索路徑中得<（7,2），（2,3）>。回溯至（2,3）葉子節(jié)點(diǎn)，（2,3）距離（2,4.5）比（5,4）要近，所以最近鄰點(diǎn)更新為（2，3），最近距離更新為1.5。回溯至（7,2），以（2,4.5）為圓心1.5為半徑作圓，并不和x = 7分割超平面交割，如下圖右所示。至此，搜索路徑回溯完。返回最近鄰點(diǎn)（2,3），最近距離1.5。? ? ? ?k-d樹查詢算法的偽代碼如下所示。
[cpp]?view plaincopy? ? ? ?當(dāng)維數(shù)較大時(shí)，直接利用k-d樹快速檢索的性能急劇下降。假設(shè)數(shù)據(jù)集的維數(shù)為D，一般來說要求數(shù)據(jù)的規(guī)模N滿足條件：N遠(yuǎn)大于2的D次方，才能達(dá)到高效的搜索。
參考：
http://www.cnblogs.com/eyeszjwang/articles/2429382.html總結(jié)
以上是生活随笔為你收集整理的统计学习笔记（3）——k近邻法与kd树的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 统计学习笔记（2）——感知机模型
- 下一篇： 统计学习笔记（4）——朴素贝叶斯法