KNN中的K值n_neighbors?

限定半徑最近鄰法中的半radius?

近鄰權(quán)weights?

主要用于標(biāo)識(shí)每個(gè)樣本的近鄰樣本的權(quán)重，如果是KNN，就是K個(gè)近鄰樣本的權(quán)重，如果是限定半徑最近鄰，就是在距離在半徑以內(nèi)的近鄰樣本的權(quán)重。可以選擇"uniform","distance" 或者自定義權(quán)重。選擇默認(rèn)的"uniform"，意味著所有最近鄰樣本權(quán)重都一樣，在做預(yù)測(cè)時(shí)一視同仁。如果是"distance"，則權(quán)重和距離成反比例，即距離預(yù)測(cè)目標(biāo)更近的近鄰具有更高的權(quán)重，這樣在預(yù)測(cè)類別或者做回歸時(shí)，更近的近鄰所占的影響因子會(huì)更加大。當(dāng)然，我們也可以自定義權(quán)重，即自定義一個(gè)函數(shù)，輸入是距離值，輸出是權(quán)重值。這樣我們可以自己控制不同的距離所對(duì)應(yīng)的權(quán)重。

一般來(lái)說(shuō)，如果樣本的分布是比較成簇的，即各類樣本都在相對(duì)分開的簇中時(shí)，我們用默認(rèn)的"uniform"就可以了，如果樣本的分布比較亂，規(guī)律不好尋找，選擇"distance"是一個(gè)比較好的選擇。如果用"distance"發(fā)現(xiàn)預(yù)測(cè)的效果的還是不好，可以考慮自定義距離權(quán)重來(lái)調(diào)優(yōu)這個(gè)參數(shù)。

KNN和限定半徑最近鄰法使用的算法algorithm?

算法一共有三種，第一種是蠻力實(shí)現(xiàn)，第二種是KD樹實(shí)現(xiàn)，第三種是球樹實(shí)現(xiàn)。這三種方法在K近鄰法(KNN)原理小結(jié)中都有講述，如果不熟悉可以去復(fù)習(xí)下。對(duì)于這個(gè)參數(shù)，一共有4種可選輸入，‘brute’對(duì)應(yīng)第一種蠻力實(shí)現(xiàn)，‘kd_tree’對(duì)應(yīng)第二種KD樹實(shí)現(xiàn)，‘ball_tree’對(duì)應(yīng)第三種的球樹實(shí)現(xiàn)， ‘a(chǎn)uto’則會(huì)在上面三種算法中做權(quán)衡，選擇一個(gè)擬合最好的最優(yōu)算法。需要注意的是，如果輸入樣本特征是稀疏的時(shí)候，無(wú)論我們選擇哪種算法，最后scikit-learn都會(huì)去用蠻力實(shí)現(xiàn)‘brute’。

個(gè)人的經(jīng)驗(yàn)，如果樣本少特征也少，使用默認(rèn)的?‘a(chǎn)uto’就夠了。 如果數(shù)據(jù)量很大或者特征也很多，用"auto"建樹時(shí)間會(huì)很長(zhǎng)，效率不高，建議選擇KD樹實(shí)現(xiàn)‘kd_tree’，此時(shí)如果發(fā)現(xiàn)‘kd_tree’速度比較慢或者已經(jīng)知道樣本分布不是很均勻時(shí)，可以嘗試用‘ball_tree’。而如果輸入樣本是稀疏的，無(wú)論你選擇哪個(gè)算法最后實(shí)際運(yùn)行的都是‘brute’。

停止建子樹的葉子節(jié)點(diǎn)閾值leaf_size

這個(gè)值控制了使用KD樹或者球樹時(shí)， 停止建子樹的葉子節(jié)點(diǎn)數(shù)量的閾值。這個(gè)值越小，則生成的KD樹或者球樹就越大，層數(shù)越深，建樹時(shí)間越長(zhǎng)，反之，則生成的KD樹或者球樹會(huì)小，層數(shù)較淺，建樹時(shí)間較短。默認(rèn)是30. 這個(gè)值一般依賴于樣本的數(shù)量，隨著樣本數(shù)量的增加，這個(gè)值必須要增加，否則不光建樹預(yù)測(cè)的時(shí)間長(zhǎng)，還容易過(guò)擬合。可以通過(guò)交叉驗(yàn)證來(lái)選擇一個(gè)適中的值。

如果使用的算法是蠻力實(shí)現(xiàn)，則這個(gè)參數(shù)可以忽略。

距離度量metric?

?K近鄰法和限定半徑最近鄰法類可以使用的距離度量較多，一般來(lái)說(shuō)默認(rèn)的歐式距離（即p=2的閔可夫斯基距離）就可以滿足我們的需求。可以使用的距離度量參數(shù)有：

a) 歐式距離?“euclidean”:?∑i=1n(xi?yi)2??????????√∑i=1n(xi?yi)2

b) 曼哈頓距離 “manhattan”：?∑i=1n|xi?yi|∑i=1n|xi?yi|

c) 切比雪夫距離“chebyshev”:?max|xi?yi|(i=1,2,...n)max|xi?yi|(i=1,2,...n)

d)?閔可夫斯基距離?“minkowski”(默認(rèn)參數(shù)):?∑i=1n(|xi?yi|)p???????????√p∑i=1n(|xi?yi|)pp?p=1為曼哈頓距離， p=2為歐式距離。

e) 帶權(quán)重閔可夫斯基距離?“wminkowski”:?∑i=1n(w?|xi?yi|)p??????????????√p∑i=1n(w?|xi?yi|)pp?其中w為特征權(quán)重

f) 標(biāo)準(zhǔn)化歐式距離?“seuclidean”: 即對(duì)于各特征維度做了歸一化以后的歐式距離。此時(shí)各樣本特征維度的均值為0，方差為1.

g) 馬氏距離“mahalanobis”：(x?y)TS?1(x?y)???????????????√(x?y)TS?1(x?y)?其中，S?1S?1為樣本協(xié)方差矩陣的逆矩陣。當(dāng)樣本分布獨(dú)立時(shí)， S為單位矩陣，此時(shí)馬氏距離等同于歐式距離

還有一些其他不是實(shí)數(shù)的距離度量，一般在KNN之類的算法用不上，這里也就不列了。

距離度量附屬參數(shù)p

距離度量其他附屬參數(shù)metric_params

并行處理任務(wù)數(shù)n_jobs