? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?k近鄰算法(KNN)-分類算法

1 概念

定義：如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數屬于某一個類別，則該樣本也屬于這個類別。

k-近鄰算法采用測量不同特征值之間的距離來進行分類。

2 優缺點

優點：簡單，易于理解，易于實現，無需估計參數，無需訓練

缺點：懶惰算法，對測試樣本分類時的計算量大，內存開銷大 必須指定K值，K值選擇不當則分類精度不能保證

使用數據范圍：數值型和標稱型

3?歐式距離

兩個樣本的距離可以通過如下公式計算，又叫歐式距離。如a(a1,a2,a3),b(b1,b2,b3)兩點用如下公式表示

4?sklearn k-近鄰算法API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

KNeighborsClassifier類的實例化所需參數如下

n_neighbors	（默認= 5），k_neighbors查詢默認使用的鄰居數
algorithm	{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可選用于計算最近鄰居的算法：‘ball_tree’將會使用 BallTree，‘kd_tree’將使用 KDTree。‘auto’將嘗試根據傳遞給fit方法的值來決定最合適的算法。 (不同實現方式影響效率)
n_jobs	（默認= 1),用于鄰居搜索的并行作業數。如果-1，則將作業數設置為CPU內核數。不影響fit方法。

方法：

（1）fit(X, y)：使用X作為訓練數據擬合模型，y作為X的類別值。X，y為數組或者矩陣

（2）kneighbors(X=None, n_neighbors=None, return_distance=True)：找到指定點集X的n_neighbors個鄰居，return_distance為False的話，不返回距離

（3）predict(X)：預測提供的數據的類標簽

（4）predict_proba(X)：返回測試數據X屬于某一類別的概率估計

5?實例流程

①數據集的處理

②分割數據集

③對數據集進行標準化

④estimator流程進行分類預測

6?k近鄰算法實例-預測入住位置

數據來源：https://www.kaggle.com/c/facebook-v-predicting-check-ins/data

這里根據X?y坐標值，定位準確性，時間作為特征值，入住的id為目標值

from sklearn.neighbors import KNeighborsClassifier import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler#1 讀取數據 data = pd.read_csv("./data/train.csv")#2 處理數據,截取部分數據 data = data.query("x > 1.0 & x < 1.5 & y > 2.5 & y < 3") #處理日期數據,將data里的time特征下的時間錯裝換為（年-月-日 時:風:秒）格式，unit='s'設置轉換的最小單位為s timev = pd.to_datetime(data['time'],unit='s') #把日期轉換為字典格式，為了構造一些天數等特征，所以要將time轉換為可以獲取day，month的參數 #那就需要把日期格式轉換為字典格式,就把每一行轉換為字典格式,那就可以單獨獲取里面的時分秒 timev = pd.DatetimeIndex(timev)#構造新特征 data['day']=timev.day data['hour'] = timev.hour data['weekday'] = timev.weekday #刪除時間特性，pandas的列是1,sklearn的列是0 data.drop(['time'],axis=1)'''把簽到數量少于n個目標位置刪除,用分組，然后統計求和 根據palce_id分組''' data_count = data.groupby('palce_id').count()'''以某個值進行分組之后，前面的索引就是該值，然后才是每一列特征，row_id是入住的id，現在已經變成具體的次數了 這里把row_id大于3的保留下來，然后調用reset_index，reset_index()的所用是把索引palce_id變成某一列，就能獲取了 前面的索引就變成0,1..一個個計數'''tf = data_count[data_count.row_id>5].reset_index()#篩選data里面id是tf里面的id，在就保留下來 data[data['place_id'].isin(tf.place_id)]# 取出數據當中的特征值和將place_id作為目標值, y = data['place_id'] x = data.drop(['place_id'], axis=1)# 將數據的分割成訓練集合測試集 x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)#3 特征工程標準化,訓練集做標準化了，測試集也要做標準化，目標值不要計算距離不用做標準化 #標準化就是想讓每一列數據在同一個標準上面進行計算 std = StandardScaler() x_train = std.fit_transform(x_train) x_test = std.transform(x_test)#進行算法流程 超參數 knn = KNeighborsClassifier(n_neighbors=5) #fit輸入數據 knn.fit(x_train,y_train) #得出預測結果 y_predict = knn.predict(x_test) print("預測的目標位置為：", y_predict) # 得出準確率，這里得出的準確率并不高，因為還有一些特征的影響如row_id，可以將其從特征值中刪除 print("預測的準確率:", knn.score(x_test, y_test))

7 K近鄰算法問題：

①K值取多大，有什么影響？

K值取小了，比如取最近一個他的類別是什么類別我就是什么類別，這樣容易受異常點影響假設這個最近的點就是異常點，就預測錯了

K值取大了，容易受K值數量（類別）波動影響

如何處理K值取值問題見模型選擇與調優

②性能問題：每一個樣本來了，要一個個去計算距離時間復雜度很高

?

總結

以上是生活随笔為你收集整理的k近邻算法(KNN)-分类算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。