sklearn k-近鄰算法

• 1. sklearn k-近鄰算法API
• 2. k近鄰算法實例-預(yù)測入住位置

核心思想：你的“鄰居”來推斷出你的類別
定義：如果一個樣本在特征空間中的 k個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。
來源：KNN算法最早是由Cover和Hart提出的一種分類算法

如何求距離：計算距離公式
兩個樣本的距離可以通過如下公式計算，又叫歐式距離

比如說，a(a1,a2,a3),b(b1,b2,b3)

相似樣本，特征之間的值應(yīng)該都是相近的。
sklearn k-近鄰算法是需要做標(biāo)準(zhǔn)化處理的。

1. sklearn k-近鄰算法API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')n_neighbors：int,可選（默認(rèn)= 5），k_neighbors查詢默認(rèn)使用的鄰居數(shù) algorithm：{‘a(chǎn)uto’，‘ball_tree’，‘kd_tree’，‘brute’}，可選用于計算最近鄰居的算法：‘ball_tree’將會使用 BallTree，‘kd_tree’將使用 KDTree。‘a(chǎn)uto’將嘗試根據(jù)傳遞給fit方法的值來決定最合適的算法。 (不同實現(xiàn)方式影響效率)

k值取值：會影響結(jié)果。

2. k近鄰算法實例-預(yù)測入住位置

數(shù)據(jù)來源

確定此問題是一種分類問題：
特征值：x,y坐標(biāo)， 定位準(zhǔn)確性，年，日，時，周 目標(biāo)值：入住位置的ID

處理：0<x<10 0<y<10
1.由于數(shù)據(jù)量大，為了縮小數(shù)據(jù)量，縮小x，y
2.時間戳處理（年、月、日、周、時、分、秒），當(dāng)做新的特征
3.幾千幾萬，少于指定簽到人數(shù)的位置刪除

數(shù)據(jù)的處理

1、縮小數(shù)據(jù)集范圍
DataFrame.query()
2、處理日期數(shù)據(jù)
pd.to_datetime
pd.DatetimeIndex
3、增加分割的日期數(shù)據(jù)
4、刪除沒用的日期數(shù)據(jù)**
pd.drop
5、將簽到位置少于n個用戶的刪除
place_count =data.groupby(‘place_id’).aggregate(np.count_nonzero)tf = place_count[place_count.row_id > 3].reset_index()
data = data[data[‘place_id’].isin(tf.place_id)]

from sklearn.neighbors import KNeighborsClassifier import pandas as pd def knncls():"""K-近鄰預(yù)測用戶簽到位置:return:None"""# 讀取數(shù)據(jù)data = pd.read_csv("./data/FBlocation/train.csv")# print(data.head(10))# 處理數(shù)據(jù)# 1、縮小數(shù)據(jù),查詢數(shù)據(jù)曬訊data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75")# 處理時間的數(shù)據(jù)time_value = pd.to_datetime(data['time'], unit='s')print(time_value)# 把日期格式轉(zhuǎn)換成 字典格式,可以從里面單獨獲取時分秒time_value = pd.DatetimeIndex(time_value)# 構(gòu)造一些特征data['day'] = time_value.daydata['hour'] = time_value.hourdata['weekday'] = time_value.weekday# 把時間戳特征刪除data = data.drop(['time'], axis=1)print(data)# 把簽到數(shù)量少于n個目標(biāo)位置刪除place_count = data.groupby('place_id').count()tf = place_count[place_count.row_id > 3].reset_index()#reset_index()把索引變成列data = data[data['place_id'].isin(tf.place_id)]# 取出數(shù)據(jù)當(dāng)中的特征值和目標(biāo)值y = data['place_id']x = data.drop(['place_id'], axis=1)# 進(jìn)行數(shù)據(jù)的分割訓(xùn)練集合測試集x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)#順序不可以改# 特征工程（標(biāo)準(zhǔn)化）std = StandardScaler()# 對測試集和訓(xùn)練集的特征值進(jìn)行標(biāo)準(zhǔn)化x_train = std.fit_transform(x_train)x_test = std.transform(x_test)# 進(jìn)行算法流程 # 超參數(shù)knn = KNeighborsClassifier()# # fit輸入數(shù)據(jù)， predict預(yù)測數(shù)據(jù),score得出準(zhǔn)確率# knn.fit(x_train, y_train)## # 得出預(yù)測結(jié)果# y_predict = knn.predict(x_test)## print("預(yù)測的目標(biāo)簽到位置為：", y_predict)## # 得出準(zhǔn)確率 # print("預(yù)測的準(zhǔn)確率:", knn.score(x_test, y_test))# 構(gòu)造一些參數(shù)的值進(jìn)行搜索param = {"n_neighbors": [3, 5, 10]}# 進(jìn)行網(wǎng)格搜索gc = GridSearchCV(knn, param_grid=param, cv=2)gc.fit(x_train, y_train)# 預(yù)測準(zhǔn)確率print("在測試集上準(zhǔn)確率：", gc.score(x_test, y_test))print("在交叉驗證當(dāng)中最好的結(jié)果：", gc.best_score_)print("選擇最好的模型是：", gc.best_estimator_)print("每個超參數(shù)每次交叉驗證的結(jié)果：", gc.cv_results_)return None if __name__ == "__main__":knncls()

k-近鄰算法優(yōu)缺點
優(yōu)點：
簡單，易于理解，易于實現(xiàn)，無需估計參數(shù)，無需訓(xùn)練

缺點：
懶惰算法，對測試樣本分類時的計算量大，內(nèi)存開銷大
必須指定K值，K值選擇不當(dāng)則分類精度不能保證

1、k值取多大？有什么影響？
k值取很小：容易受異常點影響
k值取很大：容易受最近數(shù)據(jù)太多導(dǎo)致比例變化

總結(jié)

以上是生活随笔為你收集整理的【机器学习】sklearn k-近邻算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。