K最近鄰(k-Nearest Neighbor，KNN)分類算法，是一個理論上比較成熟的方法，也是最簡單的機(jī)器學(xué)習(xí)算法之一。該方法的思路是：在特征空間中，如果一個樣本附近的k個最近(即特征空間中最鄰近)樣本的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。

我們對應(yīng)上面的流程來說

1.給定了紅色和藍(lán)色的訓(xùn)練樣本，綠色為測試樣本
2.計算綠色點到其他點的距離
3.選取離綠點最近的k個點
4.選取k個點中，同種顏色最多的類。例如：k=1時，k個點全是藍(lán)色，那預(yù)測結(jié)果就是Class 1；k=3時，k個點中兩個紅色一個藍(lán)色，那預(yù)測結(jié)果就是Class 2

相似的樣本，特征之間的值都是相近的。K-近鄰算法需要做標(biāo)準(zhǔn)化處理。


數(shù)據(jù)來源：https://www.kaggle.com/c/facebook-v-predicting-check-ins/data?select=train.csv.zip

from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler import pandas as pddef knncls():# k-近鄰預(yù)測用戶簽到位置# 1，讀取數(shù)據(jù)data = pd.read_csv("train.csv")# print(data.head(10))#,2，處理數(shù)據(jù)# 縮小數(shù)據(jù),查詢數(shù)據(jù)篩選data = data.query("x > 1.0 & x <1.25 & y >2.5 & y < 2.75")# 處理時間數(shù)據(jù)time_value = pd.to_datetime(data["time"],unit="s")# print(time_value)# 把日期格式轉(zhuǎn)換成字典格式time_value = pd.DatetimeIndex(time_value)# 3，構(gòu)造一些特征data["day"] = time_value.daydata["hour"] = time_value.hourdata["weekday"] = time_value.weekday# 把時間戳特征刪除data = data.drop(["time"],axis=1) # sklearn中1表示列和pandas不一樣# print(data)#把簽到數(shù)量少于n個目標(biāo)位置刪除place_count = data.groupby("place_id").count()tf = place_count[place_count.row_id > 3].reset_index()data = data[data["place_id"].isin(tf.place_id)]data = data.drop(["row_id"],axis=1)print(data)# 取出數(shù)據(jù)當(dāng)中的特征值和目標(biāo)值y = data["place_id"]x = data.drop(["place_id"],axis=1)# 進(jìn)行數(shù)據(jù)的分割 訓(xùn)練集和測試集x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)# 特征工程（標(biāo)準(zhǔn)化）std = StandardScaler()# 對測試集和訓(xùn)練集的特征值進(jìn)行標(biāo)準(zhǔn)化x_train = std.fit_transform(x_train)x_test = std.transform(x_test)# 進(jìn)行算法流程knn = KNeighborsClassifier(n_neighbors=5)# fit,predict,scoreknn.fit(x_train,y_train)# 得出預(yù)測結(jié)果y_predict = knn.predict(x_test)print("預(yù)測的目標(biāo)簽到位置為:",y_predict)# 得出準(zhǔn)確率print("預(yù)測的準(zhǔn)確率:",knn.score(x_test,y_test))if __name__=="__main__":knncls()

需調(diào)優(yōu)提高準(zhǔn)確度

總結(jié)

以上是生活随笔為你收集整理的机器学习-分类算法-K-近邻算法06的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。