參考資料

《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》，Machine Learning in Action，本文中簡(jiǎn)稱MLiA
《機(jī)器學(xué)習(xí)》周志華，本文簡(jiǎn)稱西瓜書
《Web安全之機(jī)器學(xué)習(xí)》劉焱著，本文中簡(jiǎn)稱WSML(Web Security in Machine Learning，該英文翻譯只為記錄方便，是本人杜撰的，僅限本系列文章使用)

轉(zhuǎn)載請(qǐng)注明出處：http://blog.csdn.net/rosetta/article/details/79179004

前言

因?yàn)橹安恢涝趺窗褭C(jī)器學(xué)習(xí)的知識(shí)用起來(lái)，所以心理很沒(méi)底，看了近一年的數(shù)學(xué)基礎(chǔ)，感覺(jué)也沒(méi)有什么長(zhǎng)進(jìn)，而看了《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》第2章k-近鄰算法后發(fā)現(xiàn)，原來(lái)機(jī)器學(xué)習(xí)也可以這么簡(jiǎn)單。
本算法真不需要什么高深的數(shù)學(xué)公式，只要會(huì)一些基礎(chǔ)的矩陣知識(shí)就可以了。代碼里Numpy ndarray相關(guān)的東西看起來(lái)挺復(fù)雜的，但打出來(lái)調(diào)試后也就不會(huì)覺(jué)得難了。
另外我發(fā)現(xiàn)了自己學(xué)習(xí)的方法（其實(shí)原來(lái)也發(fā)現(xiàn)了，只是沒(méi)總結(jié)），先跟著書把代碼敲一遍（或者直接復(fù)制粘貼），這個(gè)時(shí)候不要去看書上關(guān)于代碼的解釋，因?yàn)榭床欢?#xff0c;看不懂會(huì)影響學(xué)習(xí)心情，所以不要看。先把代碼運(yùn)行一遍看結(jié)果，運(yùn)行成功后再看不理解的代碼，邊看邊調(diào)試，比看書本上關(guān)于代碼的解釋效果好多了。

本次學(xué)習(xí)以實(shí)踐為主，理論為輔。為了加深對(duì)KNN算法的理解，我學(xué)了以下內(nèi)容，雖然很多，但我相信如果大家對(duì)以下內(nèi)容都理解了，那么KNN算法也就掌握了。主要內(nèi)容有以下五，我會(huì)分五篇文章完成學(xué)習(xí)記錄。

使用KNN算法對(duì)約會(huì)對(duì)象魅力程度分類

使用sklearn庫(kù)中的KNN算法對(duì)約會(huì)對(duì)象魅力程度分類

使用KNN算法完成手寫識(shí)別系統(tǒng)

使用KNN算法完成西瓜分類

使用KNN算法檢測(cè)Linux系統(tǒng)異常操作

本篇文章先描述K-近鄰算法核心思想，再記錄使用KNN算法對(duì)約會(huì)對(duì)象魅力程度分類的代碼的理解。

K-近鄰算法

所謂的k-近鄰算法（K-Nearest Neighbor，簡(jiǎn)稱KNN）是這樣的，首先要有一批已知的樣本數(shù)據(jù)的特征（比如MLiA舉的交友例子，交友對(duì)象的年飛行里程、玩游戲占的時(shí)間比和周消費(fèi)的冰淇淋公升數(shù)），并且知道這些數(shù)據(jù)的標(biāo)簽（不喜歡的人、魅力一般的人和極具魅力的人），然后輸入不帶標(biāo)簽的新數(shù)據(jù)（知道這個(gè)人的年飛行里程、玩游戲占的時(shí)間比和周消費(fèi)的冰淇淋公升數(shù)，但不知道它屬于哪一類），拿這個(gè)新數(shù)據(jù)和樣本數(shù)據(jù)比較，算出和新數(shù)據(jù)最相似的k個(gè)數(shù)據(jù)（k可自定義），然后看這k個(gè)數(shù)據(jù)中出現(xiàn)最多的類型，新數(shù)據(jù)就屬于這一類。
所以整體思想是很簡(jiǎn)單的，但這里面會(huì)延伸出三個(gè)問(wèn)題：
1. 新數(shù)據(jù)和樣本數(shù)據(jù)距離計(jì)算公式是怎樣的？
2. 如果某一項(xiàng)屬性數(shù)據(jù)太大，這樣在計(jì)算距離時(shí)其它屬性就不起作用了，但是其它屬性也是一樣重要的，那怎么辦?這就需要做歸一化處理。
3. 如何測(cè)試算法的準(zhǔn)確性。這里會(huì)拿樣本數(shù)據(jù)的前x%用于作為直接的樣本（因?yàn)閗-近鄰算法沒(méi)有訓(xùn)練數(shù)據(jù)概念，這里姑且叫它訓(xùn)練數(shù)據(jù)），后面的1-x%數(shù)據(jù)拿來(lái)測(cè)試（叫測(cè)試數(shù)據(jù)）。

相關(guān)概念

本節(jié)內(nèi)容可先跳過(guò)，如后續(xù)看的不明白可回來(lái)查看相關(guān)概念。
KNN算法中的訓(xùn)練數(shù)據(jù)和一般意義上的訓(xùn)練數(shù)據(jù)不太一樣。因?yàn)樵贙NN中實(shí)際上是不需要訓(xùn)練數(shù)據(jù)的，只需要知道一些已知的帶標(biāo)簽的數(shù)據(jù)就可以了，后續(xù)新來(lái)的數(shù)據(jù)只要和這些已知標(biāo)簽的數(shù)據(jù)做運(yùn)算就可以了。

所以這里的相關(guān)解釋如下：

• 樣本數(shù)據(jù)

  所有帶標(biāo)簽的數(shù)據(jù)。其中一部分拿來(lái)用做訓(xùn)練數(shù)據(jù)（比如80%），一部分拿來(lái)當(dāng)測(cè)試數(shù)據(jù)（比如剩下的20%）。

• 訓(xùn)練數(shù)據(jù)

  帶標(biāo)簽的標(biāo)本數(shù)據(jù)，實(shí)際上是給KNN算法本身使用的。當(dāng)測(cè)試數(shù)據(jù)或待預(yù)測(cè)數(shù)據(jù)來(lái)了時(shí)和這些數(shù)據(jù)做運(yùn)算使用。

• 測(cè)試數(shù)據(jù)

  測(cè)試數(shù)據(jù)也是帶標(biāo)簽的，是在樣本數(shù)據(jù)中預(yù)留出來(lái)的，用以檢測(cè)算法正確率的。當(dāng)算法已經(jīng)設(shè)計(jì)好后，給算法傳入這些測(cè)試數(shù)據(jù)，然后取得算法返回的預(yù)測(cè)結(jié)果，并把這些預(yù)測(cè)結(jié)果和已知的標(biāo)簽做對(duì)比，從而計(jì)算出算法的正確率。

使用KNN算法對(duì)約會(huì)對(duì)象魅力程度分類

先來(lái)看下最終效果，有一個(gè)直觀的認(rèn)識(shí)。

最終效果

最終效果如下。輸入年飛行里程、玩游戲占的時(shí)間比和周消費(fèi)的冰淇淋公升數(shù)，程序輸出這個(gè)人的魅力程度。

代碼分析

代碼分析請(qǐng)直接看注釋。

def classifyPerson():resultList = ['沒(méi)有魅力', '魅力一般', '極具魅力']ffMiles = float(input("每年飛行公里數(shù)？"))percentTats=float(input("打游戲耗費(fèi)時(shí)間的百分比？"))iceCream = float(input("每周消費(fèi)的冰激凌?"))datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')normMat, ranges, minVals = autoNorm(datingDataMat)inArr = np.array([ffMiles,percentTats,iceCream])classifierResult = classify0((inArr-minVals)/ranges, normMat, datingLabels, 3)print("這個(gè)人：", resultList[classifierResult-1])#從文件中獲取數(shù)據(jù)，并格式化成Numpy數(shù)組。 #returnMat[]數(shù)組用于存放樣本的屬性。 #classLabelVector[]用于存放樣本的類別 def file2matrix(filename):fr = open(filename)numberOfLines = len(fr.readlines()) #1000returnMat = np.zeros((numberOfLines,3)) #創(chuàng)建numberOfLines行，3列矩陣，初始化為0.classLabelVector = [] #用于存放第四列的的值。fr = open(filename)index = 0for line in fr.readlines():line = line.strip()listFromLine = line.split('\t')returnMat[index,:] = listFromLine[0:3] #因?yàn)閕ndex是會(huì)自增的，所以數(shù)據(jù)會(huì)往returnMat上增。classLabelVector.append(int(listFromLine[-1]))index += 1return returnMat,classLabelVector # returnMat={ndarray} [[ 4.09200000e+04 8.32697600e+00 9.53952000e-01] # [ 1.44880000e+04 7.15346900e+00 1.67390400e+00] # [ 2.60520000e+04 1.44187100e+00 8.05124000e-01] # ..., # [ 2.65750000e+04 1.06501020e+01 8.66627000e-01] # [ 4.81110000e+04 9.13452800e+00 7.28045000e-01] # [ 4.37570000e+04 7.88260100e+00 1.33244600e+00]] #classLabelVector={list}[3, 2, 1, 1, 1, 1, 3, 3, 1, 3, 1, 1, 2, 1, 1,……]#歸一化處理公式：newValue=(oldValue-min)/(max-min) def autoNorm(dataSet):#dataSet是1000行3列的數(shù)據(jù)。minVals = dataSet.min(0)maxVals = dataSet.max(0)ranges = maxVals - minValsnormDataSet = np.zeros(np.shape(dataSet))#shape取ndarray dataSet的大小（維度），然后創(chuàng)建一個(gè)一樣大小的ndarray,并以0初始化。m = dataSet.shape[0]#取0維大小，1000行。normDataSet = dataSet - np.tile(minVals, (m,1))#做(oldValue-min)操作normDataSet = normDataSet/np.tile(ranges, (m,1)) #element wise dividereturn normDataSet, ranges, minVals # normDataSet={ndarray}[[ 0.44832535 0.39805139 0.56233353] # [ 0.15873259 0.34195467 0.98724416] # [ 0.28542943 0.06892523 0.47449629] # ..., # [ 0.29115949 0.50910294 0.51079493] # [ 0.52711097 0.43665451 0.4290048 ] # [ 0.47940793 0.3768091 0.78571804]]# ranges={ndarray}[ 9.12730000e+04 2.09193490e+01 1.69436100e+00] # minVals={ndarray}[ 0. 0. 0.001156]#classify0的作用： #給定一個(gè)輸入List inX，可以是n維，這個(gè)inX一般存放待分類的條目的屬性值，然后和已知數(shù)據(jù)集（因?yàn)槭且阎?#xff0c;所以標(biāo)簽類別也是已知的）相比（通過(guò)兩點(diǎn)差的平方和再開根號(hào)），算出最近的k個(gè)，這k個(gè)數(shù)據(jù)中出現(xiàn)次數(shù)就是最多的類別就是新數(shù)據(jù)的類別。 #輸出即是該條目的類別。#這個(gè)分類函數(shù)是支持多維的，而該函數(shù)里的注釋是基于2維寫的。 #2維情況的輸入值： #inX=[0, 0] #dataSet= #這個(gè)即是已知的數(shù)據(jù)屬性（這里有4條數(shù)據(jù)，每條數(shù)據(jù)有兩個(gè)屬性） # [[ 1. 1.1] # [ 1. 1. ] # [ 0. 0. ] # [ 0. 0.1]] #labels=['A', 'A', 'B', 'B'] #這個(gè)就是已知的數(shù)據(jù)的類別 #k=3 表示只取最近的3個(gè)做比較， #輸出A或B。 def classify0(inX, dataSet, labels, k):dataSetSize = dataSet.shape[0] #計(jì)算dataSet有多少行，這里的0維指x行diffMat = np.tile(inX, (dataSetSize,1)) - dataSet#生成和dataSet一樣大小的數(shù)組，其每行的成員(x,y)都是inX的x,y減dataSet對(duì)應(yīng)行的x,y。sqDiffMat = diffMat**2 #對(duì)每個(gè)成員做平方操作。sqDistances = sqDiffMat.sum(axis=1) #把每行的兩個(gè)值相加distances = sqDistances**0.5 #再把相加的值開方，就算出了距離sortedDistIndicies = distances.argsort() #然后再?gòu)男〉酱笈判?#xff0c;并記下相應(yīng)的下標(biāo)。classCount={}for i in range(k):#這里是字典相關(guān)的操作，即統(tǒng)計(jì)'A','B'的次數(shù)（前3名中），其中'A','B’為key,次數(shù)為value。voteIlabel = labels[sortedDistIndicies[i]]classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #這種都是字典操作，先從字典中取出'A'的次數(shù)，然后加1，再賦值給'A'對(duì)應(yīng)的值。#上述代碼結(jié)束后，classCount字典的值為：{'B': 2, 'A': 1}sortedClassCount = sorted(iter(classCount.items()), key=op.itemgetter(1), reverse=True)#sorted可對(duì)迭代類型排序#operator是python的一個(gè)模塊，其中itemgetter函數(shù)可以獲得對(duì)象不同維度的數(shù)據(jù)，參數(shù)為維度的索引值#比如[('B', 2), ('A', 1)]，那么op.itemgetter(1)就是以第2維來(lái)排序，即以后面的數(shù)字來(lái)排序。#reverse是否反轉(zhuǎn)，默認(rèn)排序結(jié)果是從小到大，這里想要的是從大到小。return sortedClassCount[0][0]#這里取第0行第0列。

測(cè)試分類算法的正確性

上一步已經(jīng)實(shí)現(xiàn)了算法的核心功能。其實(shí)在這分類算法出來(lái)之前，應(yīng)該對(duì)分類算法做一個(gè)測(cè)試，看其正確率有多少。

#用來(lái)測(cè)試分類算法的正確性 def datingClassTest():hoRatio = 0.10 #預(yù)留的數(shù)據(jù)百分比用來(lái)測(cè)試分類器。datingDataMat,datingLabels = file2matrix('datingTestSet2.txt') normMat, ranges, minVals = autoNorm(datingDataMat)m = normMat.shape[0] #算出0維大小，一共1000條numTestVecs = int(m*hoRatio) #預(yù)留數(shù)據(jù)的后面數(shù)據(jù)用來(lái)訓(xùn)練樣本，這里算這些數(shù)據(jù)的起始位置。預(yù)留數(shù)據(jù)用來(lái)和這些訓(xùn)練樣本比較，計(jì)算距離。errorCount = 0.0for i in range(numTestVecs):classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)#classifierResult是使用分類器測(cè)出來(lái)的結(jié)果，拿此結(jié)果和真實(shí)結(jié)果（datingLabels[i]）對(duì)比，如果一樣表示預(yù)測(cè)正確。#normMat[i,:]，表示norMat的第i行，第i取所有（：冒號(hào)表示所有），具體可看my_4_1_intro.py二維數(shù)組切片。#normMat[numTestVecs:m,:]表示從訓(xùn)練數(shù)據(jù)位置numTestVecs開始到最后一條數(shù)據(jù)m為止。print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))if (classifierResult != datingLabels[i]): errorCount += 1.0 #統(tǒng)計(jì)錯(cuò)誤數(shù)。print("the total error rate is: %f" % (errorCount/float(numTestVecs))) #統(tǒng)計(jì)錯(cuò)誤率。print(errorCount)

運(yùn)行結(jié)果如下圖所示，可知錯(cuò)誤率為5%，可以調(diào)整預(yù)留數(shù)據(jù)hoRatio的比例再試錯(cuò)誤率。

如何畫圖直觀展示數(shù)據(jù)

這里展示的程序沒(méi)對(duì)數(shù)據(jù)做歸一化處理，展示的時(shí)候只取飛行公里數(shù)和玩游戲時(shí)間，即datingDataMat第0列和第1列數(shù)據(jù)。當(dāng)然也可取其它組合試試，但是分類效果不好。

#從文本文件中解析數(shù)據(jù)，并使用Matplotlib畫圖展示。 def file2matrix_test():#2.2.1節(jié)代碼，從文本文件中解析數(shù)據(jù)。datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')print(datingDataMat) #數(shù)據(jù)前三列的矩陣print(datingLabels) #第四列值存放在list中。#2.2.2使用Matplotlib創(chuàng)建散點(diǎn)圖。fig = plt.figure()ax = fig.add_subplot(111)num_show=0#需要從矩陣的第幾行數(shù)據(jù)開始展示，0為展示所有ax.scatter(datingDataMat[num_show:,0], datingDataMat[num_show:,1], 15.0*np.array(datingLabels[num_show:]), 15.0*np.array(datingLabels[num_show:]))#用datingLabels類型標(biāo)注不同的顏色，scatter的具體用法再學(xué)。plt.show()#這里還有一個(gè)小問(wèn)題沒(méi)有解決，就是顯示在圖上的顏色沒(méi)有標(biāo)注到底是屬于哪一類的，這個(gè)可在后續(xù)學(xué)Matplotlib時(shí)再完善。

運(yùn)行結(jié)果：

完整代碼

以下代碼是本實(shí)例完成代碼，使用python3.6可直接運(yùn)行，當(dāng)然需要安裝相應(yīng)的庫(kù)了，不會(huì)的話可上網(wǎng)找下。

#coding:utf-8 #autho:pan_limin #date:2018.1.22 #python3.6 #說(shuō)明：本程序參考《機(jī)器學(xué)習(xí)實(shí)踐》第2章KNN相關(guān)教程，源碼幾乎是一樣的，主要加入自己的一些學(xué)習(xí)備注。import numpy as np #這里和書上導(dǎo)入的方式不太一樣，使用我這種方式更容易理解。 import operator as opimport matplotlib import matplotlib.pyplot as plt#classify0的作用： #給定一個(gè)輸入List inX，可以是n維，這個(gè)inX一般存放待分類的條目的屬性值，然后和已知數(shù)據(jù)集（因?yàn)槭且阎?#xff0c;所以標(biāo)簽類別也是已知的）相比（通過(guò)兩點(diǎn)差的平方和再開根號(hào)），和哪幾個(gè)近就屬于哪類。 #輸出即是該條目的類別。#這個(gè)分類函數(shù)是支持多維的，而該函數(shù)里的注釋是基于2維寫的。 #2維情況的輸入值： #inX=[0, 0] #dataSet= # [[ 1. 1.1] # [ 1. 1. ] # [ 0. 0. ] # [ 0. 0.1]] #labels=['A', 'A', 'B', 'B'] #k=3 表示只取最近的3個(gè)做比較， #輸出A或B。 def classify0(inX, dataSet, labels, k):dataSetSize = dataSet.shape[0] #計(jì)算dataSet有多少行，這里的0維指x行diffMat = np.tile(inX, (dataSetSize,1)) - dataSet#生成和dataSet一樣大小的數(shù)組，其每行的成員(x,y)都是inX的x,y減dataSet對(duì)應(yīng)行的x,y。sqDiffMat = diffMat**2 #對(duì)每個(gè)成員做平方操作。sqDistances = sqDiffMat.sum(axis=1) #把每行的兩個(gè)值相加distances = sqDistances**0.5 #再把相加的值開方，就算出了距離sortedDistIndicies = distances.argsort() #然后再?gòu)男〉酱笈判?#xff0c;并記下相應(yīng)的下標(biāo)。classCount={}for i in range(k):#這里是字典相關(guān)的操作，即統(tǒng)計(jì)'A','B'的次數(shù)（前3名中），其中'A','B’為key,次數(shù)為value。voteIlabel = labels[sortedDistIndicies[i]]classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #這種都是字典操作，先從字典中取出'A'的次數(shù)，然后加1，再賦值給'A'對(duì)應(yīng)的值。#上述代碼結(jié)束后，classCount字典的值為：{'B': 2, 'A': 1}sortedClassCount = sorted(iter(classCount.items()), key=op.itemgetter(1), reverse=True)#sorted可對(duì)迭代類型排序#operator是python的一個(gè)模塊，其中itemgetter函數(shù)可以獲得對(duì)象不同維度的數(shù)據(jù)，參數(shù)為維度的索引值#比如[('B', 2), ('A', 1)]，那么op.itemgetter(1)就是以第2維來(lái)排序，即以后面的數(shù)字來(lái)排序。#reverse是否反轉(zhuǎn)，默認(rèn)排序結(jié)果是從小到大，這里想要的是從大到小。return sortedClassCount[0][0]#這里取第0行第0列。def createDataSet():group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])# print(group)lables = ['A', 'A', 'B', 'B']return group, lablesdef createDataSet_test():group, labels = createDataSet()#2.1.1導(dǎo)入數(shù)據(jù)到ndarray中。result = classify0([0,0], group, labels, 3)#2.1.2 實(shí)現(xiàn)分類算法，并給定一個(gè)條目，判斷此條目屬于哪類。print(result)#為了理解以上內(nèi)容，做的單獨(dú)測(cè)試，和正式代碼沒(méi)有任何關(guān)系。 def createDataSet_temp_test():inX = [0,0]k=3group, labels = createDataSet()print(group)dataSetSize = group.shape[0]#group 0維方向大小，group因?yàn)槭?行3列，0維的值即為4.print(group.shape[0]) #4dataSet = groupprint(np.tile(inX, (4,1))) #tile表示在給定的數(shù)組，在行方向重復(fù)4次，列方向重復(fù)1次。diffMat = np.tile(inX, (dataSetSize,1)) - dataSetprint(diffMat)sqDiffMat = diffMat**2print(sqDiffMat)sqDistances=sqDiffMat.sum(axis=1)print(sqDistances)distances = sqDistances**0.5print(distances)sortedDistIndicies = distances.argsort()print(sortedDistIndicies)classCount={}# aa = 'B'# print(classCount.get('B',0))for i in range(k):#voteIlabel = labels[sortedDistIndicies[i]]classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1print(classCount)#classCount字典的值為：{'B': 2, 'A': 1}print(iter(classCount.items()))for item in iter(classCount.items()):print(item)sortedClassCount = sorted(iter(classCount.items()), key=op.itemgetter(1), reverse=True)#sorted可對(duì)迭代類型排序#operator是python的一個(gè)模塊，其中itemgetter函數(shù)可以獲得對(duì)象不同維度的數(shù)據(jù)，參數(shù)為維度的索引值#比如[('B', 2), ('A', 1)]，那么op.itemgetter(1)就是以第2維來(lái)排序，即以后面的數(shù)字來(lái)排序。#reverse是否反轉(zhuǎn)，默認(rèn)排序結(jié)果是從小到大，這里想要的是從大到小。print(sortedClassCount)#從文件中獲取數(shù)據(jù)，并格式化成Numpy數(shù)組。 #returnMat[]數(shù)組用于存放樣本的屬性。 #classLabelVector[]用于存放樣本的類別 def file2matrix(filename):fr = open(filename)numberOfLines = len(fr.readlines()) #1000returnMat = np.zeros((numberOfLines,3)) #創(chuàng)建numberOfLines行，3列矩陣，初始化為0.classLabelVector = [] #用于存放第四列的的值。fr = open(filename)index = 0for line in fr.readlines():line = line.strip()listFromLine = line.split('\t')returnMat[index,:] = listFromLine[0:3] #因?yàn)閕ndex是會(huì)自增的，所以數(shù)據(jù)會(huì)往returnMat上增。classLabelVector.append(int(listFromLine[-1]))index += 1return returnMat,classLabelVector # returnMat={ndarray} [[ 4.09200000e+04 8.32697600e+00 9.53952000e-01] # [ 1.44880000e+04 7.15346900e+00 1.67390400e+00] # [ 2.60520000e+04 1.44187100e+00 8.05124000e-01] # ..., # [ 2.65750000e+04 1.06501020e+01 8.66627000e-01] # [ 4.81110000e+04 9.13452800e+00 7.28045000e-01] # [ 4.37570000e+04 7.88260100e+00 1.33244600e+00]] #classLabelVector={list}[3, 2, 1, 1, 1, 1, 3, 3, 1, 3, 1, 1, 2, 1, 1,……]#歸一化處理公式：newValue=(oldValue-min)/(max-min) def autoNorm(dataSet):#dataSet是1000行3列的數(shù)據(jù)。minVals = dataSet.min(0)maxVals = dataSet.max(0)ranges = maxVals - minValsnormDataSet = np.zeros(np.shape(dataSet))#shape取ndarray dataSet的大小（維度），然后創(chuàng)建一個(gè)一樣大小的ndarray,并以0初始化。m = dataSet.shape[0]#取0維大小，1000行。normDataSet = dataSet - np.tile(minVals, (m,1))#做(oldValue-min)操作normDataSet = normDataSet/np.tile(ranges, (m,1)) #element wise dividereturn normDataSet, ranges, minVals # normDataSet={ndarray}[[ 0.44832535 0.39805139 0.56233353] # [ 0.15873259 0.34195467 0.98724416] # [ 0.28542943 0.06892523 0.47449629] # ..., # [ 0.29115949 0.50910294 0.51079493] # [ 0.52711097 0.43665451 0.4290048 ] # [ 0.47940793 0.3768091 0.78571804]]# ranges={ndarray}[ 9.12730000e+04 2.09193490e+01 1.69436100e+00] # minVals={ndarray}[ 0. 0. 0.001156]#從文本文件中解析數(shù)據(jù)，并使用Matplotlib畫圖展示。 def file2matrix_test():#2.2.1節(jié)代碼，從文本文件中解析數(shù)據(jù)。datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')print(datingDataMat) #數(shù)據(jù)前三列的矩陣print(datingLabels) #第四列值存放在list中。#2.2.2使用Matplotlib創(chuàng)建散點(diǎn)圖。fig = plt.figure()ax = fig.add_subplot(111)num_show=0#需要從矩陣的第幾行數(shù)據(jù)開始展示，0為展示所有ax.scatter(datingDataMat[num_show:,0], datingDataMat[num_show:,1], 15.0*np.array(datingLabels[num_show:]), 15.0*np.array(datingLabels[num_show:]))#用datingLabels類型標(biāo)注不同的顏色，scatter的具體用法再學(xué)。plt.show()#這里還有一個(gè)小問(wèn)題沒(méi)有解決，就是顯示在圖上的顏色沒(méi)有標(biāo)注到底是屬于哪一類的，這個(gè)可在后續(xù)學(xué)Matplotlib時(shí)再完善。#歸一化處理,因?yàn)橛幸豁?xiàng)屬性數(shù)據(jù)太大，這樣在算距離時(shí)其它屬性就不起作用了，但是其它屬性也是一樣重要的，需要要做歸一化處理。 def autoNorm_test():datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')normMat, ranges, minVals = autoNorm(datingDataMat)print(normMat,'\n', ranges,'\n',minVals,'\n')#用來(lái)測(cè)試分類算法的正確性 def datingClassTest():hoRatio = 0.10 #預(yù)留的數(shù)據(jù)用來(lái)測(cè)試分類器。datingDataMat,datingLabels = file2matrix('datingTestSet2.txt') #load data setfrom filenormMat, ranges, minVals = autoNorm(datingDataMat)m = normMat.shape[0] #算出0維大小，一共1000條numTestVecs = int(m*hoRatio) #預(yù)留數(shù)據(jù)的后面數(shù)據(jù)用來(lái)訓(xùn)練樣本。預(yù)留數(shù)據(jù)用來(lái)和這些訓(xùn)練樣本比較，計(jì)算距離。errorCount = 0.0for i in range(numTestVecs):classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)#classifierResult是使用分類器測(cè)出來(lái)的結(jié)果，拿此結(jié)果和真實(shí)結(jié)果（datingLabels[i]）對(duì)比，如果一樣表示預(yù)測(cè)正確。#normMat[i,:]，表示norMat的第i行，第i取所有（：冒號(hào)表示所有），具體可看my_4_1_intro.py二維數(shù)組切片。#normMat[numTestVecs:m,:]表示從訓(xùn)練數(shù)據(jù)位置numTestVecs開始到最后一條數(shù)據(jù)m為止print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))if (classifierResult != datingLabels[i]): errorCount += 1.0 #統(tǒng)計(jì)錯(cuò)誤數(shù)。print("the total error rate is: %f" % (errorCount/float(numTestVecs))) #統(tǒng)計(jì)錯(cuò)誤率。print(errorCount)#這個(gè)代碼在原書自帶的源碼中沒(méi)找到，自己敲一遍吧。 def classifyPerson():resultList = ['沒(méi)有魅力', '魅力一般', '極具魅力']ffMiles = float(input("每年飛行公里數(shù)？"))percentTats=float(input("打游戲耗費(fèi)時(shí)間的百分比？"))iceCream = float(input("每周消費(fèi)的冰激凌?"))datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')normMat, ranges, minVals = autoNorm(datingDataMat)inArr = np.array([ffMiles,percentTats,iceCream])classifierResult = classify0((inArr-minVals)/ranges, normMat, datingLabels, 3)print("這個(gè)人：", resultList[classifierResult-1])if __name__ == '__main__':#1、2.1節(jié)代碼# createDataSet_test()#用于學(xué)習(xí)k近領(lǐng)核心算法classify0()# createDataSet_temp_test()#2、演示2.2.1和2.2.2。 2.2.1從文本文件中解析數(shù)據(jù)，2.2.2使用Matplotlib創(chuàng)建散點(diǎn)圖。file2matrix_test()#3、測(cè)試2.2.3# autoNorm_test()#4、測(cè)試2.2.4節(jié)#有了以上知識(shí)做鋪墊后，現(xiàn)在開始測(cè)試算法。測(cè)試算法# datingClassTest()#5、2.2.5完整可用系統(tǒng)。輸入一個(gè)條目屬性特征，返回這個(gè)人屬于哪類。# classifyPerson()

如有疑問(wèn)之處歡迎加我微信交流，共同進(jìn)步！請(qǐng)備注“CSDN博客”

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记(3)---K-近邻算法(1)---约会对象魅力程度分类的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。