一、聚類算法和相似度

在機器學習中，有兩類學習算法，一類是無監督學習，另一類是監督學習。聚類算法是無監督學習算法，一般構建用戶興趣屬性畫像等可應用聚類算法；而一般的分類算法是有監督學習，基于有標注的歷史數據進行算法模型構建 。?

聚類的定義可以是這樣的：對大量未知標注的數據集，按照數據內部存在的數據特征將數據集劃分為多個不同的類別，使得類別內的數據比較相似，類別間的數據相似度較小。重點是計算樣本之間的相似度，這個相似度有時候也稱為樣本間的距離。

那么聚類中如何度量相似度呢？一般有兩種方法，一種是對所有樣本作特征投影，另一種則是距離計算。前者主要從直觀的圖像上反應樣本之間的相似度關系，而后者則是通過衡量對象之間的差異度來反應樣本之間的相似度關系。

一些基礎概念：

1、范數（數學基礎） ?

向量的范數可以簡單、形象地理解為向量的長度，或者向量到坐標系原點的距離，或者相應空間內的兩點之間的距離。

向量的范數定義： 向量的范數是一個函數||x||,滿足非負性||x||>0,齊次性||cx||=|c|*||x||,三角不等式||x+y||<=||x||+||y||.

L1范數： ||x||為x向量各個元素絕對值之和。

L2范數： ||x||為x向量各個元素平方和的開方，L2范數又稱歐幾里得范數。

Lp范數： ||x||為x向量各個元素絕對值的p次方和的1/p次方。

L無窮范數： ||x||為x向量各個元素絕對值最大的那個元素。

2、n維空間

距離的計算是基于一定的n維空間上的。

例如采集1個億微信用戶樣本，他們的特征變量不太一樣，例如年齡、收入、性格、學歷、職業、興趣、生活作息習慣等等進行初步的量化轉化，作為輸入變量進行假設分析。 ?那么這一個億樣本里面，哪些人是能夠做為中產階級，哪些人是可以作為文藝青年？ ?可以建立文藝青年分類指標，然后分析每個樣本個體之間的接近或相似程度，分組建立關聯函數。 ?從直觀和簡單的分組概念出發，對于龐大的數據，也可以進行客觀的統計學分組劃分。 ?這里就會用到聚類分析方法，首先是測量樣本個體之間的差異或相似程度。 ?這里引入空間幾何概念，即將每個樣本當作一個點，分布在n維空間里，每個維度分別是年齡、收入、性格等。 ?如果兩個變量越接近，我們定義為兩個點之間的越相似或親密，這里使用“距離”的概念進行定義。 ?如果變量是數值型的變量，而非函數變量。那么可以使用如下空間和距離進行量化樣本之間的相似程度。

?

二、各種距離的計算和python實現

閔可夫斯基距離 (Minkowski Distance)
歐式距離 （Euclidean Distance）
曼哈頓距離 （Manhattan Distance）
切比雪夫距離 (Chebyshew Distance)
夾角余弦 (Cosine)
漢明距離 (Hamming Distance)
杰卡德相似系數 (Jaccard Similarity Coefficient)

?

1.閔可夫斯基距離 (Minkowski Distance)

嚴格意義上講，閔可夫斯基距離不能算是一種距離，而是一組距離的定義。
設有兩個n維向量A(x1,x2,x3,….xn)和B(y1,y2,y3,….yn)間的閔可夫斯基距離定義為：

其中p是一個參數。
當p=1時，就是曼哈頓距離；
當p=2時，就是歐式距離；
當p->無窮時，就是切比雪夫距離。

2.歐式距離 （Euclidean Distance）

歐式距離（L2范數）是最易于理解的一種距離計算方法，源于歐式空間中兩點間的距離公式。兩個n維向量A(x1,x2,x3,…xn)和B(y1,y2,y3,…..yn)間的歐式距離：

Python實現歐式距離：
from numpy import *

vector1=mat([1,2,3])
vector2=mat([4,5,6])

print sqrt((vector1-vector2)*(vector1-vector2).T)

3.曼哈頓距離 （Manhattan Distance）

曼哈頓距離也稱城市街區距離（City Block Distance）,也就是L1范數。
二維平面兩點A(x1,y1)和B(x2,y2)間的曼哈頓距離為：
d=|x2-x1|+|y2-y1|
兩個n維向量A(x1,x2,x3,…xn)和B(y1,y2,y3,….yn)間的曼哈頓距離為：

Python實現曼哈頓距離：
from numpy import *
vector1=mat([1,2,3])
vector2=mat([4,5,6])
print sum(abs(vector1-vector2))

4.切比雪夫距離 (Chebyshew Distance)

國際象棋中，國王每走一步能夠走到相鄰的8個方格中的任意一個，那么國王從A(x1,y1)走到B(x2,y2)最少需要多少步？最少步數總是max(|x2-x1|,|y2-y1|)步。類似的距離度量方法叫做切比雪夫距離（L無窮范數）。

n維向量A(x11,x12,x13,….x1n)和B(x21,x22,x23,….x2n)間的切比雪夫距離：

它的另一種等價形式為：

Python實現切比雪夫距離：
from numpy import *

vector1=mat([1,2,3])
vector2=mat([4,7,6])
print abs(vector1-vector2).max()

5.夾角余弦 (Cosine)

幾何中夾角余弦可用來衡量兩個向量方向的差異，機器學習中用這一概念衡量樣本向量之間的差異。
兩個n維樣本點A(x11,x12,x13,…x1n)與B(x21,x22,x23,…x2n)的夾角余弦：類似地，對于兩個樣本點A(x11,x12,x13,…x1n)與B(x21,x22,x23,…x2n),可以使用類似夾角余弦的概念來衡量他們間的相似程度。

即

python 實現向量夾角

from numpy import *

vector1=mat([1,2,3])
vector2=mat([4,7,6])

cosV12=dot(vector1,vector2)/(linalg.norm(vector1)*linalg.norm(vector2))
print cosV12

6.漢明距離 (Hamming Distance)

漢明距離的定義：兩個登場字符串s1和s2之間的漢明距離定義為將其中一個變為另外一個所需要的最小替換次數。
應用：信息編碼（為了增強容錯性，應使得編碼間的最小漢明距離盡可能大）

Python實現漢明距離

from numpy import *
matV=mat([1,1,0,1,1,0,1],[1,0,1,0,1,0,1])
smstr=nonzero(matV[0]-matV[1])
print shape(smstr[0]) [1]

7.杰卡德相似系數 (Jaccard Similarity Coefficient)

兩個集合A和B的交集元素在A、B的并集中所占的比率，稱為兩個集合的杰卡德相似系數。

杰卡德相似系數是衡量兩個集合相似度的一種指標。
杰卡德距離：與杰卡德相似系數相反的概念是杰卡德距離。

Python實現杰卡德距離
from numpy import *
import scipy.spatial.distance as dist #導入Scipy距離公式
matV=mat([1,1,0,1,0,1,0,0,1],[0,1,0,1,0,1,0,1,0])
print “dist.jaccard:”,dist.pdist(matV,’jaccard’)

總結

以上是生活随笔為你收集整理的聚类算法中各种距离的计算与python的具体实现代码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。