文章目錄

• 距離計算
• 1. 閔可夫斯基距離（有序?qū)傩?#xff09;
• • 1.1 曼哈頓距離
  • 1.2 歐氏距離
• 2. VDM 距離（無序?qū)傩?#xff09;
• 3. MinkovDM 距離（混合屬性）
• 4. 加權(quán)距離（重要性不同）
• 參考資料

相關(guān)文章：

機(jī)器學(xué)習(xí) | 目錄

機(jī)器學(xué)習(xí) | 聚類評估指標(biāo)

無監(jiān)督學(xué)習(xí) | KMeans與KMeans++原理

無監(jiān)督學(xué)習(xí) | KMeans之Skleaen實現(xiàn)：電影評分聚類

距離計算

對函數(shù) $dist(?,?)$ ，若它是一個“距離度量”（distance measure），則需滿足一些基本性質(zhì)：^[1]

$$\begin{array}{rl}& 非負(fù)性：dist(x_i,x_j)\ge 0;\\ & 同一性：dist(x_i,x_j)=0當(dāng)且僅當(dāng)x_i=x_j;\\ & 對稱性：dist(x_i,x_j)=dist(x_j,x_i)\\ & 直遞性：dist(x_i,x_j)\le dist(x_i,x_k)+dist(x_k,x_j)【三角不等式】\end{array}\text{\hspace{1em}(1)}$$

1. 閔可夫斯基距離（有序?qū)傩?#xff09;

給定樣本 $x_i=(x_{i1},x_{i2},?,x_{in})$ 與 $x_j=(x_{j1},x_{j2},?,x_{jn})$ ，最常用的是“閔可夫斯基距離”（Minkowski distance）

$$dis{t}_{mk}(x_i,x_j)=(\sum _{u=1}^n|x_{iu}?x_{ju}{|}^p{)}^{\frac{1}{p}}\text{\hspace{1em}(2)}$$

對 $p\ge 1$，式 2 明顯滿足公式 1 的距離度量基本性質(zhì)。

當(dāng) $p\to \infty 時，則得到切比雪夫距離$

1.1 曼哈頓距離

當(dāng) $p=1$ 時，閔可夫斯基距離即曼哈頓距離（Manhattan distance），亦稱“街區(qū)距離”（city block distance）：

$$dis{t}_{man}(x_i,x_j)=\Vert x_i?x_j{\Vert }_1=\sum _{u=1}^n|x_{iu}?x_{ju}|\text{\hspace{1em}(3)}$$

1.2 歐氏距離

當(dāng) $p=2$ 時，閔可夫斯基距離即歐式距離（Euclidean distance）：

$$dis{t}_{ed}(x_i,x_j)=\Vert x_i,x_j{\Vert }_2=\sqrt{\sum _{u=1}^n|x_{iu}?x_{ju}{|}^2}\text{\hspace{1em}(4)}$$

我們常將屬性劃分為“連續(xù)屬性”（continuous attribute）和“離散屬性”（categorical attribute），前者在定義域上有無窮多個可能的取值，后者在定義域上是有限個取值。

然而，在討論距離計算時，屬性上是否定義了“序”關(guān)系更為重要。例如定義域 {1,2,3} 的離散屬性與連續(xù)屬性的性質(zhì)更接近一些，能直接在屬性值上結(jié)算距離：“1”與“2”比較接近、與“3”比較遠(yuǎn)，這樣的屬性稱為“有序?qū)傩浴?#xff08;ordinal attribute）；而定義域 {飛機(jī), 火車, 輪船} 這樣的離散屬性則不能直接在屬性值上計算距離，稱為“無序?qū)傩浴?#xff08;non-ordinal attribute）。

顯然，閔可夫斯基距離可用于連續(xù)屬性和有序?qū)傩浴?/p>

連續(xù)屬性亦稱“數(shù)值屬性”（numerical attribute），“離散屬性”亦稱“列名屬性“（nominal attribute）

2. VDM 距離（無序?qū)傩?#xff09;

對無需屬性可采用VDM（Value Difference Metric）。令 $m_{u,a}$ 表示在屬性 $u$ 上取值為 $a$ 的樣本數(shù)，$k$ 為樣本數(shù)， $m_{u,a,i}$ 表示在第 $i$ 個樣本簇中在屬性 $u$ 上取值為 $a$ 的樣本數(shù)，$k$ 為樣本簇數(shù)，則屬性 $u$ 上兩個離散值 $a$ 與 $b$ 之間的 VDM 距離為：

$$VD{M}_p(a,b)=\sum _{i=1}^k|\frac{m_{u,a,i}}{m_{u,a}}?\frac{m_{u,b,i}}{m_{u,b}}{|}^p\text{\hspace{1em}(5)}$$

3. MinkovDM 距離（混合屬性）

將閔可夫斯基距離和 VDM 距離結(jié)合即可處理混合屬性。假定有 $n_c$ 個有序?qū)傩浴?$n?n_c$ 個無序?qū)傩?#xff0c;不失一般性，令有序?qū)傩耘帕性跓o序?qū)傩灾?#xff0c;則

$$MinkovD{M}_p(x_i,x_j)=(\sum _{u=1}^{n_c}|x_{iu}?x_{ju}{|}^p+\sum _{u=n_c+1}^{n}VD{M}_p(x_{iu},x_{ju}){)}^{\frac{1}{p}}\text{\hspace{1em}(6)}$$

4. 加權(quán)距離（重要性不同）

當(dāng)樣本空間中不同屬性的重要性不同時，可使用“加權(quán)距離”（weighted distance）。

以加權(quán)閔可夫斯基距離為例：

$$dis{t}_{wmk}(x_i,x_j)=(\sum _{u=1}^n{w}_u|x_{iu}?x_{ju}{|}^p{)}^{\frac{1}{p}}\text{\hspace{1em}(7)}$$

參考資料

[1] 周志華. 機(jī)器學(xué)習(xí)[M]. 北京: 清華大學(xué)出版社, 2016: 199-200.

總結(jié)

以上是生活随笔為你收集整理的机器学习 | 距离计算的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。