一，無監督學習簡介

? ? ?在這個博文中，我將開始介紹聚類算法。這是我們學習的一個非監督學習算法。我們將要讓計算機學習無標簽數據，而不是此前的標簽數據。那么，什么是非監督學習呢？在本系列博文的一開始，我曾簡單的介紹過非監督學習，然而，我們還是有必要將其與監督學習做一下比較。在一個典型的監督學習中，我們有一個有標簽的訓練集，我們的目標是找到能夠區分正樣本和負樣本的決策邊界，在這里的監督學習中，我們有一系列標簽，我們需要據此擬合一個假設函數。與此不同的是，在非監督學習中，我們的數據沒有附帶任何標簽，我們拿到的數據就是這樣的：

? 在這里我們有一系列點，卻沒有標簽。因此，我們的訓練集可以寫成只有 x⁽¹⁾,x⁽²⁾…..一直到 x^(m)。我們沒有任何標簽 y。因此，圖上畫的這些點沒有標簽信息。也就是說，在非監督學習中，我們需要將一系列無標簽的訓練數據，輸入到一個算法中，然后我們告訴這個算法，快去為我們找找這個數據的內在結構給定數據。我們可能需要某種算法幫助我們尋找一種結構。圖上的數據看起來可以分成兩個分開的點集（稱為簇），一個能夠找到我圈出的這些點集的算法，就被稱為聚類算法。這將是我們介紹的第一個非監督學習算法。當然，此后我們還將提到其他類型的非監督學習算法，它們可以為我們找到其他類型的結構或者其他的一些模式，而不只是簇。我們將先介紹聚類算法。此后，我們將陸續介紹其他算法。那么聚類算法一般用來做什么呢？

? ?聚類算法能做什么：

? ? 比如市場分割。也許你在數據庫中存儲了許多客戶的信息，而你希望將他們分成不同的客戶群，這樣你可以對不同類型的客戶分別銷售產品或者分別提供更適合的服務。社交網絡分析：事實上有許多研究人員正在研究這樣一些內容，他們關注一群人，關注社交網絡，例如 Facebook， Google+，或者是其他的一些信息，比如說：你經常跟哪些人聯系，而這些人又經常給哪些人發郵件，由此找到關系密切的人群。因此，這可能需要另一個聚類算法，你希望用它發現社交網絡中關系密切的朋友。也可以使用聚類算法來更好的組織計算機集群，或者更好的管理數據中心。因為如果你知道數據中心中，那些計算機經常協作工作。那么，你可以重新分配資源，重新布局網絡。由此優化數據中心，優化數據通信。最后，還可研究如何利用聚類算法了解星系的形成。然后用這個知識，了解一些天文學上的細節問題。好的，這就是聚類算法。這將是我們介紹的第一個非監督學習算法。

二，K-均值算法

K-均值是最普及的聚類算法，算法接受一個未標記的數據集，然后將數據聚類成不同的組。K-均值是一個迭代算法，假設我們想要將數據聚類成?n 個組，其方法為:

? 1，首先選擇 K?個隨機的點，稱為聚類中心（cluster centroids）；

? 2，對于數據集中的每一個數據，按照距離 K?個中心點的距離，將其與距離最近的中心點關聯起來，與同一個中心點關聯的所有點聚成一類。

? 3，計算每一個組的平均值，將該組所關聯的中心點移動到平均值的位置。

?重復步驟 2-3?直至中心點不再變化。

下面是一個聚類示例：

迭代第一次

迭代第二次

迭代第10次

用 μ¹,μ²,...,μ^k?來表示聚類中心，用 c⁽¹⁾,c⁽²⁾,...,c^(m)來存儲與第 i?個實例數據最近的聚類中心的索引，K-均值算法的偽代碼如下：

?

Repeat {

for i = 1 to m

c⁽ⁱ⁾?:= index (form 1 to K) of cluster centroid closest to x⁽ⁱ⁾

?

for k = 1 to K

μk?:= average (mean) of points assigned to cluster k

}

? 算法分為兩個步驟，第一個 for?循環是賦值步驟，即：對于每一個樣例 i，計算其應該屬于的類。第二個 for?循環是聚類中心的移動，即：對于每一個類 k，重新計算該類的質心。K-均值算法也可以很便利地用于將數據分為許多不同組，即使在沒有非常明顯區分的組群的情況下也可以。下圖所示的數據集包含身高和體重兩項特征構成的，利用 K-均值算法將數據分為三類，用于幫助確定將要生產的 T-恤衫的三種尺寸。

三，優化代價函數

K-均值最小化問題，是要最小化所有的數據點與其所關聯的聚類中心點之間的距離之和，因此 K-均值的代價函數（又稱畸變函數?Distortion function）為：

其中 μc(i)代表與 x⁽ⁱ⁾最近的聚類中心點。我們的的優化目標便是找出使得代價函數最小的 c⁽¹⁾,c⁽²⁾,...,c^(m)和 μ¹,μ²,...,μ^k：

回顧剛才給出的 K-均值迭代算法，我們知道，第一個循環是用于減小 c⁽ⁱ⁾引起的代價，而第二個循環則是用于減小 μi?引起的代價。迭代的過程一定會是每一次迭代都在減小代價函數，不然便是出現了錯誤。

四，隨機初始化

在運行 K-均值算法的之前，我們首先要隨機初始化所有的聚類中心點，下面介紹怎樣做：

?

1.?我們應該選擇 K<m，即聚類中心點的個數要小于所有訓練集實例的數量

2.?隨機選擇 K?個訓練實例，然后令 K?個聚類中心分別與這 K?個訓練實例相等

K-均值的一個問題在于，它有可能會停留在一個局部最小值處，而這取決于初始化的情況。

?為了解決這個問題，我們通常需要多次運行 K-均值算法，每一次都重新進行隨機初始化，最后再比較多次運行 K-均值的結果，選擇代價函數最小的結果。這種方法在 K?較小的時候（2--10）還是可行的，但是如果 K?較大，這么做也可能不會有明顯地改善。

?? 五，選擇聚類數

? 沒有所謂最好的選擇聚類數的方法，通常是需要根據不同的問題，人工進行選擇的。選擇的時候思考我們運用 K-均值算法聚類的動機是什么，然后選擇能最好服務于該目的標聚類數。當人們在討論，選擇聚類數目的方法時，有一個可能會談及的方法叫作“肘部法則”。關于“肘部法則”，我們所需要做的是改變 K?值，也就是聚類類別數目的總數。我們用一個聚類來運行 K?均值聚類方法。這就意味著，所有的數據都會分到一個聚類里，然后計算成本函數或者計算畸變函數 J。K?代表聚類數字。

? ? 我們可能會得到一條類似于這樣的曲線。像一個人的肘部。這就是“肘部法則”所做的，讓我們來看這樣一個圖，看起來就好像有一個很清楚的肘在那兒。好像人的手臂，如果你伸出你的胳膊，那么這就是你的肩關節、肘關節、手。這就是“肘部法則”。你會發現這種模式，它的畸變值會迅速下降，從 1?到 2，從 2?到 3?之后，你會在 3?的時候達到一個肘點。在此之后，畸變值就下降的非常慢，看起來就像使用 3?個聚類來進行聚類是正確的，這是因為那個點是曲線的肘點，畸變值下降得很快，K?等于 3?之后就下降得很慢，那么我們就選 K?等于 3。當你應用“肘部法則”的時候，如果你得到了一個像上面這樣的圖，那么這將是一種 用來選擇聚類個數的合理方法。例如，我們的 T-恤制造例子中，我們要將用戶按照身材聚類，我們可以分成 3?個尺寸S,M,L 也可以分成?5 個尺寸?XS,S,M,L,XL，這樣的選擇是建立在回答“聚類后我們制造的?T-恤是否能較好地適合我們的客戶”這個問題的基礎上作出的。

?

總結

以上是生活随笔為你收集整理的机器学习15-k-均值算法表述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。