?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?非監(jiān)督學(xué)習(xí)

1 什么是非監(jiān)(unsupervised learning)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí)，就是不受監(jiān)督的學(xué)習(xí)，一種自由的學(xué)習(xí)方式。該學(xué)習(xí)方式不需要先驗知識進(jìn)行指導(dǎo)，而是不斷地自我認(rèn)知，自我鞏固，最后進(jìn)行自我歸納，在機(jī)器學(xué)習(xí)中，無監(jiān)督學(xué)習(xí)可以被簡單理解為不為訓(xùn)練集提供對應(yīng)的類別標(biāo)識（label），其與有監(jiān)督學(xué)習(xí)的對比如下： 有監(jiān)督學(xué)習(xí)（Supervised Learning）下的訓(xùn)練集：(x(1),y(1)),(x(2),y2)(x(1),y(1)),(x(2),y2)無監(jiān)督學(xué)習(xí)（Unsupervised Learning）下的訓(xùn)練集：(x(1)),(x(2)),(x(3))(x(1)),(x(2)),(x(3))在有監(jiān)督學(xué)習(xí)中，我們把對樣本進(jìn)行分類的過程稱之為分類（Classification），而在無監(jiān)督學(xué)習(xí)中，我們將物體被劃分到不同集合的過程稱之為聚類（Clustering）。

2?非監(jiān)督學(xué)習(xí)步驟

假設(shè)現(xiàn)在又1千個數(shù)據(jù)，有x1，x2兩個特征，現(xiàn)在對這1000個數(shù)據(jù)進(jìn)行聚類，首先聚類的話有多少個類別就聚成多少類，假設(shè)K是把數(shù)據(jù)劃分成多少個類別，這個個數(shù)是根據(jù)業(yè)務(wù)來定的，這個K值有兩種情況，一種是知道個數(shù)，一種是不知道，不知道個數(shù)的話就相當(dāng)于超參數(shù)。

假設(shè)知道K為3，那么怎么做呢？①隨機(jī)在數(shù)據(jù)中抽取3個樣本，當(dāng)做3個類別的中心點（k1，k2，k3）；

②計算其余的點分別到這3個中心點的距離，每一個樣本有3個距離（a，b，c），從中選出一個距離最近的點作為自己的標(biāo)記，形成3個族群；

③分別計算這3個族群的平均值，把3個平均值與之前的3個舊中心點進(jìn)行比較，如果相同，結(jié)束聚類，如果不同把這3個平均值當(dāng)做新的中心點，重復(fù)第二步。

3?非監(jiān)督學(xué)習(xí)之k-means

K-means通常被稱為勞埃德算法，這在數(shù)據(jù)聚類中是最經(jīng)典的，也是相對容易理解的模型。

K-means算法執(zhí)行的過程分為如下4個階段：

①隨機(jī)設(shè)置K個特征空間內(nèi)的點作為初始的聚類中心 ；

②對于其他每個點計算到K個中心的距離，未知的點選擇最近的一個聚類 中心點作為標(biāo)記類別 ；

③接著對著標(biāo)記的聚類中心之后，重新計算出每個聚類的新中心點（平 均值） ；

④如果計算得出的新中心點與原中心點一樣，那么結(jié)束，否則重新進(jìn)行 第二步過程

4 k-means API

sklearn.cluster.KMeans

sklearn.cluster.KMeans(n_clusters=8,init=‘k-means++’)

k-means聚類? ? ? ? ? ? ? ? ? ? n_clusters:開始的聚類中心數(shù)量 （就是把這些樣本分成多少個類別）

init:初始化方法，默認(rèn)為'k-means ++’? ? ? ? ? ? ? ? ? ? labels_:默認(rèn)標(biāo)記的類型，可以和真實值比較（不是值比較）

方法：

? ? ? ? ? ?fit(X,y=None)使用X作為訓(xùn)練數(shù)據(jù)擬合模型

? ? ? ? ? ?predict(X)預(yù)測新的數(shù)據(jù)所在的類別

屬性：

? ? ? ? ? ?clustercenters集群中心的點坐標(biāo)

? ? ? ? ? ?labels_每個點的類別

聚類是做在分類之前的，有的數(shù)據(jù)沒有目標(biāo)值的時候，應(yīng)該先做聚類，然后再預(yù)測類別。

?

5 Kmeans性能評估指標(biāo)

假設(shè)分為3個類別如下圖，當(dāng)聚類的時候最好的結(jié)果非常相似的樣本變成一個類別，那也就是說外部距離是最大的，內(nèi)部這些樣本是非常相似的。所以外部距離（族群與族群之間的距離），越大是越好的，內(nèi)部各樣本之間距離越小越好，這就是聚類的目的。

評估標(biāo)準(zhǔn)就是輪廓系數(shù)。那么是怎么評估的呢？對于每一個樣本都是有輪廓系數(shù)的，假設(shè)有一點藍(lán)1，①計算藍(lán)1到自身類別的點的距離的平均值記做ai；②分別計算藍(lán)1到紅色類別和綠色類別所有點的距離取出平均值b1，b2，取出最小值當(dāng)做bi；③藍(lán)1的輪廓系數(shù)就為（bi-ai）/(max(bi ai))；④在極端情況下，假設(shè)聚類非常好，外部距離非常大，內(nèi)部距離非常小，那么bi>>ai（bi遠(yuǎn)大于ai）那么輪廓系數(shù)就為1，如果情況最差ai>>bi，那么輪廓系數(shù)就為-1，所以每一個樣本的輪廓系數(shù)在[-1,1]區(qū)間，越靠近1是越好的

Kmeans性能評估指標(biāo)API?sklearn.metrics.silhouette_score

sklearn.metrics.silhouette_score(X, labels) 計算所有樣本的平均輪廓系數(shù)

X：特征值

labels：被聚類標(biāo)記的目標(biāo)值

?

6 案例

from sklearn.datasets import load_digits from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score # 加載數(shù)據(jù) ld = load_digits()# 聚類 k = KMeans(n_clusters=4) k.fit_transform(ld.data) print("每個點的類別",k.labels_[:20]) print("評論聚類效果的輪廓系數(shù)",silhouette_score(ld.data,k.labels_))

7 總結(jié)

特點分析：采用迭代式算法（一步一步修改中心點），直觀易懂并且非常實用

缺點：容易收斂到局部最優(yōu)解(多次聚類) ? ? ? ? ? ? ?

需要預(yù)先設(shè)定簇的數(shù)量(k-means++解決)

總結(jié)

以上是生活随笔為你收集整理的非监督学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。