PRML第二章下-非參數(shù)估計

• 1.直方圖
• 2. 核方法
• 3. K近鄰

概率密度建模-參數(shù)化方法-概率密度的形式一定，由數(shù)據(jù)集確定密度中的參數(shù)即可。

局限性–概率模型選的不對，不能夠描述數(shù)據(jù)模態(tài)

此時，介紹一下非參數(shù)方法–直方圖，核方法， K緊鄰

1.直方圖

直方圖–密度估計–每個直方處密度,$n_i$該直方內(nèi)的樣本數(shù)，N總樣本數(shù)，$\Delta$該直方寬度
$$p_i=\frac{n_i}{N{\Delta }_i}$$

缺點：

在直方交界處概率密度不連續(xù)

D維變量，每個維度都劃分成$M$維度，將會有$M^D$個箱子。

---

估計某個特定位置的概率密度，應(yīng)該考慮位于那個點的某個鄰域內(nèi)的數(shù)據(jù)點。
某個點處的概率密度–K 鄰域內(nèi)樣本數(shù)，$N$總樣本數(shù)，$V$鄰域半徑：
$$p(x)=\frac{K}{NV}$$

2. 核方法

固定鄰域大小，計算鄰域內(nèi)樣本數(shù)K。

Parzen 窗核函數(shù)密度估計(在窗中的才算):
$$p(x)=\frac{1}{N}\sum _{n=1}^N\frac{1}{h^D}k(\frac{x?x_n}{h})$$

高斯核密度估計(所有樣本都算)：
$$p(x)=\frac{1}{N}\sum _{n=1}^N\frac{1}{(2\pi h^2{)}^{\frac{D}{2}}}\exp ?\frac{||x?x_n|{|}^2}{2h^2}$$

3. K近鄰

固定鄰域內(nèi)樣本數(shù)K，計算包含K個樣本鄰域體積。

由K近鄰方法導(dǎo)出的K-NN 分類器。
數(shù)據(jù)集$N_k$個樣本屬于類別$C_k$,數(shù)據(jù)總數(shù)為$N$，如果想對數(shù)據(jù)$x$分類；以x為中心的球體中包含$C_k$類樣本$K_k$個，x 與每個類別關(guān)聯(lián)的概率：
$$p(x|C_k)=\frac{K_k}{V{N}_k}$$
類別先驗：
$$p(C_k)=\frac{N_k}{N}$$

x的后驗概率：
$$p(c_k|x)=\frac{p(x,C_k)}{p(x)}=\frac{\frac{K_k}{V{N}_k}\frac{N_k}{N}}{\frac{K}{VN}}=\frac{K_k}{K}$$

總結(jié)

以上是生活随笔為你收集整理的PRML(4)--Chapter2(下)-非参数估计的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。