貝葉斯多元Logistic回歸理論基礎(chǔ)

• 多元Logistic分布
• • 一元Logit模型
  • 多元Logistic分布
  • • t分布近似
    • 多元分類數(shù)據(jù)的似然函數(shù)(t-近似)
• 后驗計算
• • 第一步：用t分布近似的MCMC算法
  • 第二步：重要性調(diào)整

原文：Bayesian Multivariate Logistic Regression by O’Brien and Dunson (2004)

多元Logistic分布

一元Logit模型

假設(shè)$Y_i\in \{0,1\}$表示樣本$i=1,?,n$的類別，并且$P(Y_i=1)=p_i$，則一元Logit模型的形式為
$$\log \frac{p_i}{1?p_i}=x_i^{\prime }\beta ,\beta \in {\mathbb{R}}^{q\times 1}$$

可以用輔助變量$Z_i$改寫這個模型。令$Y_i=1\{Z_i>0\}$，并且$Z_i～L(x_i^{\prime }\beta ,1)$（一元Logistisc分布），即
$$\begin{gathered} f(z_i)=\frac{\exp (?(z_i?x_i^{\prime }\beta ))}{[1+\exp (?(z_i?x_i^{\prime }\beta )){]}^2} \\ F(z_i)=\frac{1}{1+\exp (?(z_i?x_i^{\prime }\beta ))} \end{gathered}$$

可以驗證
$$\log \frac{p_i}{1?p_i}=\log \frac{1?F(0)}{F(0)}=\log \frac{1?\frac{1}{1+\exp (x_i^{\prime }\beta )}}{\frac{1}{1+\exp (x_i^{\prime }\beta )}}=x_i^{\prime }\beta$$

即用輔助變量改寫后的模型與原模型一致。

如果要把這個模型推廣到多元，比如$p$個類別的情況，仿照一元Logit模型，我們需要引入0-1向量$Y_i=(Y_{i1},?,Y_{ip})\in {\mathbb{R}}^p$，其中$Y_{ip}=1$代表樣本$i$屬于第$p$個類別。類似地，我們可以引入輔助變量$Z_{ij},j=1,?,p$表示多元Logit模型：
$$Y_{ij}=1\{Z_{ij}>0\}$$

其中$Z_{ij}～L(x_{ij}^{\prime }\beta ,1)$（邊緣分布）, $X_i^{\prime }=(x_{i1}^{\prime },?,x_{ip}^{\prime })\in {\mathbb{R}}^{p\times q}$。直接使用這個模型隱含的假設(shè)是$Z_{i1},?,Z_{ip}$互相獨立，而想要在模型中引入不同類別之間的相關(guān)性，則需要建立起定義多元Logistic分布的一般方法。

多元Logistic分布

引理1：假設(shè)$X$服從一個連續(xù)分布，它的CDF為$F$，則$F(X)～Unif(0,1)$

引理2：假設(shè)$Y～Unif(0,1)$，則$\mu +\log \frac{Y}{1?Y}～L(\mu ,1)$

根據(jù)引理1與引理2，我們可以獲得定義多元Logistic分布的一般方法：

選擇一個多元連續(xù)分布$X=(X_1,?,X_N)$，其中$X_1,?,X_N$的邊緣分布相同，且CDF均為$F$

定義$Z=(Z_1,?,Z_N)$，其中$Z_i={\mu }_i+{\sigma }_i\log \frac{F(X_i)}{1?F(X_i)}$，從而$Z_i～L({\mu }_i,{\sigma }_i)$

用這個方法定義的多元Logistic分布，不同類別之間的相關(guān)性由$X$的相關(guān)性決定。

t分布近似

一種可行的方案是假設(shè)$X=(X_1,?,X_p)$服從$p$元自由度為$\nu$，均值為$0$，scale matrix為$R$的多元t分布，記為$X～T_{p,v}(0,R)$，它的密度函數(shù)為
$$f(x|0,R)=\frac{\Gamma (\frac{\nu +p}{2})}{\Gamma (\frac{\nu }{2})(\nu \pi {)}^{\frac{p}{2}}|R{|}^{\frac{1}{2}}}{\left(1+\frac{1}{\nu }{x}^{\prime }{R}^{?1}x\right)}^{?\frac{\nu +p}{2}}$$

它的任意分量$X_i$服從自由度為$\nu$的一元t分布，記CDF為$T_{\nu }$。定義$Z=(Z_1,?,Z_p)$，其中$Z_i={\mu }_i+\log \frac{T_{\nu }(X_i)}{1?T_{\nu }(X_i)}$，則$Z～L_{p,\nu }(\mu ,R)$。這個方案的優(yōu)勢在于1993年，Albert and Chib發(fā)現(xiàn)$L_{1,\nu }(\mu ,R)$與$T_{1,\nu }(\mu ,{\sigma }^{2}R)$非常接近，以兩個密度函數(shù)的L2 distance最小作為標準的話，可以取$\nu =7.3$，${\sigma }^2={\pi }^2\frac{\nu ?2}{3\nu }$（下文后驗相關(guān)計算均用這兩個取值）。因此，用這個方案建模時的計算思路為，根據(jù)t分布作為總體分布，用Gibbs采樣得到后驗樣本，在用后驗樣本進行推斷時，用重要性權(quán)重對樣本進行調(diào)整。

多元分類數(shù)據(jù)的似然函數(shù)(t-近似)

假設(shè)一組分類數(shù)據(jù)為$\{(X_i,y_i)\}$，其中$y_i$是p維的0-1向量，代表類別信息，$X_i$是$p\times q$維的矩陣，代表解釋變量，根據(jù)上述推導(dǎo)，樣本的似然函數(shù)為
$$\begin{gathered} L(\beta ,R)=\prod _{i=1}^{n}P(Y_i=y_i) \\ =\prod _{i=1}^n\int \left[\prod _{j=1}^{p}1\{z_{ij}>0{\}}^{y_{ij}}\{z_{ij}<0{\}}^{1?y_{ij}}\right]L_{p,v}(z_i|X_i\beta ,R)d{z}_i \\ \approx \prod _{i=1}^n\int \left[\prod _{j=1}^{p}1\{z_{ij}>0{\}}^{y_{ij}}\{z_{ij}<0{\}}^{1?y_{ij}}\right]T_{p,v}(z_i|X_i\beta ,{\sigma }^{2}R)d{z}_i \end{gathered}$$

后驗計算

用Normal-Inverse Gamma Mixture代替似然中的t分布，得到的模型如下：
$$\begin{gathered} y_{ij}=1\{z_{ij}>0\} \\ {z}_i|\beta ,R,{?}_i～N_p(X_i\beta ,{\sigma }^2{?}_i^{?1}R) \\ {?}_i|\beta ,R～Gamma(0.5\nu ,0.5\nu ) \end{gathered}$$

引入$\beta$與$R$的先驗：$\beta ～N_q({\beta }_0,{\Sigma }_{\beta })$，$R$的先驗可以是支撐集為所有相關(guān)性系數(shù)矩陣上的任意分布。

第一步：用t分布近似的MCMC算法

第二步：重要性調(diào)整

用$\{({\beta }^{(t)},R^{(t)}){\}}_{t=1}^T$表示一組后驗樣本，則估計后驗均值$Eh(\beta ,R)$的公式為
$$\sum _{t=1}^T\frac{h({\beta }^{(t)},R^{(t)})}{T}$$

但是因為這組后驗樣本是根據(jù)近似的總體分布導(dǎo)出的后驗分布中采樣得到的，所以我們還需要根據(jù)重要性權(quán)重對樣本進行調(diào)整，用$w^{(t)}$表示第$t$個后驗樣本的權(quán)重，$\pi (\beta ,R,z|y)$代表近似的似然導(dǎo)出的后驗，$\pi (\beta ,R,z|y)$代表用真實的似然導(dǎo)出的后驗，則
其中
$$e_{ij}=T_{\nu }^{?1}(\frac{e^{z_{ij}?x_{ij}^{\prime }{\beta }^{(t)}}}{1+e^{z_{ij}?x_{ij}^{\prime }{\beta }^{(t)}}})$$

總結(jié)

以上是生活随笔為你收集整理的贝叶斯多元Logistics回归理论基础的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。