貝葉斯多元Logistic回歸理論基礎

• 多元Logistic分布
• • 一元Logit模型
  • 多元Logistic分布
  • • t分布近似
    • 多元分類數據的似然函數(t-近似)
• 后驗計算
• • 第一步：用t分布近似的MCMC算法
  • 第二步：重要性調整

原文：Bayesian Multivariate Logistic Regression by O’Brien and Dunson (2004)

多元Logistic分布

一元Logit模型

假設$Y_i\in \{0,1\}$表示樣本$i=1,?,n$的類別，并且$P(Y_i=1)=p_i$，則一元Logit模型的形式為
$$\log \frac{p_i}{1?p_i}=x_i^{\prime }\beta ,\beta \in {\mathbb{R}}^{q\times 1}$$

可以用輔助變量$Z_i$改寫這個模型。令$Y_i=1\{Z_i>0\}$，并且$Z_i～L(x_i^{\prime }\beta ,1)$（一元Logistisc分布），即
$$\begin{gathered} f(z_i)=\frac{\exp (?(z_i?x_i^{\prime }\beta ))}{[1+\exp (?(z_i?x_i^{\prime }\beta )){]}^2} \\ F(z_i)=\frac{1}{1+\exp (?(z_i?x_i^{\prime }\beta ))} \end{gathered}$$

可以驗證
$$\log \frac{p_i}{1?p_i}=\log \frac{1?F(0)}{F(0)}=\log \frac{1?\frac{1}{1+\exp (x_i^{\prime }\beta )}}{\frac{1}{1+\exp (x_i^{\prime }\beta )}}=x_i^{\prime }\beta$$

即用輔助變量改寫后的模型與原模型一致。

如果要把這個模型推廣到多元，比如$p$個類別的情況，仿照一元Logit模型，我們需要引入0-1向量$Y_i=(Y_{i1},?,Y_{ip})\in {\mathbb{R}}^p$，其中$Y_{ip}=1$代表樣本$i$屬于第$p$個類別。類似地，我們可以引入輔助變量$Z_{ij},j=1,?,p$表示多元Logit模型：
$$Y_{ij}=1\{Z_{ij}>0\}$$

其中$Z_{ij}～L(x_{ij}^{\prime }\beta ,1)$（邊緣分布）, $X_i^{\prime }=(x_{i1}^{\prime },?,x_{ip}^{\prime })\in {\mathbb{R}}^{p\times q}$。直接使用這個模型隱含的假設是$Z_{i1},?,Z_{ip}$互相獨立，而想要在模型中引入不同類別之間的相關性，則需要建立起定義多元Logistic分布的一般方法。

多元Logistic分布

引理1：假設$X$服從一個連續分布，它的CDF為$F$，則$F(X)～Unif(0,1)$

引理2：假設$Y～Unif(0,1)$，則$\mu +\log \frac{Y}{1?Y}～L(\mu ,1)$

根據引理1與引理2，我們可以獲得定義多元Logistic分布的一般方法：

選擇一個多元連續分布$X=(X_1,?,X_N)$，其中$X_1,?,X_N$的邊緣分布相同，且CDF均為$F$

定義$Z=(Z_1,?,Z_N)$，其中$Z_i={\mu }_i+{\sigma }_i\log \frac{F(X_i)}{1?F(X_i)}$，從而$Z_i～L({\mu }_i,{\sigma }_i)$

用這個方法定義的多元Logistic分布，不同類別之間的相關性由$X$的相關性決定。

t分布近似

一種可行的方案是假設$X=(X_1,?,X_p)$服從$p$元自由度為$\nu$，均值為$0$，scale matrix為$R$的多元t分布，記為$X～T_{p,v}(0,R)$，它的密度函數為
$$f(x|0,R)=\frac{\Gamma (\frac{\nu +p}{2})}{\Gamma (\frac{\nu }{2})(\nu \pi {)}^{\frac{p}{2}}|R{|}^{\frac{1}{2}}}{\left(1+\frac{1}{\nu }{x}^{\prime }{R}^{?1}x\right)}^{?\frac{\nu +p}{2}}$$

它的任意分量$X_i$服從自由度為$\nu$的一元t分布，記CDF為$T_{\nu }$。定義$Z=(Z_1,?,Z_p)$，其中$Z_i={\mu }_i+\log \frac{T_{\nu }(X_i)}{1?T_{\nu }(X_i)}$，則$Z～L_{p,\nu }(\mu ,R)$。這個方案的優勢在于1993年，Albert and Chib發現$L_{1,\nu }(\mu ,R)$與$T_{1,\nu }(\mu ,{\sigma }^{2}R)$非常接近，以兩個密度函數的L2 distance最小作為標準的話，可以取$\nu =7.3$，${\sigma }^2={\pi }^2\frac{\nu ?2}{3\nu }$（下文后驗相關計算均用這兩個取值）。因此，用這個方案建模時的計算思路為，根據t分布作為總體分布，用Gibbs采樣得到后驗樣本，在用后驗樣本進行推斷時，用重要性權重對樣本進行調整。

多元分類數據的似然函數(t-近似)

假設一組分類數據為$\{(X_i,y_i)\}$，其中$y_i$是p維的0-1向量，代表類別信息，$X_i$是$p\times q$維的矩陣，代表解釋變量，根據上述推導，樣本的似然函數為
$$\begin{gathered} L(\beta ,R)=\prod _{i=1}^{n}P(Y_i=y_i) \\ =\prod _{i=1}^n\int \left[\prod _{j=1}^{p}1\{z_{ij}>0{\}}^{y_{ij}}\{z_{ij}<0{\}}^{1?y_{ij}}\right]L_{p,v}(z_i|X_i\beta ,R)d{z}_i \\ \approx \prod _{i=1}^n\int \left[\prod _{j=1}^{p}1\{z_{ij}>0{\}}^{y_{ij}}\{z_{ij}<0{\}}^{1?y_{ij}}\right]T_{p,v}(z_i|X_i\beta ,{\sigma }^{2}R)d{z}_i \end{gathered}$$

后驗計算

用Normal-Inverse Gamma Mixture代替似然中的t分布，得到的模型如下：
$$\begin{gathered} y_{ij}=1\{z_{ij}>0\} \\ {z}_i|\beta ,R,{?}_i～N_p(X_i\beta ,{\sigma }^2{?}_i^{?1}R) \\ {?}_i|\beta ,R～Gamma(0.5\nu ,0.5\nu ) \end{gathered}$$

引入$\beta$與$R$的先驗：$\beta ～N_q({\beta }_0,{\Sigma }_{\beta })$，$R$的先驗可以是支撐集為所有相關性系數矩陣上的任意分布。

第一步：用t分布近似的MCMC算法

第二步：重要性調整

用$\{({\beta }^{(t)},R^{(t)}){\}}_{t=1}^T$表示一組后驗樣本，則估計后驗均值$Eh(\beta ,R)$的公式為
$$\sum _{t=1}^T\frac{h({\beta }^{(t)},R^{(t)})}{T}$$

但是因為這組后驗樣本是根據近似的總體分布導出的后驗分布中采樣得到的，所以我們還需要根據重要性權重對樣本進行調整，用$w^{(t)}$表示第$t$個后驗樣本的權重，$\pi (\beta ,R,z|y)$代表近似的似然導出的后驗，$\pi (\beta ,R,z|y)$代表用真實的似然導出的后驗，則
其中
$$e_{ij}=T_{\nu }^{?1}(\frac{e^{z_{ij}?x_{ij}^{\prime }{\beta }^{(t)}}}{1+e^{z_{ij}?x_{ij}^{\prime }{\beta }^{(t)}}})$$

總結

以上是生活随笔為你收集整理的贝叶斯多元Logistics回归理论基础的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。