LASSO與Item Response Theory模型中的隱變量選擇

• Item Response Theory簡介
• • 統計模型
• Latent Traits Selection
• • 兩參數模型的LASSO
  • BIC for tuning
  • Latent traits selection的EM算法

這是Latent Variable Selection for Multidimensional Item Response Theory Models via L1 Regularization的簡單介紹。

---

Item Response Theory簡介

在心理學中，有很多用于測量個人特質（trait）與dichotomous-response、polytomous-response item（就是用一些二選或者多選的問題來看被試者在一些具體場景中的反應）的量表和實驗，基于這些量表與實驗的測量結果，心理學家可以發掘item-trait之間的關系。

下面是幾個二選的例子（如何應對壞男人）

下面是兩個多選問題的例子（gender-orientation的測試）

統計模型

Item Response Theory (IRT)就是很常用的描述item-trait relation的統計模型。用$\theta =({\theta }^1,?,{\theta }^K{)}^T$表示被試者的特質向量（這個是不可測量的），每一個分量表示被試者的一種潛在特質；考慮$J$個二選題組成的量表，用$Y_j$表示被試者對第$j$個問題的回答，假設我們討論兩參數模型
$$P(Y_j=1|\theta )=F(a_j^T\theta +b_j)$$

其中$a_j=(a_{j1},?,a_{jK}{)}^T$，$F(?)$是一個累積分布函數，定義
$$A=(a_1,?,a_J),b=(b_1,?,b_J{)}^T$$

稱$a_j$為discrimination parameter vector，$b_j$為difficulty parameter。如果$a_{jk}=0$，就可以認為特質$k$在被試者對第$j$個問題做出1的回應中起到了一定作用。于是，為了構建特質與被試者在不同情景中的反應之間的關系，我們希望找出在被試者對每一個問題做出回應的過程中起作用的那些特質，這個正是variable selection可以解決的。正式描述的話就是我們希望估計一個0-1矩陣
$$\Lambda =({\lambda }_{jk}{)}_{J\times K},{\lambda }_{jk}=I_{a_{jk}=0}$$

用來描述item-trait relation。

另外，關于$F$有兩種流行的選擇：
Normal Ogive Model
$$P(Y_j=1|\theta ,a_j,b_j)={\int }_{?\infty }^{a_j^T\theta +b_j}\frac{e^{?\frac{u^2}{2}}}{\sqrt{2\pi }}du$$

Logistics Model

$$P(Y_j=1|\theta ,a_j,b_j)=\frac{\exp (a_j^T\theta +b_j)}{1+\exp (a_j^T\theta +b_j)}$$

在原文中，作者也討論了一種三參數模型：
$$P(Y_j=1|\theta ,a_j,b_j,c_j)=c_j+(1?c_j)F(a_j^T\theta +b_j)$$

$c_j$表示guessing probability。

Latent Traits Selection

兩參數模型的LASSO

假設有$N$個被試者，他們對$J$個問題的回答用$Y=(Y_{ij}{)}_{N\times J}$表示，他們的特質滿足${\theta }_1,?,{\theta }_N{～}_{iid}N(0,\Sigma )$（概率密度記為$?(\theta )$），記$\Theta =({\theta }_1,?,{\theta }_N)$，于是兩參數模型的似然函數為（包含complete data $Y$與missing data $\Theta$）
$$L(A,b|Y,\Theta )=\prod _{i=1}^N?({\theta }_i)\prod _{j=1}^J[F(a_j^T{\theta }_i+b_j){]}^{y_{ij}}{\left[1?F(a_j^T{\theta }_i+b_j)\right]}^{1?y_{ij}}$$

complete data的對數似然為
$$l(A,b|Y)=\log {\int }_{\Theta \in {\mathbb{R}}^{K\times N}}L(A,b|Y,\Theta )d\Theta$$

用complete data的對數似然扣掉discrimination parameter的LASSO penalty作為score function，最大化score function可以得到參數的LASSO估計：
$$({\hat{A}}_{\eta },{\hat{b}}_{\eta })=\mathrm{argmax}l(A,b|Y)?\eta {\Vert A\Vert }_1$$

其中$\eta >0$是regularization parameter，
$${\Vert A\Vert }_1=\sum _{j=1}^J\sum _{k=1}^K|a_{jk}|$$

如果$\eta =0$，那么LASSO估計退化為MLE。

BIC for tuning

原文作者采用BIC選擇regularization parameter $\eta$，IRT的BIC定義為
$$\begin{gathered} BIC({\Lambda }^{?})=?2\underset{\Lambda (A)={\Lambda }^{?},b}{\max }l(A,b|Y)+{\Vert A\Vert }_0\log N \\ {\Vert A\Vert }_0=\sum _{j,k}{I}_{a_{jk}=0} \end{gathered}$$

在兩參數模型的LASSO中，我們可以按下面的步驟做tuning：

給定一個$\eta$的取值，得到兩參數模型的LASSO估計${\hat{A}}_{\eta },{\hat{b}}_{\eta }$

根據${\hat{A}}_{\eta }$寫出指標矩陣${\Lambda }_{\eta }=\Lambda ({\hat{A}}_{\eta })$

對于${\Lambda }_{\eta }$，計算$BIC({\Lambda }_{\eta })$

對于$\eta$取值的一個范圍，計算出對應的$BIC$后選出$BIC$最小的${\eta }^{?}$作為regularization parameter。

Latent traits selection的EM算法

這部分我暫時不關注，所以貼原文（希望了解更多細節與數值實驗的同學可以自行閱讀全文）

總結

以上是生活随笔為你收集整理的LASSO与Item Response Theory模型中的隐变量选择的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。