自然語言處理中的近似訓練

跳字模型的核心在于使用softmax運算得到給定中心詞$w_c$來生成背景詞$w_o$的條件概率

$$P(w_o\mid w_c)=\frac{\text{exp}({\mathbf{u}}_o^{?}{\mathbf{v}}_c)}{{\sum }_{i\in \mathcal{V}}\text{exp}({\mathbf{u}}_i^{?}{\mathbf{v}}_c)}.$$

該條件概率相應的對數損失

$$?\log P(w_o\mid w_c)=?{\mathbf{u}}_o^{?}{\mathbf{v}}_c+\log \left(\sum _{i\in \mathcal{V}}\text{exp}({\mathbf{u}}_i^{?}{\mathbf{v}}_c)\right).$$

由于softmax運算考慮了背景詞可能是詞典$\mathcal{V}$中的任一詞，以上損失包含了詞典大小數目的項的累加。不論是跳字模型還是連續詞袋模型，由于條件概率使用了softmax運算，每一步的梯度計算都包含詞典大小數目的項的累加。

對于含幾十萬或上百萬詞的較大詞典，每次的梯度計算開銷可能過大。為了降低該計算復雜度，我們可以使用兩種近似訓練方法，即負采樣（negative sampling）或層序softmax（hierarchical softmax）。由于跳字模型和連續詞袋模型類似，本節僅以跳字模型為例介紹這兩種方法。

負采樣（negative sampling）

負采樣修改了原來的目標函數。給定中心詞$w_c$的一個背景窗口，我們把背景詞$w_o$出現在該背景窗口看作一個事件，并將該事件的概率計算為

$$P(D=1\mid w_c,w_o)=\sigma ({\mathbf{u}}_o^{?}{\mathbf{v}}_c)$$

其中的$\sigma$函數與sigmoid激活函數的定義相同：

$$\sigma (x)=\frac{1}{1+\exp (?x)}.$$

我們先考慮最大化文本序列中所有該事件的聯合概率來訓練詞向量。具體來說，給定一個長度為$T$的文本序列，設時間步$t$的詞為$w^{(t)}$且背景窗口大小為$m$，考慮最大化聯合概率

$$\prod _{t=1}^T\prod _{?m\le j\le m,j=0}P(D=1\mid w^{(t)},w^{(t+j)}).$$

然而，以上模型中包含的事件僅考慮了正類樣本。這導致當所有詞向量相等且值為無窮大時，以上的聯合概率才被最大化為1。很明顯，這樣的詞向量毫無意義。

負采樣通過采樣并添加負類樣本使目標函數更有意義。設背景詞$w_o$出現在中心詞$w_c$的一個背景窗口為事件$P$，我們根據分布$P(w)$采樣$K$個未出現在該背景窗口中的詞，即噪聲詞。設噪聲詞$w_k$（$k=1,\dots ,K$）不出現在中心詞$w_c$的該背景窗口為事件$N_k$。假設同時含有正類樣本和負類樣本的事件$P,N_1,\dots ,N_K$相互獨立，負采樣將以上需要最大化的僅考慮正類樣本的聯合概率改寫為

$$\prod _{t=1}^T\prod _{?m\le j\le m,j=0}P(w^{(t+j)}\mid w^{(t)}),$$

其中條件概率被近似表示為 $$P(w^{(t+j)}\mid w^{(t)})=P(D=1\mid w^{(t)},w^{(t+j)})\prod _{k=1,w_k～P(w)}^{K}P(D=0\mid w^{(t)},w_k).$$

設文本序列中時間步$t$的詞$w^{(t)}$在詞典中的索引為$i_t$，噪聲詞$w_k$在詞典中的索引為$h_k$。有關以上條件概率的對數損失為

$$\begin{array}{rl}?\log P(w^{(t+j)}\mid w^{(t)})=& ?\log P(D=1\mid w^{(t)},w^{(t+j)})?\sum _{k=1,w_k～P(w)}^K\log P(D=0\mid w^{(t)},w_k)\\ =& ?\log \sigma \left({\mathbf{u}}_{i_{t+j}}^{?}{\mathbf{v}}_{i_t}\right)?\sum {k=1,w_k～P(w)}^K\log \left(1?\sigma \left({\mathbf{u}}_{h_k}^{?}{\mathbf{v}}_{i_t}\right)\right)\\ =& ?\log \sigma \left({\mathbf{u}}_{i_{t+j}}^{?}{\mathbf{v}}_{i_t}\right)?\sum {k=1,w_k～P(w)}^K\log \sigma \left(?{\mathbf{u}}_{h_k}^{?}{\mathbf{v}}_{i_t}\right).\end{array}$$

現在，訓練中每一步的梯度計算開銷不再與詞典大小相關，而與$K$線性相關。當$K$取較小的常數時，負采樣在每一步的梯度計算開銷較小。

總結

以上是生活随笔為你收集整理的深度学习-自然语言处理中的近似训练的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。