MLE(maximum likelihood estimation最大似然估計(jì))：
之前用于訓(xùn)練HMM參數(shù)(A和B矩陣)所用的Baum-Welch算法和嵌入式訓(xùn)練時(shí)基于最大化訓(xùn)練數(shù)據(jù)的似然度的。MLE的替代方案是不再將最佳模型和數(shù)據(jù)相匹配，而是從其他模型中區(qū)分出最佳模型。鑒別性訓(xùn)練包括MMIE(最大互信息估計(jì)準(zhǔn)則，Woodland and Povey, 2002)使用NN/SVM分類(lèi)器，MCE(最小分類(lèi)錯(cuò)誤準(zhǔn)則，Chou et al., 1993;McDermott and Hazen, 2004)，MBR(最小貝葉斯風(fēng)險(xiǎn)估計(jì)準(zhǔn)則，Doumpiotis et al., 2003a)。

Maximum Mutual Information Estimation(最大互信息估計(jì))

MMIE準(zhǔn)則原理：
在O給定的情況下，描述對(duì)W的平均不確定性的度量是條件熵H(W|O)，寫(xiě)作：
$$H(W|O)=?\sum _{W,O}p(W,O)logp(W|O)=?E[logp(W|O)]$$
目標(biāo)是降低這個(gè)不確定度。在實(shí)際語(yǔ)音識(shí)別聲學(xué)建模過(guò)程中，通常使用一個(gè)參數(shù)化的模型/\來(lái)近似求的真實(shí)后驗(yàn)概率P(W|O).
$H_{\wedge }(W|O)=?E[\log p_{\wedge }(W|O)]$
最小化$H_{\wedge }(W|O)$的過(guò)程就是最大化互信息$I_{\wedge }(W;O)$的過(guò)程，這種情況下的MMI準(zhǔn)則實(shí)質(zhì)上等價(jià)于條件最大似然準(zhǔn)則(Conditional Maiximum Likelihood)

總結(jié)

以上是生活随笔為你收集整理的discriminative training鉴别性训练的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。