在對(duì)語言建模之前，先來說明一些基本的簡單的概念。

我們假設(shè)：

有這樣一個(gè)集合，在這個(gè)集合里面，是我們所有的涉及到的單詞集,并且這個(gè)單詞的集合是有限的（finite）。為了表示這個(gè)集合，用字母V來表示，例如V={the，a,man,telescopo,Beckham,two…}

有了單詞的集合，然后還需要有一個(gè)單詞串的集合，為了更形象的解釋，比如：

the STOP

a STOP

the fan STOP

the fan saw Beckham STOP

the fan saw saw STOP

the fan saw Beckham play for Real Madrid STOP

…

這個(gè)單詞串的集合使用V+來表示。

為什么在每個(gè)的末尾要加一個(gè)STOP呢，這在以后的學(xué)習(xí)當(dāng)中會(huì)用到，他有利于幫助我們開發(fā)一個(gè)概率模型。（convenient start to develop a probabilistic model）

現(xiàn)在有了上面的定義，繼續(xù)探討自然語言處理建模當(dāng)中的問題。

現(xiàn)在：

• 我們有一個(gè)有許多句子的樣本，叫它訓(xùn)練樣本training sample.
• 我們需要學(xué)習(xí)一個(gè)概率分布p(learn a probability distribution p),p滿足下面的條件：

???????

????????? 這個(gè)公式向我們表明了，x屬于V+當(dāng)中的元素，所有其中的元素的概率相加結(jié)果應(yīng)該是1.

為了更形象的說明P是什么，可以看下面的例子：

那么，整體的流程是怎樣的呢？

我們把training sample測試樣本當(dāng)中的句子當(dāng)作輸入input,經(jīng)過模型的處理，最終的輸出便是p（output）。這是我們建立模型的作用。

為什么要做這些事情（這些事情指的是上面的準(zhǔn)備測試樣本，計(jì)算概率、建模等）？

起初，研究這些是為了解決語音識(shí)別當(dāng)中遇到的難題，相關(guān)的還有手寫識(shí)別等。這些技術(shù)的發(fā)展在NLP的很多領(lǐng)域樓來都證明十分的有用。

這些概率p該怎么計(jì)算出來呢？

原始的辦法：

• 假設(shè)我們有N個(gè)訓(xùn)練用的句子sentences
• 每一個(gè)單詞串，用x1 x2 x3…xn來表示，x表示每一個(gè)單詞。使用c(x1…xn)來表示這個(gè)單詞串在訓(xùn)練數(shù)據(jù)training data當(dāng)中出現(xiàn)的次數(shù)。
• 計(jì)算方法為：p(x1…xn)=c(x1…xn)/N

這個(gè)辦法，剛一看到會(huì)覺得沒有什么不妥，其實(shí)如果細(xì)心的話可以發(fā)現(xiàn)這個(gè)公式是有問題的。如果某一個(gè)單詞串并沒有在訓(xùn)練數(shù)據(jù)中出現(xiàn)，那么這個(gè)概率p的值就會(huì)變?yōu)?，如果P=0的話，那么就沒有能力去生成新的句子(has no ability to generalize to new sentences)。因?yàn)?#xff0c;在訓(xùn)練樣本中沒有出現(xiàn)，并不代表在測試的時(shí)候或者在實(shí)際生活中p=0的單詞串不會(huì)出現(xiàn)，所以，必須要解決p=0的問題，在0-4中會(huì)提到。

轉(zhuǎn)載于:https://www.cnblogs.com/createMoMo/p/3189892.html

總結(jié)

以上是生活随笔為你收集整理的0-1语言建模当中会遇到的问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。