更多內容請訪問我的個人博客www.tenliu.top

簡介

LDA是一種主題模型，它基于這樣的思想：人寫文章可以理解成這樣的過程，再寫一篇文檔之前，先有這篇文檔的主題分布（文檔-主題），每一個主題也有詞分布（主題-詞）

知識儲備

我們先從一些基礎概念講起

Gamma函數

先看公式

Γ(x)=∫∞0tx?1e?tdt

其實就是階乘運算擴展到了實數集上而已。
它的一些性質：

Γ(x+1)=xΓ(x) Gamma(n)=(n?1)!

一些分布

Beta分布定義：

其中B(α,β)稱為Beta函數

B(α,β)=∫10xα?1(1?x)β?1dx=Γ(α)Γ(β)Γ(α+β)

我們看這個密度函數，對于隨機變量x而言，1B(α,β)是一個定值，除了這個定值，后面的兩個因子，在形式上是不是很像二項分布呢？

Dirichlet分布（狄利克雷分布）

簡單介紹（維基百科）
狄利克雷分布是一組連續多變量概率分布，是多變量普遍化的Β分布。
K階狄利克雷分布的概率密度函數表示為如下形式：

f(x??;α??)=f(x1,x2...xk;α1...αk)=1B(α)∏Ki=1xαi?1i

其中xK=1?x1?...xK?1；
多項Beta函數B(α??)是歸一化衡量

B(α??)=∏Ki=1Γ(αi)Γ(∑Ki=1αi)
在此介紹Dir分布的一些性質：
E(x??)=E(x1,...,xK)=(α1∑Ki=1αi,...,αK∑Ki=1αi)

更多內容請訪問我的個人博客www.tenliu.top

總結

以上是生活随笔為你收集整理的LAD原理（1）知识储备之函数和分布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。