文章目錄

• • 1. 狄利克雷分布
  • 2. 潛在狄利克雷分配模型
  • 3. 學習推理
  • 4. sklearn.decomposition.LatentDirichletAllocation

潛在狄利克雷分配（latent Dirichlet allocation，LDA），作為基于 貝葉斯學習的話題模型，是潛在語義分析、概率潛在語義分析的擴展，于2002年由Blei等提出。LDA在文本數據挖掘、圖像處理、生物信息處理等領域被廣泛使用。

LDA模型是文本集合的生成概率模型

• 假設每個文本由話題的一個多項分布表示

• 每個話題由單詞的一個多項分布表示

• 特別假設文本的話題分布的先驗分布是狄利克雷分布

• 話題的單詞分布的先驗分布也是狄利克雷分布

• 先驗分布的導入使LDA能夠更好地應對話題模型學習中的過擬合現象

LDA的文本集合的生成過程如下：

• 首先隨機生成一個文本的話題分布
• 之后在該文本的每個位置，依據該文本的話題分布隨機生成一個話題
• 然后在該位置依據該話題的單詞分布隨機生成一個單詞
• 直至文本的最后一個位置，生成整個文本。重復以上過程生成所有文本

LDA模型是含有隱變量的概率圖模型

• 模型中，每個話題的單詞分布，每個文本的話題分布，文本的每個位置的話題是隱變量
• 文本的每個位置的單詞是觀測變量
• LDA模型的學習與推理無法直接求解，通常使用吉布斯抽樣（Gibbs sampling）和變分EM算法（variational EM algorithm），前者是蒙特卡羅法，而后者是近似算法

1. 狄利克雷分布

狄利克雷分布（Dirichlet distribution）是一種多元連續隨機變量的概率分布，是貝塔分布（beta distribution）的擴展。在貝葉斯學習中，狄利克雷分布常作為多項分布的先驗分布使用。

定義：

多元連續隨機變量 $\theta =({\theta }_1,{\theta }_2,...,{\theta }_k)$ 的概率密度函數為：
$$p(\theta |\alpha )=\frac{\Gamma \left(\sum _{i=1}^k{\alpha }_i\right)}{\prod _{i=1}^k\Gamma ({\alpha }_i)}\prod _{i=1}^k{\theta }_i^{{\alpha }_i?1}\sum _{i=1}^k{\theta }_i=1,{\theta }_i\ge 0,{\alpha }_i>0,記作\theta ～Dir(\alpha )$$
$$伽馬函數，\Gamma (s)={\int }_0^{\infty }{x}^{s?1}{e}^{?x}dx,s>0$$
伽馬函數性質：
$$\Gamma (s+1)=s\Gamma (s)$$
當 $s$ 是自然數時，有 $\Gamma (s+1)=s!$

2. 潛在狄利克雷分配模型

LDA模型是概率圖模型：

• 特點：以狄利克雷分布為多項分布的先驗分布
• 學習：就是給定文本集合，通過后驗概率分布的估計，推斷模型的所有參數

利用LDA進行話題分析，就是對給定文本集合，學習到每個文本的話題分布，以及每個話題的單詞分布。

• 可以認為LDA是PLSA（概率潛在語義分析）的擴展
• 相同點：兩者都假設話題是單詞的多項分布，文本是話題的多項分布
• 不同點：LDA使用狄利克雷分布作為先驗分布，而PLSA不使用先驗分布（或者說假設先驗分布是均勻分布），兩者對文本生成過程有不同假設
• 學習過程：LDA基于貝葉斯學習，而PLSA基于極大似然估計
• LDA的優點是：使用先驗概率分布，可以防止學習過程中產生的過擬合（over-fitting）

3. 學習推理

LDA模型的學習與推理不能直接求解。

• 通常采用的方法是吉布斯抽樣算法和變分EM算法
• 前者是蒙特卡羅法，而后者是近似算法

4. sklearn.decomposition.LatentDirichletAllocation

sklearn.decomposition.LatentDirichletAllocation官網介紹

class sklearn.decomposition.LatentDirichletAllocation(n_components=10, doc_topic_prior=None, topic_word_prior=None, learning_method='batch', learning_decay=0.7, learning_offset=10.0, max_iter=10, batch_size=128, evaluate_every=-1, total_samples=1000000.0, perp_tol=0.1, mean_change_tol=0.001, max_doc_update_iter=100, n_jobs=None, verbose=0, random_state=None)

n_components, optional (default=10)，話題數量

實踐參考：https://www.cnblogs.com/pinard/p/6908150.html

總結

以上是生活随笔為你收集整理的潜在狄利克雷分配（Latent Dirichlet Allocation，LDA）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。