0 前言
LDA，可以分为下述5个步骤：
一个函数：gamma函数
四个分布：二项分布、多项分布、beta分布、Dirichlet分布
一个概念和一个理念：共轭先验和贝叶斯框架
两个模型：pLSA、LDA
一个采样：Gibbs采样
1 整体把握LDA
LDA(Latent Dirichlet Allocation)是一种文档生成模型。它认为一篇文章是有多个主题的，而每个主题又对应着不同的词。一篇文章的构造过程，首先是以一定的概率选择某个主题，然后再在这个主题下以一定的概率选出某一个词，这样就生成了这篇文章的第一个词。不断重复这个过程，就生成了整片文章。当然这里假定词与词之间是没顺序的。
LDA的使用是上述文档生成的逆过程，它将根据一篇得到的文章，去寻找出这篇文章的主题，以及这些主题对应的词。
; 1 一个函数
2 四个分布
2.1 二项分布与多项分布
2.1.1 两点分布
; 2.1.2二项分布（伯努利分布）
二项分布，即是重复n次两点分布。设随机变量X服从参数为n，p的二项分布。其中，n为重复的次数，p为两点分布中事件A发生的概率。设X=k为n次实验中事件A发生k次的概率。
可以得到X的分布率为：
P { X = k } = ( n k ) p k ( 1 − p ) n − k P{X = k} =\begin{pmatrix} n \ k \end{pmatrix}p^k(1-p)^{n-k}P {X =k }=(n k )p k (1 −p )n −k
2.1.3 多项式分布
; 2.2 beta分布与Dirichlet分布
2.2.1 beta分布
; 2.2.2 Dirichlet分布
3 共轭先验和贝叶斯框架
3.1 共轭先验分布
共轭先验分布：先验概率和后验概率有相同形式的概率密度函数
; 3.2 贝叶斯框架
4 pLSA与LDA
4.1 pLSA
我们有两类筛子，一种是文章->主题筛子，骰子的每面代表一种主题。这里假设我们有3个主题。对应第分布为文档与主题分布
另一种骰子为主题->词，一共有3个，每个有3面，每面代表一个单词。对应的分布为主题和单词的分布
那一篇文章的生产过程可以表示为：
1、抛文章->主题筛子，得到主题变化z
2、选择编号为z的主题筛子，得到词w
3、不断重复步骤一和步骤二
通过以上模型生成的文档和真实的文档是否相符。
; 4.2 LDA
LDA是pLSA的贝叶斯版本
pLSA选主题的时候，每个主题被选中的概率是一定的，比如0.5，0.2，0.3，而在LDA中概率是不确定，可能第一次是0.7，0.2，0.1，第二次就变成了0.4，0.5，0.1，但是这些参数都是符合狄利克雷分布。
Original: https://blog.csdn.net/weixin_40313252/article/details/121311281
Author: 不会产品的码农不是好的运营
Title: 机器学习进阶：主题模型
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/531912/
转载文章受原作者版权保护。转载请注明原作者出处！