回顾一下MC 采样：
f(x)是已知 的概率分布函数，现在 找到一系列的x服从这个概率分布。也就是在f(x）当中抽取一些样本x。后来就提出了：
F(x)是f(x)的累积概率分布，只需 在0到1上均匀采样得到i，然后将这个样本带到F(x)的反函数当中得到 Xi.这个 Xi服从F(x)的概率分布那一定服从f(x)的累积概率密度分布。
现在面临的一个问题是：F(x)已经有了就能采出Xi，但是现在f(x)是已知的，对F(x)求积分不一定好求。
后来冯诺依曼提出了另一个方法，假设一个q(x),
因为q(x)的积分比较好求，然后采样的方式是和前面的一样的。但是得到的Xi的hi符合mq(x)分布的，不服从f(x).
以mq(x)采样得到的样本只抽取其中的一小部分，以P的概率抽取，这样的方式称之为拒绝采样。
拒绝采样有时候的效率并不是很高，出现了MCMC采样，是基于马尔科夫链采样。
马尔科夫链的性质是：存在一种稳定的分布，如果能找到两个Π之间的转移概率，可以得到转移概率矩阵P，如果一个Π乘上转移矩阵P最后还是等于Π，因为最后的结果求的还是Π（x），假如在Πt达到了稳定分布，那么在Πt之后的Π都会服从Π（x）分布。因为要抽取的样本是服从Π（x）分布的样本，所以抽取的样本就是Πt之后的样本。就完成了一系列采样。
问题是怎么找到转移概率矩阵P,满足等式ΠP＝Π，因为这个等式不好找到，所以就提出了细致平衡等式：
但是在细致平衡等式当中的难点是P还是不好找到，所以就出现了3式，在3式当中 黄色线部分式假设的，强行使得3等式成立，并且与2等式恒成立。
黄色圈出来的部分叫做接收概率。
如果接收概率比较小的时候怎么办，这种情况往往会出现在高维变量中。
所以MCMC 的效率就不是很高，就出现了吉布斯采样。
以二位联合概率分布讲解。我们想得到一系列的x，y服从Π（x,y）分布。
Π（x,y）是折麽样的呢？在平面上任意找一个点（x,y）,这个点的概率是Π（x,y）,采样就是采平面里的点，使这些点的概率符合三维的分布。
现在在平面中任意找一个点A，计算A的概率：
上式是将联合分布转换成了条件分布，体哦阿健概率分布是一维的，联合概率分布是二维的。这样计算简单化了。
现在再假设点B，计算其概率。A，B两点的横坐标是一样的。
上面的两个式子存在很大的相同点，所以做一个等式：
所以经过简单的变换得到等式：
满足细致平衡条件可以构造马尔科夫链进行采样。
上面式子经过重写得到:
上面的 这个式子就是一个典型的细致平衡条件。
如果现在有个点C，和A 是总表表相同的情况下得到的细致平衡条件：
那对任意一个点得到细致平衡条件：
根据上面这个式子是否能够进行愉快的抽样？
对上面改的讲解过程进行总结：首先是构造马尔科夫链进行采样，至少是A到B，A到C是满足细致平衡条件的。因为出现了一个接受概率，但是并不知道再什么样的情况下接受，再什么样的情况下拒绝。但是我们之傲A到B 的转移概率是Π（y2|x1）,这个转移矩阵式已知的，为什么呢？因为Π（x,y）是已知的，所以Π（y2|x1）就是已知的。得到的结论如下：
现在回到：
任意一个点都能用上面的这个式子嘛？
假设点D，目前上面的推论是不能证明点D能使用这个式子。所以这个式子只允许再平行坐标轴方向上采样。
最后得到结论：
吉布斯采样的步骤：
Original: https://blog.csdn.net/upupyon996deqing/article/details/125467067
Author: 一套煎饼
Title: 吉布斯采样
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/617749/
转载文章受原作者版权保护。转载请注明原作者出处！