变分贝叶斯

#AI#math VB: Variational Bayes

在贝叶斯统计中，我们需要根据观测数据 来推断隐藏参数 的后验分布 。

直接计算 太难，就找一个简单的分布家族 （比如高斯分布），然后通过调整 的参数，让它尽可能地像真实的后验分布。问题转化为了最小化KL散度 。

直接最小化KL散度依然很难，因为公式里还是藏着那个算不出来的 。于是，数学家们通过推导，将问题转化为了最大化ELBO（Evidence Lower Bound）。

因为 （Evidence）是一个常数，且 KL 散度始终 ，所以：

• 最小化KL散度 等价于 最大化ELBO。
• 当 ELBO 被推到最大时， 就是对真实后验的最佳近似。