深度学习伪似然、得分匹配与噪声对比估计 —— 绕开配分函数的巧妙方法(九十六)

发布时间:2026/7/9 11:45:38
深度学习伪似然、得分匹配与噪声对比估计 —— 绕开配分函数的巧妙方法(九十六) 1. 定位导航🎉绕开配分函数的三大巧妙方法。第 96 篇讲了 CD/PCD——用 MCMC 估计配分函数梯度。本篇讲完全绕开配分函数的方法:伪似然、得分匹配、NCE。它们各有巧思,且都连接到现代生成模型(尤其得分匹配 → 扩散模型)。1.1 共同出发点:比率消去 Z许多方法基于一个观察:无向概率模型中很容易计算概率的比率——因为配分函数同时出现在分子和分母中,互相抵消:p(x)p(y)=1Zp~(x)1Zp~(y)=p~(x)p~(y)\frac{p(\mathbf{x})}{p(\mathbf{y})} = \frac{\frac{1}{Z}\tilde{p}(\mathbf{x})}{\frac{1}{Z}\tilde{p}(\mathbf{y})} = \frac{\tilde{p}(\mathbf{x})}{\tilde{p}(\mathbf{y})}