KL 散度及其非对称性

层级：A｜建议先修：07-01、07-02、05-08

KL 散度（Kullback–Leibler divergence）衡量：真实分布为 $p$ 时，却用 $q$ 近似或编码，会增加多少平均信息代价。

1. 定义

对离散分布，

D_{\mathrm{KL}}(p\|q) =\sum_x p(x)\log\frac{p(x)}{q(x)}.

对连续密度，

D_{\mathrm{KL}}(p\|q) =\int p(x)\log\frac{p(x)}{q(x)}\,dx.

期望形式为

D_{\mathrm{KL}}(p\|q) =\mathbb E_{X\sim p}[\log p(X)-\log q(X)].

这里的样本由 $p$ 产生，所以 $p$ 写在竖线左侧并决定期望权重。

D_{\mathrm{KL}}(p\|q)=H(p,q)-H(p).

它表示使用 $q$ 替代 $p$ 后的额外平均编码长度。若对固定 $p$ 训练模型 $q_\theta$ ，最小化交叉熵和最小化正向 KL 完全等价。

KL 散度满足

D_{\mathrm{KL}}(p\|q)\ge0,

且在适当条件下，当且仅当 $p=q$ 几乎处处成立时取 0。

一种证明使用 $\log t\le t-1$ ：

-D_{\mathrm{KL}}(p\|q) =\sum_xp(x)\log\frac{q(x)}{p(x)} \le\sum_xp(x)\left(\frac{q(x)}{p(x)}-1\right)=0.

数学上的距离通常需要满足对称性和三角不等式。KL 散度一般有

D_{\mathrm{KL}}(p\|q)\ne D_{\mathrm{KL}}(q\|p),

也不满足三角不等式。因此应称为“散度”，而不是严格意义上的距离。

考虑 $p=(0.9,0.1)$ 、 $q=(0.5,0.5)$ 。正向 KL 以 $p$ 加权，重点惩罚 $q$ 是否覆盖 $p$ 经常出现的位置；反向 KL 以 $q$ 加权，关注点不同。

更关键的是零概率：

因此正向 KL 强烈要求 $q$ 覆盖 $p$ 的全部支持集，常呈“覆盖模式”；反向 KL 在多峰分布近似中可能偏向选择某一个峰，常呈“寻找模式”。这只是常见现象，具体结论还取决于分布族和参数化。

若

p=\mathcal N(\mu_0,\sigma_0^2),\qquad q=\mathcal N(\mu_1,\sigma_1^2),

则

D_{\mathrm{KL}}(p\|q) =\log\frac{\sigma_1}{\sigma_0} +\frac{\sigma_0^2+(\mu_0-\mu_1)^2}{2\sigma_1^2} -\frac12.

交换 $p,q$ 后，分母和对数项都会改变，非对称性一目了然。

联合分布的 KL 可分解为

D_{\mathrm{KL}}(p(x,y)\|q(x,y)) =D_{\mathrm{KL}}(p(x)\|q(x)) +\mathbb E_{p(x)}D_{\mathrm{KL}}(p(y\mid x)\|q(y\mid x)).

它说明联合分布的差异由边缘分布差异和平均条件分布差异共同构成。

一种对称化是

D_{\mathrm{KL}}(p\|q)+D_{\mathrm{KL}}(q\|p),

但它仍未必满足三角不等式。Jensen–Shannon 散度定义为

\operatorname{JS}(p,q)=\frac12D_{\mathrm{KL}}(p\|m) +\frac12D_{\mathrm{KL}}(q\|m),\quad m=\frac{p+q}{2}.

它对称且有界；其平方根在适当设置下是一个度量。

Q1：KL 散度为什么可以为 0，却不是距离？
“同分布时为 0”只满足距离公理的一部分；它仍缺少对称性和三角不等式。

Q2：经验数据没有显式真实分布 $p$ ，如何训练？
用样本的经验平均近似 $p$ 下的期望，这就得到常见的负对数似然或交叉熵。

Q3：KL 散度能比较两个未归一化打分函数吗？
不能直接比较；KL 要求合法概率分布或密度。若归一化常数未知，必须采用能处理该结构的推断或估计方法。

Q4：为什么反向 KL 容易漏掉某些峰？
若 $q$ 在某个 $p$ 的峰附近几乎不给质量，该区域也很少被 $q$ 采到，对反向 KL 的期望贡献可能较小。