联合熵、条件熵与互信息

层级：B｜建议先修：05-08、05-12、07-01、07-03

单变量熵衡量一个变量的不确定性。面对特征 $X$ 和标签 $Y$ ，我们更关心：它们合在一起有多不确定？知道 $X$ 后还剩多少关于 $Y$ 的不确定性？两者共享多少信息？

1. 联合熵

对离散随机变量 $X,Y$ ，联合熵为

H(X,Y)=-\sum_{x,y}p(x,y)\log p(x,y).

它是联合结果 $(X,Y)$ 的平均信息量。若 $X,Y$ 独立，则 $p(x,y)=p(x)p(y)$ ，从而

H(X,Y)=H(X)+H(Y).

如果不独立，共享的信息会造成重复，因此联合熵通常小于两个边缘熵之和。

给定 $X=x$ 后， $Y$ 的条件熵为

H(Y\mid X=x)=-\sum_y p(y\mid x)\log p(y\mid x).

再对 $X$ 取平均：

H(Y\mid X)=\sum_xp(x)H(Y\mid X=x) =-\sum_{x,y}p(x,y)\log p(y\mid x).

它表示观察 $X$ 后，预测 $Y$ 平均还剩多少不确定性。

由 $p(x,y)=p(x)p(y\mid x)$ ，

H(X,Y)=H(X)+H(Y\mid X) =H(Y)+H(X\mid Y).

对多个变量，

H(X_1,\ldots,X_n) =\sum_{i=1}^nH(X_i\mid X_1,\ldots,X_{i-1}).

这与概率的链式分解完全对应。

对离散变量，有

H(Y\mid X)\le H(Y).

意思是平均而言，获得信息不会让预测更差。某个特定 $x$ 下的条件熵可能高于边缘熵，但对 $X$ 平均之后不会。

互信息定义为

I(X;Y)=H(Y)-H(Y\mid X).

利用链式法则，还可写成

I(X;Y)=H(X)+H(Y)-H(X,Y) =H(X)-H(X\mid Y).

它衡量观察一个变量后，另一个变量的不确定性平均减少多少。因此 $I(X;Y)=I(Y;X)$ 。

I(X;Y) =\sum_{x,y}p(x,y)\log\frac{p(x,y)}{p(x)p(y)} =D_{\mathrm{KL}}(p(x,y)\|p(x)p(y)).

因此

I(X;Y)\ge0,

且当且仅当 $X,Y$ 独立时为 0（在适当条件下）。互信息能发现一般统计依赖，不局限于线性关系；相关系数为 0 并不必然意味着互信息为 0。

给定 $Z$ 后的互信息为

I(X;Y\mid Z) =H(X\mid Z)-H(X\mid Y,Z).

也可写为

I(X;Y\mid Z) =\mathbb E_Z\left[D_{\mathrm{KL}}(p(x,y\mid Z)\|p(x\mid Z)p(y\mid Z))\right].

它为 0 对应 $X\perp Y\mid Z$ ，即给定 $Z$ 后条件独立。这是概率图模型的核心语言。

用属性 $A$ 划分标签 $Y$ 时，信息增益为

\operatorname{Gain}(Y,A) =H(Y)-H(Y\mid A)=I(Y;A).

增益越大，说明知道该属性后标签不确定性下降越多。ID3 使用信息增益；为减轻多取值属性偏好，C4.5 使用增益率。

连续变量也可以用密度定义互信息：

I(X;Y)=\int p(x,y)\log\frac{p(x,y)}{p(x)p(y)}\,dxdy.

虽然微分熵可能为负，但互信息仍非负。实际估计互信息并不容易：分箱、核密度、k 近邻估计和神经估计器都会引入偏差与方差。

若形成 Markov 链 $X\to Y\to Z$ ，即给定 $Y$ 后 $Z$ 不再依赖 $X$ ，则

I(X;Z)\le I(X;Y).

对数据做处理不能凭空创造关于原变量的信息。特征压缩可以保留关键信息，但无法无损恢复已经丢弃的部分。

Q1：如果 $Y=f(X)$ 是确定函数，条件熵是多少？
离散情形下 $H(Y\mid X)=0$ ，因此 $I(X;Y)=H(Y)$ 。

Q2：条件熵为什么不是简单地“固定一个条件”算熵？
$H(Y\mid X)$ 还要按 $p(x)$ 对所有条件值加权平均。

Q3：互信息可以大于任一变量的熵吗？
离散情形不能， $I(X;Y)\le\min\{H(X),H(Y)\}$ 。

Q4：特征与标签互信息高，就一定应该选它吗？
不一定。还要考虑估计误差、冗余、成本、泄漏和泛化；多个特征的联合价值也不等于单变量价值相加。