独立、条件独立与常见误解

层级：A｜必学

1. 独立是一条可以检验的分解假设

机器学习常把复杂联合分布拆成简单因子。只有在独立或条件独立假设成立时，这种分解才合法。朴素 Bayes、概率图模型、似然连乘与 iid 数据都依赖它。

2. 事件独立

事件 $A,B$ 独立若

当相关条件概率有定义时，等价于

即知道 $B$ 不改变 $A$ 的概率。

独立是对称的。若 $A,B$ 独立，则 $A^c$ 与 $B$、$A$ 与 $B^c$、$A^c$ 与 $B^c$ 也独立。

3. 互斥不等于独立

若 $A,B$ 互斥且概率都正：

但

所以它们不独立。知道 $A$ 发生会让 $B$ 概率变为 0，信息影响最大。

只有当至少一个事件概率为 0 时，互斥才可能同时独立。

4. 多事件独立

三事件两两独立不保证共同独立。共同独立要求对任意子集都满足联合概率乘积。

经典例：两枚独立公平比特 $X,Y$，令 $Z=X\oplus Y$。任意两者独立，但给定其中两个可确定第三个，三者不共同独立。

这提醒我们：两两相关性为零/独立不能排除高阶依赖。

5. 随机变量独立

离散变量 $X,Y$ 独立若对所有 $x,y$：

连续变量用联合密度同样分解（几乎处处）。更一般地，对所有事件集合 $A,B$：

若独立，则任意函数 $g(X)$ 与 $h(Y)$ 也独立。

6. 独立带来的期望分解

若可积且 $X,Y$ 独立：

从而

反过来通常不成立：零协方差只排除线性关系。若联合高斯，零协方差才等价于独立。

7. 条件独立

$X,Y$ 在给定 $Z$ 后条件独立，记

若

对相应 $z$ 成立。

等价地：

给定 $Z$ 后，$Y$ 不再为 $X$ 提供额外信息。

8. 条件独立不等于边缘独立

共同原因

$Z$ 同时影响 $X,Y$：未观察 $Z$ 时 $X,Y$ 相关；给定 $Z$ 后可能独立。例如天气影响冰淇淋销量与中暑数。

Collider

$X,Y$ 独立地影响 $Z$：边缘上可独立；给定共同结果 $Z$ 后会相关。例如能力和关系都影响录取，在已录取人群中两者可能负相关。

Chain

$X\to Z\to Y$：给定中介 $Z$ 后，$X,Y$ 可能条件独立。

这些结构是概率图模型 d-分离与选择偏差的核心。

9. 朴素 Bayes 假设

给定类别 $Y$，特征条件独立：

现实特征很少严格独立，但分类仍可能良好，因为正确决策边界不要求联合密度完全准确。概率校准则可能受影响。

10. iid 的两个部分

表示：

• independent：不同样本相互独立；
• identically distributed：来自同一分布。

用户多条记录、时间序列、空间邻近与推荐曝光通常不独立；概念漂移破坏同分布。应按群组切分、使用依赖模型或调整不确定性估计。

11. 独立假设如何进入似然

给定参数 $\theta$，若样本条件独立：

这里是“给定参数后的独立”，不一定表示边缘上独立。例如层级模型中样本共享随机参数，积分掉参数后会相关。

12. 检验独立的限制

有限样本无法“证明”严格独立，只能检验特定偏离：

• 列联表卡方检验；
• 相关/偏相关；
• 互信息估计；
• HSIC 等核独立检验。

检验效力、维度和多重比较都影响结论。“未拒绝独立”不等于证明独立。

易错点

1. 互斥与独立几乎相反。
2. 零相关不保证独立，联合高斯是重要例外。
3. 两两独立不保证共同独立。
4. 条件独立与边缘独立互不推出。
5. 条件化 collider 会制造依赖。

常见问答

Q1：特征高度相关时朴素 Bayes 为什么还能用？

密度估计会重复计证据，但若各类别中的偏差相似，后验排序仍可能正确；小数据下低方差也能弥补假设偏差。

Q2：训练样本真的可能独立吗？

这是抽样设计近似。按用户、设备或时间聚集的数据应识别依赖单位，切分与标准误不能按每行独立处理。

Q3：dropout 掩码独立吗？

经典形式常对单元独立 Bernoulli 采样；结构化 dropout 会让掩码相关。实现与理论假设要匹配。

练习

1. 两个非零概率互斥事件是否独立？证明。
2. 若 $X,Y$ 独立，证明协方差为零。
3. 给出零协方差但不独立的例子。
4. 写出朴素 Bayes 条件独立分解。
5. 解释 collider 条件化为何可能制造相关。

答案与提示

1. 否，交集概率 0 而概率乘积正。
2. 独立给 $E[XY]=E[X]E[Y]$。
3. 对称 $X$ 与 $Y=X^2$。
4. $p(x|y)=\prod_jp(x_j|y)$。
5. 已知共同结果后，一个原因较弱需另一个原因较强才能解释结果，彼此提供信息。