PMF、PDF 与 CDF

层级：A｜必学

1. 分布的三种描述

• PMF：离散变量每个取值的概率；
• PDF：连续变量每单位长度/体积的密度；
• CDF：不超过某值的累计概率，离散与连续都适用。

混淆 PDF 与概率是概率论最常见错误之一。

2. PMF

离散 $X$：

要求

事件概率：

Bernoulli($p$)：

3. PDF

连续 $X$ 的密度 $f_X(x)$ 满足

区间概率：

$f_X(x)$ 本身不是 $P(X=x)$。密度可超过 1，例如 $U(0,0.1)$ 密度为 10，但总面积 $10\times0.1=1$。

4. 密度的局部解释

小区间宽度 $\Delta x$：

所以密度有单位。若 $X$ 单位为秒，密度单位为 $1/\text{秒}$。改变单位会改变密度数值，但对应事件概率不变。

5. CDF

对任意随机变量：

性质：

• 单调不减；
• 右连续；
• $\lim_{x\to-\infty}F(x)=0$；
• $\lim_{x\to+\infty}F(x)=1$。

事件概率：

CDF 完全决定分布，无论它是否有 PMF/PDF。

6. 离散 CDF

它是阶梯函数，在每个取值处跳跃，跳跃大小等于单点概率：

离散 CDF 通常不可处处微分，也不应把阶梯导数当普通 PDF。

7. 连续 CDF 与 PDF

若有密度：

在可微点：

连续分布下端点是否包含通常不影响概率：

混合分布的 CDF 同时可能有跳跃和连续增长。

8. 分位数与逆 CDF

$\alpha$ 分位数可定义为

中位数是 $q_{0.5}$。用下确界定义能处理离散 CDF 平台与跳跃。

若 $U\sim U(0,1)$ 且 $F$ 连续严格递增：

服从 CDF $F$。这是逆变换采样。

9. 生存函数与尾概率

称生存函数。极小尾概率直接算 $1-F(x)$ 可能发生消去误差，应使用分布库的 sf/log-survival 接口。

异常检测、风险与置信区间经常关心尾部，而不只密度峰值。

10. 密度值不能跨参数化直接比较

若 $Y=2X$，对应密度约缩小一半。相同观测的“密度数值”依单位和坐标变换，不能像离散概率那样脱离测度比较。似然比较在共同数据表示下有意义，混合连续/离散模型还需特别注意基准测度。

11. 经验 CDF

给样本 $x_1,ldots,x_n$：

它无需密度估计、对离群值相对稳健，用于分位数、KS 检验和概率积分变换诊断。

易错点

1. PDF 值可以大于 1，概率不可以。
2. 连续单点概率为 0，不等于密度为 0。
3. CDF 对离散变量是阶梯，不是 PMF。
4. 分位数在离散分布中可能不唯一，需约定。
5. 尾概率应使用稳定生存函数接口。

常见问答

Q1：概率密度为负可以吗？

不可以；某些核密度的高阶修正或准概率可能为负，但那不是普通概率密度。

Q2：直方图柱高为什么可能超过 1？

若纵轴是 density，柱面积而非柱高总和为 1；窄 bin 可有高柱。

Q3：CDF 为什么右连续？

来自概率测度对递减事件序列的连续性；直觉上 $P(X\le x)$ 包含点 $x$ 的质量，离散跳跃在该点已计入。

练习

1. $U(0,0.2)$ 的密度是多少？能否大于 1？
2. 求其 $P(0.05<X<0.1)$。
3. 写出 Bernoulli($p$) 的 CDF。
4. 经验 CDF 在样本点如何变化？
5. 为什么 $1-F(x)$ 在极端尾部可能数值不稳？

答案与提示

1. 5，可以。
2. 区间长 0.05，概率 0.25。
3. $x<0$ 为 0，$0\le x<1$ 为 $1-p$，$x\ge1$ 为 1。
4. 每个样本处跳 $1/n$（重复值则跳对应倍数）。
5. $F(x)$ 舍入得极接近 1，相减丢失有效位。