从概率分布距离到Pinsker不等式

从概率距离到 Pinsker 不等式

概率论中的许多理论问题，最终都涉及两种不同但相互联系的误差：一种是模型误差，即两个概率分布对同一事件或统计量给出的判断存在多大差异；另一种是抽样误差，即有限样本形成的随机统计量偏离其期望的程度。前者通常由总变差距离、Hellinger 距离和 Kullback–Leibler（KL）散度描述，后者则由矩母函数、次高斯性和集中不等式控制。将这两类误差放在同一框架中，有助于理解统计检验、分布偏移和学习理论中反复出现的概率界。

这两条理论路径的交点是 Pinsker 不等式。它说明，若两个分布之间的 KL 散度很小，则它们在所有可测事件上的概率差异必然很小。Pinsker 不等式既可以被视为分布距离之间的比较定理，也可以由 KL 散度的变分表示与 Hoeffding 引理直接推出。后一种证明把信息论中的变分优化与概率论中的指数矩控制联系起来，揭示了若干看似独立的不等式背后的共同机制。

本文从统一的测度论记号出发，依次讨论分布的事件差异、平方根密度几何、似然比散度、指数矩方法，以及这些结构如何共同导出 Pinsker 不等式。除特别说明外，所有对数均为自然对数，KL 散度以 nat 为单位；总变差距离采用取值范围为 $[0,1]$ 的归一化约定，平方 Hellinger 距离采用前置系数为 $1/2$ 的约定。这些约定会直接影响不等式中的常数。

概率测度与密度

设 $(\Omega,\mathcal F)$ 为可测空间，其中 $\Omega$ 是随机试验的样本空间，$\mathcal F$ 是由可测事件构成的 $\sigma$-代数。设 $P$ 和 $Q$ 是定义在 $(\Omega,\mathcal F)$ 上的两个概率测度，分别表示两种概率模型。它们可以描述不同的随机机制，也可以表示对同一随机机制的不同建模假设。对于任意事件 $A\in\mathcal F$，$P(A)$ 和 $Q(A)$ 分别表示两种模型对同一事件赋予的概率。若 $X:\Omega\to\mathbb R$ 是可积随机变量，则其在模型 $P$ 下的数学期望定义为

\[\mathbb E_P[X]=\int_\Omega X(\omega)\,dP(\omega),\]

其中 $\omega\in\Omega$ 表示样本点，$dP$ 表示相对于概率测度 $P$ 的积分。特别地，定义事件 $A$ 的指示函数为 $\mathbf 1_A(\omega)=1$（当 $\omega\in A$）或 $0$（当 $\omega\notin A$），则有 $\mathbb E_P[\mathbf 1_A]=P(A)$，从而

\[P(A)-Q(A)=\mathbb E_P[\mathbf 1_A]-\mathbb E_Q[\mathbf 1_A].\]

这表明，两种概率模型对同一事件的概率差异，可以表示为同一个有界随机变量在不同概率测度下的期望之差，也是研究总变差距离、假设检验和 Pinsker 不等式的基础。

为了统一处理离散型与连续型概率分布，可以引入同时支配 $P$ 和 $Q$ 的测度 $\mu$，例如取 $\mu=P+Q$，使得 $P\ll\mu$ 且 $Q\ll\mu$。这里的符号 $\ll$ 表示绝对连续，即 $\mu(A)=0$ 蕴含 $P(A)=Q(A)=0$。根据 Radon–Nikodym 定理，可以定义相对于 $\mu$ 的密度

\[p=\frac{dP}{d\mu},\qquad q=\frac{dQ}{d\mu},\]

其中 $dP/d\mu$ 和 $dQ/d\mu$ 表示 Radon–Nikodym 导数，满足 $P(A)=\int_A p\,d\mu$ 与 $Q(A)=\int_A q\,d\mu$。共同支配并不意味着 $P$ 与 $Q$ 彼此绝对连续。只有当 $P\ll Q$，即对任意 $A\in\mathcal F$，$Q(A)=0$ 均蕴含 $P(A)=0$ 时，才能将 $P$ 相对于 $Q$ 的似然比定义为

\[r=\frac{dP}{dQ}, \qquad \mathbb E_Q[r]=\int_\Omega r\,dQ=1.\]

在共同密度表示下，$r=p/q$ 在 $q>0$ 的区域内成立（$Q$-几乎处处）。似然比描述同一结果在模型 $P$ 与 $Q$ 下的相对可能性。由于绝对连续性具有方向性，KL 散度和 $\chi^2$ 散度等量在定义和计算时需要区分 $P$ 与 $Q$ 的顺序。

作为离散例子，考虑定义在 $\Omega={0,1}$ 上的两个伯努利分布 $P=\operatorname{Bern}(3/4)$ 与 $Q=\operatorname{Bern}(1/2)$，其中 $\operatorname{Bern}(\theta)$ 表示取值为 $1$ 的概率为 $\theta$、取值为 $0$ 的概率为 $1-\theta$ 的分布。取 $\mathcal F=2^\Omega$，并以计数测度作为共同参考测度，则两种模型的概率质量函数为

\[\begin{aligned} &p(1)=\frac34,\qquad p(0)=\frac14,\\ &q(1)=\frac12,\qquad q(0)=\frac12. \end{aligned}\]

由于 $Q$ 对两个可能结果均赋予正概率，因此 $P\ll Q$，且似然比满足 $r(1)=p(1)/q(1)=3/2$、$r(0)=p(0)/q(0)=1/2$。这意味着观察到 $1$ 时，该结果在模型 $P$ 下的概率是模型 $Q$ 下的 $1.5$ 倍；观察到 $0$ 时则为 $0.5$ 倍。该例子能够通过有限求和精确计算不同概率距离，并用于分析相关不等式的界限及其松弛程度。

总变差距离：以最坏事件差异度量可区分性

事件刻画与密度表示

总变差距离（total variation distance，TV）的定义是 $\operatorname{TV}(P,Q)=\sup_{A\in\mathcal F}|P(A)-Q(A)|$。因此，TV 直接回答的问题：如果只允许考察一个可测事件，那么两个模型给出的概率最多相差多少？这一量对称、满足三角不等式，且在 $P=Q$ 时、也仅在此时为零。与密度曲线在某一点的高度差不同，TV 考察的是对所有可能事件积分后的最大差异，因此不依赖于特定的坐标表示或共同支配测度的选取。

在密度表示下，利用 $\int(p-q)\,d\mu=0$，并选择 $A^*={x:p(x)\ge q(x)}$，可以把正差部分和负差部分分离。正差部分的积分等于负差部分绝对积分，且事件 $A^*$ 实现最大的正概率差。于是得到 TV 的两个常用计算公式：

\[\begin{aligned} \operatorname{TV}(P,Q) &=\int_{A^*}(p-q)\,d\mu\\ &=\frac12\int|p-q|\,d\mu\\ &=1-\int\min\{p,q\}\,d\mu. \end{aligned}\]

最后一种形式把 TV 表示为两个分布的“非重叠质量”。它还可以引出最大耦合解释：在所有边缘分布分别为 $P$ 和 $Q$ 的联合随机变量 $(X,Y)$ 中，$\Pr(X\ne Y)$ 的最小值恰好等于 $\operatorname{TV}(P,Q)$。因此 TV 不仅衡量事件概率的最大差异，也等于在最优配对下两份随机观测无法取得相同值的最小概率。对于前述 Bernoulli 分布，事件 $A={1}$ 已达到上确界，从而 $\operatorname{TV}(P,Q)=1/4$。

有界统计量与最优二元检验

TV 对事件的控制实际上等价于对所有有界可测函数的期望差异进行统一控制。如果 $a\le f\le b$，令 $g=(f-a)/(b-a)$，则 $0\le g\le1$。利用层蛋糕表示 $g(x)=\int_0^1\mathbf1_{{g(x)>t}}\,dt$，可将函数的期望差写成一族事件概率差的积分，并得到

\[\begin{aligned} |\mathbb E_P[f]-\mathbb E_Q[f]| &=(b-a)\left|\int_0^1\bigl(P(g>t)-Q(g>t)\bigr)\,dt\right|\\ &\le (b-a)\operatorname{TV}(P,Q). \end{aligned}\]

这一结论中的区间长度 $b-a$ 不能省略：TV 控制的是概率质量重新分配的规模，而统计量的变化幅度还取决于其可能取值范围。特别地，当 $0\le f\le1$ 时，所有这类函数的期望差异上确界就是 TV；若允许 $|f|\le1$，对应的上确界则为 $2\operatorname{TV}(P,Q)$。这也解释了为什么不同教材中“总变差范数”与“总变差距离”偶尔会相差一个系数 $2$。

TV 还精确刻画了等先验简单假设检验的最优错误率。假设观测 $X$ 来自 $P$ 或 $Q$，两者先验均为 $1/2$；判别规则在事件 $A$ 发生时选择 $P$，否则选择 $Q$。这一规则的平均错误率为 $R(A)=\tfrac12[P(A^c)+Q(A)]$。对所有可测事件取最小值，就有

\[\begin{aligned} R_{\mathrm{test}}^* &=\inf_{A\in\mathcal F}\frac12\bigl(P(A^c)+Q(A)\bigr)\\ &=\frac12\left(1-\sup_{A\in\mathcal F}\{P(A)-Q(A)\}\right)\\ &=\frac{1-\operatorname{TV}(P,Q)}2. \end{aligned}\]

当两个分布相同，最优错误率是 $1/2$，一次观测无法提供区分信息；当它们的支持集不相交，最优错误率为零。对于上述 Bernoulli 对，最佳策略是观察到 $1$ 时选择 $P$，观察到 $0$ 时选择 $Q$，对应 $R_{\mathrm{test}}^*=3/8$。这说明 TV 并非单纯的数学范数，而是与实际决策性能直接等价的统计量。

Hellinger 距离：平方根密度的几何结构

TV 通过事件差异刻画统计可区分性，Hellinger 距离则给出一种更适合分析的几何表示。采用归一化定义 $H^2(P,Q)=\frac12\int(\sqrt p-\sqrt q)^2\,d\mu$，其中 $H(P,Q)$ 是距离，而 $H^2(P,Q)$ 是平方距离，后者通常不满足三角不等式。由于 $\int p\,d\mu=\int q\,d\mu=1$，两个函数 $\sqrt p$ 和 $\sqrt q$ 都是 Hilbert 空间 $L^2(\mu)$ 中的非负单位向量。于是 Hellinger 距离就是平方根密度向量之间经过归一化的欧氏距离，并满足 $0\le H(P,Q)\le1$。

展开平方可得 $H^2(P,Q)=1-\rho(P,Q)$，其中 $\rho(P,Q)=\int\sqrt{pq}\,d\mu$ 称为 Bhattacharyya 系数或概率亲和度。由 Cauchy–Schwarz 不等式，$0\le\rho(P,Q)\le1$；当两个分布完全一致时 $\rho=1$，当它们相互奇异时 $\rho=0$。这一表示把分布接近性转化为单位向量的内积问题，使得函数空间中的常规不等式可以直接用于比较概率分布。

TV 与 Hellinger 距离之间存在双向界，这意味着二者虽然刻画方式不同，却诱导相同的分布收敛概念。下界由逐点关系 $(\sqrt p-\sqrt q)^2\le|p-q|$ 立即得到；上界则将 $|p-q|$ 分解为 $|\sqrt p-\sqrt q|(\sqrt p+\sqrt q)$，然后应用 Cauchy–Schwarz：

\[\begin{aligned} H^2(P,Q) &\le \operatorname{TV}(P,Q)\\ &=\frac12\int|\sqrt p-\sqrt q|(\sqrt p+\sqrt q)\,d\mu\\ &\le\frac12\left[\int(\sqrt p-\sqrt q)^2\,d\mu\right]^{1/2} \left[\int(\sqrt p+\sqrt q)^2\,d\mu\right]^{1/2}\\ &=H(P,Q)\sqrt{2-H^2(P,Q)}\\ &\le\sqrt2\,H(P,Q). \end{aligned}\]

这里的等式依赖于 $\int(\sqrt p+\sqrt q)^2\,d\mu=2+2\rho(P,Q)$。由上述上下界，$H(P_n,P)\to0$ 当且仅当 $\operatorname{TV}(P_n,P)\to0$；但是两种距离的具体数值、几何解释与在其他不等式中产生的常数仍然不同。前述 Bernoulli 分布满足 $\rho(P,Q)=\sqrt{3/8}+\sqrt{1/8}\approx0.96593$，因此 $H^2(P,Q)\approx0.03407$、$H(P,Q)\approx0.18459$，与 TV 的数值并不相同。

信息散度：对数似然比、二阶波动与凸性

KL 散度及其非负性

KL 散度又称相对熵。若 $P\ll Q$，其定义为 $D_{\mathrm{KL}}(P|Q)=\mathbb E_P[\log(dP/dQ)]$；若绝对连续性不成立，则约定 $D_{\mathrm{KL}}(P|Q)=+\infty$。这一量描述以 $Q$ 替代真实模型 $P$ 时产生的平均额外对数损失。不同于 TV 和 Hellinger 距离，KL 散度通常不对称，也不满足三角不等式，因而不应把它当作通常意义上的度量。对于离散分布，KL 可写成 $\sum_xp(x)\log[p(x)/q(x)]$，其中采用 $0\log(0/q)=0$ 的约定，而若某点满足 $p(x)>0$、$q(x)=0$，散度即为无穷大。

尽管单个样本的对数似然比可能为负，KL 的整体期望始终非负。令 $r=dP/dQ$，并注意到 $\mathbb E_Q[r]=1$。函数 $\varphi(t)=t\log t$ 在非负实数上凸，因此由 Jensen 不等式有

\[\begin{aligned} D_{\mathrm{KL}}(P\|Q) &=\mathbb E_Q[r\log r]\\ &\ge \mathbb E_Q[r]\log\mathbb E_Q[r]\\ &=0. \end{aligned}\]

等号成立当且仅当 $P=Q$，这就是 Gibbs 不等式。在 Bernoulli 例子中，$D_{\mathrm{KL}}(P|Q)=\frac34\log(3/2)+\frac14\log(1/2)\approx0.13081$，但反向散度 $D_{\mathrm{KL}}(Q|P)\approx0.14384$。

Pearson $\chi^2$ 散度与 $f$-散度框架

Pearson $\chi^2$ 散度衡量似然比相对于 $1$ 的二阶波动。在 $P\ll Q$ 下，定义 $\chi^2(P|Q)=\mathbb E_Q[(r-1)^2]=\mathbb E_Q[r^2]-1$；如果不满足绝对连续性，按扩展定义取无穷大。它同样具有方向性，但与 KL 不同，其核心是平方误差而不是对数损失。利用 TV 的密度表示和 Cauchy–Schwarz 不等式，可以直接得到 $\operatorname{TV}(P,Q)\le\frac12\sqrt{\chi^2(P|Q)}$。对于上述 Bernoulli 对，$\chi^2(P|Q)=1/4$，这一 TV 上界恰好取等号。

KL、$\chi^2$、TV 与平方 Hellinger 距离都可以放在 $f$-散度框架中统一讨论：在 $P\ll Q$ 时，对于满足 $f(1)=0$ 的凸函数 $f$，令 $D_f(P|Q)=\mathbb E_Q[f(r)]$。分别选取 $f(t)=t\log t$、$f(t)=(t-1)^2$、$f(t)=|t-1|/2$ 和 $f(t)=(\sqrt t-1)^2/2$，便得到上述四种量。一般情形下还需加入与 $P$ 相对于 $Q$ 的奇异部分有关的项，因此只写期望形式时必须说明绝对连续性假设。

这一统一表示具有实质性的技术价值。例如，若把观测经过同一个可测变换或随机通道 $K$，则对任意凸生成函数都有数据处理不等式 $D_f(PK|QK)\le D_f(P|Q)$。其基本原因是，处理后的似然比可表示为原似然比关于处理后观测的条件期望，再应用条件 Jensen 不等式。由此可知，仅对数据施加相同的后处理，无法凭空增强两个分布在这些散度意义下的可区分性；这也是信息论与统计推断中许多不可能性结果的基础。

散度之间的定量比较

不同散度之间的比较并不是简单的大小排序，而是依赖于凸性、积分测度转换与函数范数控制。例如，当 $P\ll Q$ 且相关量有限时，对凹函数 $\log$ 应用 Jensen 不等式可得 $D_{\mathrm{KL}}(P|Q)\le\log\mathbb E_P[r]$；由于 $\mathbb E_P[r]=\mathbb E_Q[r^2]=1+\chi^2(P|Q)$，进一步结合 $\log(1+x)\le x$，便得到 KL 的二阶上界。另一方面，对 $\mathbb E_P[\log\sqrt{dQ/dP}]$ 使用 Jensen 不等式，可通过概率亲和度建立 KL 的 Hellinger 下界。将这些结论并列起来，可以写成

\[\begin{aligned} D_{\mathrm{KL}}(P\|Q) &\ge -2\log\rho(P,Q) =-2\log\bigl(1-H^2(P,Q)\bigr) \ge 2H^2(P,Q),\\ D_{\mathrm{KL}}(P\|Q) &\le\log\bigl(1+\chi^2(P\|Q)\bigr) \le\chi^2(P\|Q),\\ \operatorname{TV}(P,Q) &\le\frac12\sqrt{\chi^2(P\|Q)}. \end{aligned}\]

这些关系对于边界和无穷大情形应按扩展实数理解，例如 $\rho=0$ 时将 $-\log\rho$ 解释为无穷大。它们说明：控制较强的似然比二阶波动能够控制 KL 和 TV；控制 KL 能够控制 Hellinger 距离。但仅由这些比较还不能得到最优的 KL–TV 常数。要证明 Pinsker 不等式，最有效的路径不是把 Hellinger 上下界机械拼接，而是利用 KL 的变分结构直接作用于事件指示函数。

指数矩与集中不等式：从有界性到高概率控制

对数矩母函数与 Chernoff 方法

对于随机变量 $X$，矩母函数定义为 $M_X(\lambda)=\mathbb E[e^{\lambda X}]$，其对数 $\psi_X(\lambda)=\log M_X(\lambda)$ 称为对数矩母函数。在零点附近矩母函数有限的条件下，$\psi_X’(0)=\mathbb E[X]$、$\psi_X’‘(0)=\operatorname{Var}(X)$。对中心化变量 $Y=X-\mathbb E[X]$，记 $K_Y(\lambda)=\log\mathbb E[e^{\lambda Y}]$，则 $K_Y(0)=K_Y’(0)=0$。与直接研究各阶矩不同，对数矩母函数可以把尾部概率估计转化为单变量优化，而且对于独立随机变量，和的对数矩母函数等于各变量对数矩母函数之和。

这种转换来自 Markov 不等式。对于 $\lambda>0$ 和 $t>0$，对非负变量 $e^{\lambda Y}$ 应用 Markov 不等式，得到 $\Pr(Y\ge t)\le\exp{-\lambda t+K_Y(\lambda)}$。如果已知对所有实数 $\lambda$ 都有 $K_Y(\lambda)\le\sigma^2\lambda^2/2$，则称中心化变量 $Y$ 具有方差代理参数 $\sigma^2$ 的次高斯性。此时优化二次表达式可得

\[\begin{aligned} \Pr(Y\ge t) &\le\inf_{\lambda>0} \exp\left(-\lambda t+\frac{\sigma^2\lambda^2}{2}\right)\\ &=\exp\left(-\frac{t^2}{2\sigma^2}\right),\qquad t>0. \end{aligned}\]

对 $-Y$ 使用相同的论证，再借助并集界，可得到双侧尾界 $\Pr(|Y|\ge t)\le2\exp[-t^2/(2\sigma^2)]$。需要强调，次高斯性是指数矩的增长条件，并不意味着随机变量具有高斯分布；离散变量和有界变量也可以是次高斯的。方差代理参数同样不必等于实际方差，它是保证指数矩上界成立的参数。

Hoeffding 引理：指数倾斜下的曲率控制

Hoeffding 引理的关键结论是：若 $a\le X\le b$ 几乎处处成立，则 $X-\mathbb E[X]$ 一定是次高斯的，而且可取方差代理参数 $\sigma^2=(b-a)^2/4$。这一结论并不要求独立性，因为它只涉及一个随机变量。其证明可以从有界随机变量的方差上界入手：若 $c=(a+b)/2$，由于期望最小化均方误差，便有 $\operatorname{Var}(X)\le\mathbb E[(X-c)^2]\le(b-a)^2/4$。真正值得注意的是，这个方差上界不仅适用于原分布，也适用于保持相同取值范围的任何指数倾斜分布。

对任意实数 $\lambda$，定义指数倾斜后的概率测度 $P_\lambda$，使其满足 $dP_\lambda/dP=e^{\lambda X}/\mathbb E_P[e^{\lambda X}]$。在有界性保证下，对数矩母函数可以逐次求导，并满足 $\psi_X’(\lambda)=\mathbb E_{P_\lambda}[X]$ 与 $\psi_X’’(\lambda)=\operatorname{Var}{P\lambda}(X)$。指数倾斜只改变不同取值获得的权重，不改变变量所属区间，因此对中心化对数矩母函数 $K(\lambda)$ 有

\[\begin{aligned} K''(\lambda) &=\operatorname{Var}_{P_\lambda}(X) \le\frac{(b-a)^2}{4},\\ K(0)&=K'(0)=0 \quad\Longrightarrow\quad K(\lambda)\le\frac{\lambda^2(b-a)^2}{8}. \end{aligned}\]

最后一步是对二阶导数界积分两次，对正负 $\lambda$ 均成立。取指数即得到 Hoeffding 引理的标准形式 $\mathbb E[e^{\lambda(X-\mathbb E[X])}]\le\exp[\lambda^2(b-a)^2/8]$。常数 $1/8$ 的来源由此清晰可见：有界变量的方差上界给出区间长度平方除以 $4$，而从二阶导数积分到函数值时又引入系数 $1/2$。这是一条可以复用的证明模式：取值约束控制倾斜方差，倾斜方差控制对数矩母函数曲率，而曲率控制指数尾部。

独立样本的 Hoeffding 不等式

设 $X_1,\ldots,X_n$ 相互独立，且 $a_i\le X_i\le b_i$ 几乎处处成立，记 $S_n=\sum_{i=1}^n(X_i-\mathbb E[X_i])$。Hoeffding 引理给出每一项的指数矩上界，独立性则允许把和的指数矩分解为各项指数矩的乘积。对 $S_n$ 使用 Chernoff 方法，并选择最优参数，可得经典 Hoeffding 不等式：

\[\begin{aligned} \Pr(S_n\ge t) &\le\inf_{\lambda>0} \exp\left(-\lambda t+\frac{\lambda^2}{8}\sum_{i=1}^n(b_i-a_i)^2\right)\\ &=\exp\left(-\frac{2t^2}{\sum_{i=1}^n(b_i-a_i)^2}\right),\qquad t>0. \end{aligned}\]

对于独立同分布且取值于 $[0,1]$ 的随机变量，设共同期望为 $\mu$，样本均值为 $\overline X_n$，则 $\Pr(|\overline X_n-\mu|\ge\varepsilon)\le2e^{-2n\varepsilon^2}$。进一步将右侧控制在指定的失败概率 $\delta\in(0,1)$ 以内，可以得到一个无需正态近似的有限样本保证：以至少 $1-\delta$ 的概率，有 $|\overline X_n-\mu|\le\sqrt{\log(2/\delta)/(2n)}$。反过来，为确保误差不超过 $\varepsilon$ 且失败概率不超过 $\delta$，只需满足 $n\ge\log(2/\delta)/(2\varepsilon^2)$。这一结论揭示了非渐近统计中的典型尺度：估计精度随样本量以 $n^{-1/2}$ 的阶改善，置信要求则以对数形式增加样本复杂度。

Hoeffding 引理与 Hoeffding 不等式的假设必须严格区分。前者只使用单个变量的有界性，不需要独立性；后者使用独立性来分解求和指数矩。若样本存在依赖，不能把相同的指数矩乘积步骤直接照搬，通常需要引入鞅差分、有界差分条件或其他适合依赖结构的工具。

KL 的变分表示：连接信息散度与指数矩

KL 散度不仅是对数似然比的期望，还满足 Donsker–Varadhan（也称 Gibbs）变分公式。对所有有界可测函数 $f$ 取上确界，可以写成

\[D_{\mathrm{KL}}(P\|Q) =\sup_{f\in\mathcal B_b(\Omega)} \left\{\mathbb E_P[f]-\log\mathbb E_Q[e^f]\right\},\]

其中 $\mathcal B_b(\Omega)$ 表示有界可测实函数类，等式在扩展实数意义下成立。该公式在结构上极其重要：它把关于两个分布的 KL 散度，写成测试函数在 $P$ 下的期望与同一函数在 $Q$ 下的对数指数矩之间的最优差值。如果能够控制某类测试函数在 $Q$ 下的指数矩，就能立即得到它们在 $P$ 与 $Q$ 下的期望差异界。

其上界方向来自 KL 的非负性。给定有界可测函数 $f$，构造倾斜分布 $Q_f$，使 $dQ_f/dQ=e^f/\mathbb E_Q[e^f]$。当 $P\ll Q$ 时，利用 Radon–Nikodym 导数的对数分解，可得

\[\begin{aligned} D_{\mathrm{KL}}(P\|Q_f) &=D_{\mathrm{KL}}(P\|Q) -\mathbb E_P[f]+\log\mathbb E_Q[e^f]\\ &\ge0. \end{aligned}\]

因此，变分目标对任何 $f$ 都不超过 $D_{\mathrm{KL}}(P|Q)$。反向不等式可以通过选择 $f$ 逼近对数似然比 $\log(dP/dQ)$ 来证明；当该函数无界时，使用适当截断并取极限。变分目标还有一个方便的性质：把 $f$ 替换为 $f+c$ 不改变目标值，因为额外的常数在线性期望项与对数归一化项中正好抵消。这使中心化的事件指示函数成为自然的测试函数选择。

Pinsker 不等式：用指数矩控制事件差异

Pinsker 不等式断言，对任意定义在同一可测空间上的概率测度 $P,Q$，都有 $\operatorname{TV}(P,Q)\le\sqrt{D_{\mathrm{KL}}(P|Q)/2}$，等价地，$D_{\mathrm{KL}}(P|Q)\ge2\operatorname{TV}(P,Q)^2$。当 KL 为无穷大时结论自动成立，因此只需讨论有限 KL 的情形。定理的重要性不在于提供一个新的距离定义，而在于把信息论中容易通过优化控制的散度，转换为对全部事件概率差异的统一保证。

为证明这一结果，固定任意可测事件 $A$，令 $g=\mathbf1_A-Q(A)$。由指示函数的性质，$\mathbb E_Q[g]=0$，同时 $g$ 的取值落在一个长度恰好为 $1$ 的区间内。于是 Hoeffding 引理给出 $\log\mathbb E_Q[e^{\lambda g}]\le\lambda^2/8$，且该不等式对所有 $\lambda\in\mathbb R$ 成立。将测试函数 $f=\lambda g$ 代入 KL 变分公式，并利用 $\mathbb E_P[g]=P(A)-Q(A)$，可得

\[\begin{aligned} D_{\mathrm{KL}}(P\|Q) &\ge\lambda\mathbb E_P[g]-\log\mathbb E_Q[e^{\lambda g}]\\ &\ge\lambda\bigl(P(A)-Q(A)\bigr)-\frac{\lambda^2}{8}, \qquad\lambda\in\mathbb R. \end{aligned}\]

记 $\Delta_A=P(A)-Q(A)$。右侧是关于 $\lambda$ 的凹二次函数，其最大值在 $\lambda=4\Delta_A$ 处取得，并且最大值为 $2\Delta_A^2$。由于事件 $A$ 是任意的，最后对全部可测事件取上确界，得到完整的推导链：

\[\begin{aligned} D_{\mathrm{KL}}(P\|Q) &\ge\sup_{\lambda\in\mathbb R} \left\{\lambda\Delta_A-\frac{\lambda^2}{8}\right\} =2\Delta_A^2\\ &\Longrightarrow\quad D_{\mathrm{KL}}(P\|Q) \ge2\sup_{A\in\mathcal F}|P(A)-Q(A)|^2\\ &=2\operatorname{TV}(P,Q)^2. \end{aligned}\]

这个证明的技术核心是两次优化：KL 的变分表示允许选择适当的测试函数，随后 Chernoff 式的二次优化确定最佳指数参数。尤其值得注意的是，Pinsker 证明中的 $1/8$ 正是 Hoeffding 引理对长度为 $1$ 的指示函数取值区间给出的常数，而它经过最优化后产生 Pinsker 下界中的常数 $2$。因此，该证明并不是将两条现成结论拼接，而是展示了指数矩界如何系统性地转化为信息散度对统计量期望差异的约束。

常数、局部几何与一个完整的 Bernoulli 例子

为了考察各个量的数值关系，回到 $P=\operatorname{Bern}(3/4)$ 与 $Q=\operatorname{Bern}(1/2)$。直接代入定义，可得到以下结果；其中 Hellinger 距离与散度的量纲并不相同，因此表中数值用于检验各自的比较不等式，而不应用来进行脱离公式的大小排序。

统计量	数值	主要含义
$\operatorname{TV}(P,Q)$	$0.25000$	最大事件概率差异
$H^2(P,Q)$	$0.03407$	平方根密度的平方距离
$H(P,Q)$	$0.18459$	平方根密度的几何距离
$D_{\mathrm{KL}}(P|Q)$	$0.13081$	正向平均额外对数损失
$D_{\mathrm{KL}}(Q|P)$	$0.14384$	反向平均额外对数损失
$\chi^2(P|Q)$	$0.25000$	似然比相对 $1$ 的二阶波动
$R_{\mathrm{test}}^*$	$0.37500$	等先验单次观测的最优错误率

对该例应用 Pinsker 不等式，得到 $\operatorname{TV}(P,Q)\le\sqrt{0.13081/2}\approx0.25575$，与精确值 $0.25$ 相当接近。通过 $\chi^2$ 散度得到的上界则是 $\frac12\sqrt{0.25}=0.25$，恰好达到等号；使用 Hellinger 距离的较紧上界 $H\sqrt{2-H^2}$，得到约 $0.25882$。这表明不存在对所有问题都最精确的“万能散度”：不同可获得信息会给出不同松弛程度的上界，而某条界是否实用还取决于对应散度是否容易计算或优化。

Pinsker 常数为何不可统一改进

Pinsker 不等式中常数 $2$ 的最优性可以通过一个局部 Bernoulli 扰动精确说明。设 $P_\varepsilon=\operatorname{Bern}(1/2+\varepsilon)$，$Q=\operatorname{Bern}(1/2)$，其中 $|\varepsilon|<1/2$。总变差距离恰好为 $\operatorname{TV}(P_\varepsilon,Q)=|\varepsilon|$；利用 $\sqrt{1+x}$ 的 Taylor 展开，以及正负扰动的奇次项相消，可以得到

\[\begin{aligned} H^2(P_\varepsilon,Q) &=1-\frac12\left(\sqrt{1+2\varepsilon}+\sqrt{1-2\varepsilon}\right)\\ &=\frac{\varepsilon^2}{2}+\frac{5\varepsilon^4}{8}+O(\varepsilon^6),\\ D_{\mathrm{KL}}(P_\varepsilon\|Q) &=\left(\frac12+\varepsilon\right)\log(1+2\varepsilon) +\left(\frac12-\varepsilon\right)\log(1-2\varepsilon)\\ &=2\varepsilon^2+\frac43\varepsilon^4+O(\varepsilon^6). \end{aligned}\]

因此，当 $\varepsilon\to0$ 时，TV 是扰动的一阶量，而平方 Hellinger 距离和 KL 是二阶量。更重要的是，$D_{\mathrm{KL}}(P_\varepsilon|Q)/(2\operatorname{TV}(P_\varepsilon,Q)^2)\to1$。若尝试把 Pinsker 不等式中的全局常数 $2$ 换成任何更大的常数，这一局部二点分布族都会在充分小的扰动下构成反例。因此，常数 $2$ 在采用自然对数与本文 TV 归一化的条件下是尖锐的；其最佳性并不要求使用复杂的连续分布，最简单的二点实验已经足够。

为什么小 TV 不保证小 KL

Pinsker 不等式只提供从 KL 到 TV 的单向控制，不能在没有附加条件时逆用。考虑 $P_\varepsilon=\operatorname{Bern}(\varepsilon)$ 与 $Q=\operatorname{Bern}(0)$：虽然 $\operatorname{TV}(P_\varepsilon,Q)=\varepsilon\to0$，但只要 $\varepsilon>0$，事件 ${1}$ 在 $Q$ 下概率为零、在 $P_\varepsilon$ 下概率为正，因此 $P_\varepsilon\not\ll Q$，始终有 $D_{\mathrm{KL}}(P_\varepsilon|Q)=+\infty$。这一反例揭示了 KL 对支持集不匹配的高度敏感性，也说明为什么概率模型比较不能只凭距离数值的直觉来推断散度性质。

统计推断中的两类误差及其组合

在分布偏移问题中，设训练分布为 $P$、目标分布为 $Q$，并令同一个可测损失函数 $\ell$ 满足 $a\le\ell\le b$。由 TV 的有界期望差异界和 Pinsker 不等式，直接得到

\[\begin{aligned} \bigl|\mathbb E_P[\ell]-\mathbb E_Q[\ell]\bigr| &\le(b-a)\operatorname{TV}(P,Q)\\ &\le(b-a)\sqrt{\frac12D_{\mathrm{KL}}(P\|Q)}. \end{aligned}\]

如果损失取值于 $[0,1]$ 且已知 $D_{\mathrm{KL}}(P|Q)\le0.02$，那么风险差异不超过 $0.1$。但这一保证只控制同一个损失函数在两个分布下的期望差异，不保证模型本身具有较低绝对风险；若训练与测试使用不同预测器，或只比较特征边缘分布而标签条件机制发生变化，便不能无条件套用该式。因为 TV 对称，也可在适用时使用反向 KL 得到另一个界，最终选择可用且更紧的方向。

另一方面，集中不等式控制的是固定分布下有限样本统计量的抽样波动。对于独立的 $[0,1]$ 观测，只需 $n=200$ 且允许误差 $\varepsilon=0.1$，Hoeffding 不等式便给出失败概率不超过 $2e^{-4}\approx0.03663$；若要求失败概率不超过 $0.05$，则对应的误差半径约为 $\sqrt{\log 40/400}\approx0.09603$。这类结论没有直接说明训练分布与目标分布是否一致。实际分析中，应先使用集中界控制样本均值相对于训练分布期望的偏离，再用 TV 或 KL 控制训练期望与目标期望的差异，最后通过三角不等式把两种来源不同的误差合并。

分布距离也可用于多样本假设检验。若从 $P$ 或 $Q$ 中独立抽取 $n$ 个样本，相应模型变成乘积分布 $P^{\otimes n}$ 与 $Q^{\otimes n}$。在绝对连续和有限 KL 的前提下，KL 具有可加性：$D_{\mathrm{KL}}(P^{\otimes n}|Q^{\otimes n})=nD_{\mathrm{KL}}(P|Q)$。因此 Pinsker 不等式与最优检验错误率公式联合给出

\[\begin{aligned} R_n^* &=\frac12\left(1-\operatorname{TV}(P^{\otimes n},Q^{\otimes n})\right)\\ &\ge\frac12\left(1-\min\left\{1,\sqrt{\frac n2D_{\mathrm{KL}}(P\|Q)}\right\}\right). \end{aligned}\]

这一界在样本量很大时可能变得平凡，但在散度很小的统计下界证明中十分有用：只要 $nD_{\mathrm{KL}}(P|Q)$ 仍然很小，就无法通过 $n$ 个独立样本以极低错误率区分两个模型。这里体现了信息散度与集中方法的互补性：一个用于证明观测能够稳定估计什么，另一个用于证明观测在信息受限时不可能可靠区分什么。

方法选择与理论边界

如果研究目标是事件概率差异、二元检验或有界损失的迁移，TV 通常具有最直接的统计解释；如果需要借助函数空间几何控制分布收敛，Hellinger 距离通常更自然；如果模型以对数似然、交叉熵或信息约束为核心，KL 散度及其变分表示更适合分析；如果已有似然比的二阶矩控制，Pearson $\chi^2$ 散度往往能给出简洁的上界。对于有限样本估计问题，首先应确认随机变量是否独立、有界或具有次高斯指数矩界，再选择 Hoeffding、Chernoff 或更精细的方差敏感型方法。

还必须区分不同意义下的“分布接近”。TV 与 Hellinger 距离的收敛等价，但一般不与 KL 收敛双向等价；KL 小必然推出 TV 小，而 TV 小不能保证任何方向的 KL 小。尤其当经验分布是离散测度、真实分布却是无原子的连续测度时，两者的 TV 距离可始终为 $1$，尽管某些样本统计量已经一致收敛。这说明在统计学习中，不能把弱收敛、特定函数类上的一致收敛和总变差收敛混为一谈。选择距离之前，必须先判断实际要控制的是哪一类事件或测试函数。

从证明方法看，本文最值得保留的是一组可以迁移的结构：借助共同支配测度把事件比较转化为密度积分；借助 Cauchy–Schwarz 比较平方根密度与似然比波动；借助 Jensen 建立散度非负性与数据处理性质；借助指数倾斜把对数矩母函数曲率解释为方差；借助 Chernoff 优化把指数矩界变成尾部概率界；最后利用 KL 变分表示把有界测试函数的集中性转化为分布之间的定量约束。Pinsker 不等式之所以重要，不仅因为它常被引用，更因为它将这些方法中的关键部分凝结为一条简洁而具有尖锐常数的定理。

延伸阅读

进一步研究可以沿两条互补的方向展开。若关注统计决策与极小极大下界，可从 Le Cam 方法、Fano 不等式、Rényi 散度及数据处理不等式入手；若关注高维统计与学习理论中的误差控制，则可继续学习 Bennett、Bernstein、Azuma–Hoeffding、McDiarmid 不等式和 PAC-Bayes 理论。以下资料分别从信息论、统计推断和集中不等式的角度提供更完整的论证体系：

• John Duchi, Lecture Notes on Statistics and Information Theory, Stanford University.
• Martin J. Wainwright, High-Dimensional Statistics: A Non-Asymptotic Viewpoint, Cambridge University Press, 2019.
• Alexandre B. Tsybakov, Introduction to Nonparametric Estimation, Springer, 2009.
• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006.
• Stéphane Boucheron, Gábor Lugosi, and Pascal Massart, Concentration Inequalities: A Nonasymptotic Theory of Independence, Oxford University Press, 2013.