pinsker_inequality.md

Pinskerの不等式

ステートメント

$(\mathcal{X}, \mathcal{A})$ を可測空間として，$P, Q$ をその上の確率測度とする．$P$ と $Q$ の全変動距離を $d_{\mathrm{TV}}(P, Q)$, Kullback--Liebkerダイバージェンスを $D_{\mathrm{KL}}(P, Q)$ と表す．このとき

$$ d_{\mathrm{TV}}(P, Q) \leq \sqrt{\frac{1}{2} D_\mathrm{KL}(P, Q)} $$

が成り立つ．

出典

• A. B. Tsybakov. Introduction to Nonparametric Estimation. Springer, (2009).