大数の法則

この章の目標

• 確率収束と概収束の違いを理解し、大数の弱法則・強法則を証明できる
• 切断・部分列・ボレル–カンテリの補題を組み合わせる強法則の証明技法（エテマディの証明）を身につける
• コルモゴロフの 0-1 法則を証明し、末尾事象の確率が 0 か 1 であることを使える
• モンテカルロ法・正規数・ワイエルシュトラスの近似定理・グリヴェンコ–カンテリの定理への応用を説明できる

前提：第1章、06-measure-integration 第4章（測度収束）

2.1 二つの収束

公平なコインを $n$ 回投げたときの表の回数を $S_n$ とすると、経験的に相対頻度 $S_n/n$ は $1/2$ に近づく。確率論の出発点ともいえるこの経験則を定理として述べるには、「確率変数列が収束する」ことの意味を定める必要がある。この章では次の二つを使う（他の収束概念とあわせた比較は第3章で行う）。

定義 2.1（概収束・確率収束）確率変数列 $X_n$ と確率変数 $X$ について

1. $P(\lim_n X_n = X) = 1$ のとき、$X_n$ は $X$ に概収束 (almost sure convergence) するといい、$X_n \to X$ a.s. と書く。
2. 任意の $\varepsilon > 0$ について $P(\lvert X_n - X \rvert > \varepsilon) \to 0$ のとき、$X_n$ は $X$ に確率収束 (convergence in probability) するといい、$X_n \xrightarrow{P} X$ と書く。

概収束は測度論の a.e. 収束、確率収束は測度収束（06-measure-integration 第4章 定義 4.15）である。全測度が有限なので概収束すれば確率収束するが、逆は成り立たない（第3章）。確率収束は「各時刻 $n$ で大きくずれる確率が小さい」ことしか言わず、一つの標本路 $n \mapsto X_n(\omega)$ の挙動については何も言わない。

以下、$X_1, X_2, \dots$ に対し $S_n = X_1 + \cdots + X_n$ とおく。

2.2 大数の弱法則

定理 2.2（$L^2$ 弱法則）$X_1, X_2, \dots$ は互いに無相関で、$E[X_n] = m$、$\operatorname{Var}(X_n) \leq C$（$C$ は定数）を満たすとする。このとき $S_n/n \to m$ は $L^2$ でも確率でも成り立つ。

証明. 無相関なので分散は加法的で、$E[(S_n/n - m)^2] = \operatorname{Var}(S_n)/n^2 \leq C/n \to 0$。チェビシェフの不等式より $P(\lvert S_n/n - m \rvert > \varepsilon) \leq C/(n\varepsilon^2) \to 0$。$\square$

例 2.3 公平なコインでは $\operatorname{Var}(X_k) = 1/4$ なので $P(\lvert S_n/n - 1/2 \rvert \geq \varepsilon) \leq 1/(4n\varepsilon^2)$。誤差 $\varepsilon$ の典型的な大きさは $1/\sqrt{n}$ の程度である。この $\sqrt{n}$ のスケールでの揺らぎを精密に述べるのが第4章の中心極限定理である。

分散が存在しなくても、平均さえあれば弱法則は成り立つ。証明の鍵は切断 (truncation) である。

定理 2.4（大数の弱法則, weak law of large numbers）$X_1, X_2, \dots$ を i.i.d. で $E[\lvert X_1 \rvert] < \infty$ とし、$m = E[X_1]$ とする。このとき $S_n/n \xrightarrow{P} m$。

証明. $n$ ごとに $Y_{n,k} = X_k \mathbf{1}_{\lbrace \lvert X_k \rvert \leq n \rbrace}$（$1 \leq k \leq n$）、$T_n = \sum_{k=1}^n Y_{n,k}$、$\mu_n = E[X_1; \lvert X_1 \rvert \leq n]$ とおく。

(a) $P(S_n \neq T_n) \leq \sum_{k=1}^n P(\lvert X_k \rvert > n) = n P(\lvert X_1 \rvert > n) \leq E[\lvert X_1 \rvert; \lvert X_1 \rvert > n] \to 0$（優収束定理）。

(b) $Y_{n,1}, \dots, Y_{n,n}$ は i.i.d. なので $E[T_n] = n\mu_n$、$\operatorname{Var}(T_n) \leq n E[X_1^2; \lvert X_1 \rvert \leq n]$。$0 < M \leq n$ とすると、$\lbrace \lvert X_1 \rvert \leq M \rbrace$ では $X_1^2 \leq M^2$、$\lbrace M < \lvert X_1 \rvert \leq n \rbrace$ では $X_1^2 \leq n \lvert X_1 \rvert$ だから

$n \to \infty$、次に $M \to \infty$ として $\operatorname{Var}(T_n/n) \to 0$ を得る。

(c) 優収束定理より $\mu_n \to m$。$\varepsilon > 0$ に対し $n$ が十分大きく $\lvert \mu_n - m \rvert < \varepsilon/2$ となれば

注意 2.5 証明の骨格は (a) $n P(\lvert X_1 \rvert > n) \to 0$ と (b) 切断した和の分散の評価であり、可積分性は (b) の評価と $\mu_n \to m$ に使った。(b) を問題 2.7 のように評価し直すと、可積分性を仮定しなくても $x P(\lvert X_1 \rvert > x) \to 0$ だけから $S_n/n - \mu_n \xrightarrow{P} 0$ が従う。この条件は可積分性より真に弱く、弱法則は成り立つが強法則は成り立たない例がある。

2.3 大数の強法則

弱法則は「$n$ を一つ固定すれば、$S_n/n$ が $m$ から離れている確率は小さい」と言うだけである。コイン投げを延々と続けたとき、一つの試行列の上で相対頻度が $1/2$ に収束するか、という問いに答えるのが強法則である。まずボレル–カンテリの補題が直接使える場合を扱う。

定理 2.6（4 次モーメントによる強法則）$X_1, X_2, \dots$ は独立で、$E[X_n] = m$、$E[(X_n - m)^4] \leq K$（$K$ は定数）を満たすとする。このとき $S_n/n \to m$ a.s.。

証明. $X_n - m$ を改めて $X_n$ とおき $m = 0$ とする。$S_n^4 = \left(\sum_i X_i\right)^4$ を展開すると、独立性と $E[X_i] = 0$ より、ある添字がちょうど 1 回だけ現れる項の期待値は 0 になる。残るのは $X_i^4$ と $X_i^2 X_j^2$（$i \neq j$）の項だけで

である（$E[X_i^2]^2 \leq E[X_i^4] \leq K$ を使った）。マルコフの不等式より $P(\lvert S_n/n \rvert > \varepsilon) \leq E[S_n^4]/(n^4 \varepsilon^4) \leq 3K/(\varepsilon^4 n^2)$ で、これは $n$ について総和有限である。ボレル–カンテリの第 1 補題より、a.s. で有限個の $n$ を除き $\lvert S_n/n \rvert \leq \varepsilon$。$\varepsilon = 1/l$（$l \in \mathbb{N}$）について確率 1 の事象の共通部分をとれば $S_n/n \to 0$ a.s.。$\square$

コイン投げのように有界な確率変数ならこれで十分である。一般の場合は、次の定理が最良である（逆が注意 2.8）。ここでは独立性を「対ごとの独立性」に弱めたエテマディ（N. Etemadi, 1981）の証明を与える。

定理 2.7（大数の強法則, strong law of large numbers）$X_1, X_2, \dots$ は対ごとに独立で同分布、$E[\lvert X_1 \rvert] < \infty$ とし、$m = E[X_1]$ とする。このとき $S_n/n \to m$ a.s.。

証明. $X_n = X_n^{+} - X_n^{-}$ と分けると、$(X_n^{+})_n$、$(X_n^{-})_n$ もそれぞれ対ごとに独立で同分布だから、$X_n \geq 0$ としてよい。

(1) 切断。$Y_k = X_k \mathbf{1}_{\lbrace X_k \leq k \rbrace}$、$T_n = \sum_{k=1}^n Y_k$ とおく。命題 1.14 より $\sum_k P(X_k \neq Y_k) = \sum_k P(X_1 > k) \leq E[X_1] < \infty$ なので、第 1 補題より a.s. で有限個の $k$ を除き $X_k = Y_k$ となり、$(S_n - T_n)/n \to 0$ a.s.。よって $T_n/n \to m$ a.s. を示せばよい。

(2) 分散の和の評価。$x > 0$ について $\sum_{k \in \mathbb{N}, k \geq x} k^{-2} \leq 2/x$ である（$x \geq 1$ なら $k_0 = \lceil x \rceil$ として $\sum_{k \geq k_0} k^{-2} \leq k_0^{-2} + \int_{k_0}^\infty t^{-2}\ dt \leq 2/k_0$、$0 < x < 1$ なら $\sum_k k^{-2} < 2 < 2/x$）。トネリの定理より

(3) 幾何級数的な部分列。$\alpha > 1$ を固定し $k(n) = \lfloor \alpha^n \rfloor$ とおく。$Y_k$ は対ごとに独立なので無相関で、$\operatorname{Var}(T_N) = \sum_{j \leq N} \operatorname{Var}(Y_j)$。$y \geq 1$ で $\lfloor y \rfloor \geq y/2$ だから $\sum_{n \colon k(n) \geq j} k(n)^{-2} \leq \sum_{n \colon \alpha^n \geq j} 4\alpha^{-2n} \leq \frac{4}{(1 - \alpha^{-2}) j^2}$。チェビシェフの不等式と和の順序交換により

第 1 補題と $\varepsilon = 1/l$ の共通部分により $(T_{k(n)} - E[T_{k(n)}])/k(n) \to 0$ a.s.。単調収束定理より $E[Y_k] = E[X_1; X_1 \leq k] \uparrow m$ なので、チェザロ平均も $E[T_n]/n \to m$。よって $T_{k(n)}/k(n) \to m$ a.s.。

(4) 補間。$Y_k \geq 0$ より $T_l$ は $l$ について単調非減少だから、$k(n) \leq l \leq k(n+1)$ のとき

$k(n+1)/k(n) \to \alpha$ なので、a.s. で $m/\alpha \leq \liminf_l T_l/l \leq \limsup_l T_l/l \leq \alpha m$。$\alpha = 1 + 1/j$（$j \in \mathbb{N}$）について共通部分をとれば $T_l/l \to m$ a.s.。$\square$

注意 2.8（強法則の逆）$X_n$ が i.i.d. で $E[\lvert X_1 \rvert] = \infty$ ならば $\limsup_n \lvert S_n \rvert / n = \infty$ a.s. である。実際、問題 1.7 より $\limsup_n \lvert X_n \rvert/n = \infty$ a.s. であり、$\lvert X_n \rvert \leq \lvert S_n \rvert + \lvert S_{n-1} \rvert$ だから $\lvert S_n \rvert / n$ が有界なら $\lvert X_n \rvert / n$ も有界になってしまう。したがって i.i.d. 列について、$S_n/n$ が a.s. で有限の極限をもつことと $E[\lvert X_1 \rvert] < \infty$ は同値である。たとえばコーシー分布の i.i.d. 列の標本平均は収束しない。

2.4 コルモゴロフの 0-1 法則

コイン投げで「相対頻度が収束する」という事象は、最初の有限回の結果をどう変えても起こるかどうかが変わらない。このような事象の確率は 0 か 1 に限られる。

定義 2.9（末尾 σ-加法族, tail σ-algebra）確率変数列 $X_1, X_2, \dots$ に対し $\mathcal{T}_n = \sigma(X_{n+1}, X_{n+2}, \dots)$、$\mathcal{T} = \bigcap_{n} \mathcal{T}_n$ とおく。$\mathcal{T}$ を末尾 σ-加法族、その元を末尾事象 (tail event) という。

例 2.10 $\lbrace \sum_n X_n \text{ が収束} \rbrace$、$\lbrace S_n/n \text{ が収束} \rbrace$ は末尾事象であり、$\limsup_n S_n/n$ は $\mathcal{T}$-可測である（どの $m$ についても、$(S_n - S_m)/n$ の挙動で決まり、それは $\mathcal{T}_m$-可測）。一方 $\lbrace S_n > 0 \text{ i.o.} \rbrace$ は、$X_1$ の値を変えると変わりうるので一般には末尾事象ではない。

定理 2.11（コルモゴロフの 0-1 法則, Kolmogorov's zero-one law）$X_1, X_2, \dots$ が独立ならば、任意の $A \in \mathcal{T}$ について $P(A) = 0$ または $1$ である。

証明. $\mathcal{A}_n = \sigma(X_1, \dots, X_n)$ とおく。グループ化（系 1.24）により $\mathcal{A}_n$ と $\mathcal{T}_n$ は独立で、$\mathcal{T} \subset \mathcal{T}_n$ だから $\mathcal{T}$ は各 $\mathcal{A}_n$ と独立である。$\mathcal{A}_n$ は増大列なので $\bigcup_n \mathcal{A}_n$ は π-系であり、定理 1.23 より $\mathcal{T}$ は $\sigma\left(\bigcup_n \mathcal{A}_n\right) = \sigma(X_1, X_2, \dots)$ と独立である。$\mathcal{T}$ はこれに含まれるので、$A \in \mathcal{T}$ は自分自身と独立で $P(A) = P(A \cap A) = P(A)^2$。$\square$

系 2.12 $X_n$ が独立ならば、$\mathcal{T}$-可測な $[-\infty, \infty]$ 値確率変数 $Y$ は a.s. で定数である。

証明. 各 $x$ について $P(Y \leq x) \in \lbrace 0, 1 \rbrace$ なので、$c = \inf\lbrace x \in \mathbb{R} \mid P(Y \leq x) = 1 \rbrace \in [-\infty, \infty]$（$\inf \emptyset = \infty$）とおけば $Y = c$ a.s.。$\square$

したがって独立な確率変数の級数は、確率 1 で収束するか確率 1 で発散するかのどちらかである。どちらになるかを判定する道具が次節の定理である。

2.5 コルモゴロフの不等式と級数の収束

定理 2.13（コルモゴロフの不等式, Kolmogorov's inequality）$X_1, \dots, X_n$ は独立で $E[X_k] = 0$、$E[X_k^2] < \infty$ とする。$\lambda > 0$ について

$$P\left(\max_{1 \leq k \leq n} \lvert S_k \rvert \geq \lambda\right) \leq \frac{\operatorname{Var}(S_n)}{\lambda^2}$$

チェビシェフの不等式は $\lvert S_n \rvert$ だけを評価するが、この不等式は途中の最大値まで同じ上界で評価する。

証明. $A_k = \lbrace \lvert S_k \rvert \geq \lambda,\ \lvert S_j \rvert < \lambda\ (j < k) \rbrace$ は互いに交わらず、和集合が左辺の事象である。$S_k \mathbf{1}_{A_k}$ は $\sigma(X_1, \dots, X_k)$-可測、$S_n - S_k$ はそれと独立で平均 0 なので $E[S_k \mathbf{1}_{A_k}(S_n - S_k)] = 0$。よって

定理 2.14 $X_1, X_2, \dots$ は独立で $E[X_n] = 0$、$\sum_n \operatorname{Var}(X_n) < \infty$ を満たすとする。このとき $\sum_n X_n$ は a.s. で収束する。

証明. $m < n$ とし、$X_{m+1}, \dots, X_n$ に定理 2.13 を適用して $n \to \infty$ とすれば

$W_m = \sup_{j, k > m} \lvert S_j - S_k \rvert$ は $m$ について単調非増加で、$W_m \leq 2\sup_{k > m} \lvert S_k - S_m \rvert$。極限 $W = \lim_m W_m$ について $P(W > 2\varepsilon) \leq P(W_m > 2\varepsilon) \leq \varepsilon^{-2}\sum_{k > m} \operatorname{Var}(X_k) \to 0$ なので $W = 0$ a.s.、すなわち $(S_n)$ は a.s. でコーシー列である。$\square$

例 2.15（ランダムな符号の調和級数）$\varepsilon_n$ を $P(\varepsilon_n = \pm 1) = 1/2$ の i.i.d. とすると、$\sum_n 1/n^2 < \infty$ なので $\sum_n \varepsilon_n / n$ は a.s. で収束する。調和級数は発散し交代調和級数は収束するが、符号を公平なコインで決めると確率 1 で収束する。

定理 2.16（コルモゴロフの 3 級数定理, three-series theorem）$X_1, X_2, \dots$ を独立とし、$A > 0$、$Y_n = X_n \mathbf{1}_{\lbrace \lvert X_n \rvert \leq A \rbrace}$ とおく。$\sum_n X_n$ が a.s. で収束するための必要十分条件は、次の三つの級数がすべて収束することである。

$$\text{(i) } \sum_n P(\lvert X_n \rvert > A), \qquad \text{(ii) } \sum_n E[Y_n], \qquad \text{(iii) } \sum_n \operatorname{Var}(Y_n)$$

証明の概略. 十分性：(i) と第 1 補題より a.s. で有限個を除き $X_n = Y_n$。(iii) と定理 2.14 より $\sum_n (Y_n - E[Y_n])$ は a.s. で収束し、(ii) と合わせて $\sum_n Y_n$、したがって $\sum_n X_n$ が a.s. で収束する（ここまでは完全な証明である）。必要性：$\sum_n X_n$ が収束すれば $X_n \to 0$ なので、第 2 補題の対偶から (i) が従う。(iii) は、独立なコピー $Y_n'$ との差 $Y_n - Y_n'$（対称化）を考え、有界な項の和が収束するなら分散の和も有限であること（コルモゴロフの不等式の逆向きの評価、または中心極限定理による）を示して得る。(ii) は (iii) と定理 2.14 から従う。詳細は Durrett の教科書を参照。$\square$

2.6 応用

モンテカルロ法

$f\colon [0,1]^d \to \mathbb{R}$ が可積分なら、$[0,1]^d$ 上の一様分布に従う i.i.d. $U_1, U_2, \dots$ について、強法則より

例 2.17（$\pi$ の推定）$d = 2$、$f = 4 \cdot \mathbf{1}_{\lbrace x_1^2 + x_2^2 \leq 1 \rbrace}$ とすれば積分は $\pi$ である。$\operatorname{Var}(f(U)) = 16 \cdot \frac{\pi}{4}\left(1 - \frac{\pi}{4}\right) = 4\pi - \pi^2 \approx 2.70$ なので、チェビシェフの不等式より $n = 10^6$ 点で $P(\lvert \hat{\pi}_n - \pi \rvert \geq 0.01) \leq 2.70/(10^6 \cdot 10^{-4}) = 0.027$。誤差は $\sqrt{\operatorname{Var}(f(U))/n}$ の程度で、次元 $d$ によらない。格子点を使う数値積分では、1 軸あたり $N^{1/d}$ 点しか置けず高次元で精度が急速に落ちるのと対照的である。

ボレルの正規数定理

$x \in [0, 1)$ の $b$ 進展開（$b \geq 2$）で、長さ $k$ のすべての数字列 $w$ が極限頻度 $b^{-k}$ で現れるとき、$x$ は $b$ 進正規数 (normal number) であるという。

定理 2.18（ボレルの正規数定理, Borel 1909）ルベーグ測度についてほとんどすべての $x \in [0,1)$ は、すべての $b \geq 2$ について $b$ 進正規数である。

証明. $b$ を固定する。例 1.32 と同様に、$b$ 進展開の各桁 $d_1, d_2, \dots$ はルベーグ測度のもとで $\lbrace 0, \dots, b-1 \rbrace$ 上の一様分布に従う i.i.d. である。長さ $k$ の数字列 $w$ を固定し、$\eta_j = \mathbf{1}_{\lbrace (d_j, \dots, d_{j+k-1}) = w \rbrace}$ とおく。$\eta_j$ たちは重なりのために独立ではないが、剰余 $r \in \lbrace 1, \dots, k \rbrace$ ごとに $\eta_{r}, \eta_{r+k}, \eta_{r+2k}, \dots$ は重ならないブロックで決まるので $\operatorname{Be}(b^{-k})$ の i.i.d. である。定理 2.6 より各 $r$ について $\frac{1}{N}\sum_{i=0}^{N-1} \eta_{r + ik} \to b^{-k}$ a.s. であり、$j \leq n$ を剰余で $k$ 組に分けて和をとれば $\frac{1}{n}\sum_{j=1}^n \eta_j \to b^{-k}$ a.s.。$b$、$k$、$w$ は可算個なので、例外集合の和も零集合である。$\square$

ほとんどすべての数が正規数であるにもかかわらず、$\sqrt{2}$、$\pi$、$e$ が 10 進正規数かどうかは知られていない。確率論的な存在証明は、具体例を与えずに「ほとんどすべて」を示せるという特徴をもつ。

ワイエルシュトラスの近似定理

定理 2.19（バーンスタイン多項式による近似）$f \in C([0,1])$ に対し

$$B_n f(p) = \sum_{k=0}^n f\left(\frac{k}{n}\right)\binom{n}{k} p^k (1-p)^{n-k}$$

とおくと、$B_n f \to f$ は $[0,1]$ 上一様収束する。特に連続関数は多項式で一様近似できる。

証明. $S_n \sim B(n, p)$ とすると $B_n f(p) = E[f(S_n/n)]$ である（コインの表の出る確率 $p$ を相対頻度 $S_n/n$ で推定して $f$ に代入する）。$f$ は一様連続なので、$\varepsilon > 0$ に対し $\lvert x - y \rvert < \delta$ なら $\lvert f(x) - f(y) \rvert < \varepsilon$ となる $\delta > 0$ がある。$M = \max \lvert f \rvert$ とすると、チェビシェフの不等式と $p(1-p) \leq 1/4$ より

右辺は $p$ によらないので $\limsup_n \max_p \lvert B_n f(p) - f(p) \rvert \leq \varepsilon$。$\square$

解析的な証明は 01-calculus 第6章 も参照。確率論的な証明は近似多項式を具体的に与える点に特徴がある。

2.7 経験分布関数とグリヴェンコ–カンテリの定理

未知の分布 $F$ に従う i.i.d. な観測値 $X_1, \dots, X_n$ から $F$ を推定したい。自然な推定量は経験分布関数 (empirical distribution function)

である。各 $x$ を固定すれば、強法則より $F_n(x) \to F(x)$ a.s.。しかし例外集合は $x$ に依存し、$x$ は非可算個あるので、これだけでは「関数として」の収束は言えない。

定理 2.20（グリヴェンコ–カンテリの定理, Glivenko–Cantelli theorem）$X_1, X_2, \dots$ を分布関数 $F$ をもつ i.i.d. とすると

$$\sup_{x \in \mathbb{R}} \lvert F_n(x) - F(x) \rvert \to 0 \quad \text{a.s.}$$

証明. $k \in \mathbb{N}$ を固定し、$x_0 = -\infty$、$x_k = \infty$、$1 \leq j \leq k-1$ について $x_j = \inf\lbrace y \mid F(y) \geq j/k \rbrace$ とおく。右連続性から $F(x_j) \geq j/k$、下限の定義から $F(x_j -) \leq j/k$ である（$F(-\infty) = 0$、$F(\infty -) = 1$ と約束する）。よって各 $j$ で $F(x_j -) - F(x_{j-1}) \leq 1/k$。強法則を $\mathbf{1}_{\lbrace X_i \leq x_j \rbrace}$ と $\mathbf{1}_{\lbrace X_i < x_j \rbrace}$ に適用すると、a.s. で

$x \in [x_{j-1}, x_j)$ とすると、単調性から

同様に $F_n(x) \geq F_n(x_{j-1}) \geq F(x_{j-1}) - \varepsilon_n \geq F(x_j -) - \frac{1}{k} - \varepsilon_n \geq F(x) - \frac{1}{k} - \varepsilon_n$。よって $\limsup_n \sup_x \lvert F_n(x) - F(x) \rvert \leq 1/k$ a.s.。$k \in \mathbb{N}$ について共通部分をとればよい。$\square$

この定理は「データを集めれば真の分布がわかる」ことの数学的な保証であり、統計学の基本定理とも呼ばれる。誤差 $\sqrt{n}\sup_x \lvert F_n - F \rvert$ の極限分布（コルモゴロフ–スミルノフ検定の基礎）は第7章のブラウン運動（ブラウン橋）と関係する。

まとめ

• 概収束（a.e. 収束）は標本路ごとの収束、確率収束（測度収束）は各時刻での分布の集中であり、前者の方が強い。
• $L^2$ 弱法則はチェビシェフの不等式から、一般の弱法則は切断から従う。
• 4 次モーメントがあればボレル–カンテリの補題で強法則が直ちに示せる。一般の強法則（$E[\lvert X_1 \rvert] < \infty$）は、切断・幾何級数的な部分列・単調性による補間で示す（エテマディ）。i.i.d. では可積分性は強法則の必要十分条件である。
• 独立列の末尾事象の確率は 0 か 1（コルモゴロフの 0-1 法則）。
• コルモゴロフの不等式から、分散の和が有限な独立級数は a.s. で収束する。収束の判定は 3 級数定理で完全に与えられる。
• 応用：モンテカルロ法（誤差は次元によらず $n^{-1/2}$ 程度）、ほとんどすべての実数は正規数、バーンスタイン多項式による一様近似、経験分布関数の一様収束。

演習問題