中心極限定理

この章の目標

• 特性関数とレヴィの連続性定理を使って、i.i.d. の中心極限定理とリンデベルグの定理を証明できる
• ド・モアブル–ラプラスの定理とポアソンの少数の法則を、二項分布の二通りの極限として説明できる
• 多次元正規分布を特性関数で扱い、クラメール–ウォルドの方法で多次元の中心極限定理を導ける
• 収束の速さ・大偏差・重複対数の法則・安定分布が中心極限定理とどう関係するかを説明できる

前提：第1章〜第3章、06-measure-integration 第3章（優収束定理）、06-measure-integration 第5章（フビニの定理）

4.1 コイン投げのゆらぎ

公平なコインを $n$ 回投げ、表の回数を $S_n$ とする。大数の法則により $S_n/n \to 1/2$ a.s. であるが、$S_n$ は $n/2$ からどのくらいずれるのか。$\operatorname{Var}(S_n) = n/4$ なので、ずれの典型的な大きさは $\sqrt{n}/2$ である。そこで $Z_n = (S_n - n/2)/(\sqrt{n}/2)$ の分布を見ると、そのヒストグラムは $n$ によらない釣鐘形の曲線 $\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$ に近づく。ド・モアブル（1733 年）が発見したこの現象が、中心極限定理 (central limit theorem) の最初の例である。以下 $\Phi(x) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^x e^{-y^2/2}\ dy$ を $N(0,1)$ の分布関数とする。

例 4.1 $n = 10000$ のとき $\lvert S_n - 5000 \rvert \leq 100$ となる確率を考える。チェビシェフの不等式（系 1.18）からは、この確率が $1 - 2500/100^2 = 0.75$ 以上であることしかわからない。$100$ は標準偏差 $50$ の 2 倍なので、正規分布で近似すると $\Phi(2) - \Phi(-2) = 0.9545$ となり、二項分布から計算した正確な値 $0.9556$ とよく合う。

中心極限定理の要点は、この現象が分散有限でありさえすれば個々の分布の形によらないことである。

4.2 独立同分布の場合

$X_k$ が i.i.d. で平均 0、分散 1 ならば、命題 3.14 より $S_n/\sqrt{n}$ の特性関数は $\varphi(t/\sqrt{n})^n$、定理 3.24 より $\varphi(s) = 1 - s^2/2 + o(s^2)$ なので、$(1 - t^2/(2n) + o(1/n))^n \to e^{-t^2/2}$ が期待される。これを次の補題で正当化する。

補題 4.2 複素数 $z_j, w_j$（$1 \leq j \leq n$）が $\lvert z_j \rvert \leq 1$、$\lvert w_j \rvert \leq 1$ を満たすならば $\left\lvert \prod_j z_j - \prod_j w_j \right\rvert \leq \sum_j \lvert z_j - w_j \rvert$。

証明. $n$ に関する帰納法。$\prod_{j \leq n} z_j - \prod_{j \leq n} w_j = z_n\left(\prod_{j< n} z_j - \prod_{j< n} w_j\right) + (z_n - w_n)\prod_{j< n} w_j$ で、$\lvert z_n \rvert \leq 1$、$\lvert \prod_{j< n} w_j \rvert \leq 1$ である。$\square$

定理 4.3（中心極限定理）$X_1, X_2, \dots$ を i.i.d. とし、$E[X_1] = m$、$\operatorname{Var}(X_1) = \sigma^2 \in (0, \infty)$ とする。このとき

$$\frac{S_n - nm}{\sigma\sqrt{n}} \xrightarrow{d} N(0, 1)$$

証明. $X_k$ を $(X_k - m)/\sigma$ に置き換えて $m = 0$、$\sigma = 1$ としてよい。定理 3.24 より $\varphi(s) = 1 - s^2/2 + s^2\varepsilon(s)$、$\varepsilon(s) \to 0$（$s \to 0$）と書ける。$t$ を固定し $n \geq t^2/2$ とすると $0 \leq 1 - t^2/(2n) \leq 1$ なので、補題 4.2 より

である。$(1 - t^2/(2n))^n \to e^{-t^2/2}$ は $N(0,1)$ の特性関数（例 3.15）なので、レヴィの連続性定理（定理 3.21）より $S_n/\sqrt{n} \xrightarrow{d} N(0,1)$。$\Phi$ は連続だから分布関数の収束はすべての $x$ で成り立つ。$\square$

例 4.4（半整数補正）公平なコインを 100 回投げて表が 60 回以上出る確率は、平均 50、標準偏差 5 から $1 - \Phi(2) = 0.0228$ と近似できるが、正確な値は $0.0284$ である。$S_{100}$ は整数値なので $\lbrace S_{100} \geq 60 \rbrace = \lbrace S_{100} \geq 59.5 \rbrace$ であり、$1 - \Phi(1.9) = 0.0287$ と近似するほうがよい（半整数補正, continuity correction）。

系 4.5（ド・モアブル–ラプラスの定理）$0 < p < 1$、$S_n \sim B(n, p)$ とすると、$a < b$ について

$$P\left(a \leq \frac{S_n - np}{\sqrt{np(1-p)}} \leq b\right) \longrightarrow \Phi(b) - \Phi(a)$$

証明. $S_n$ は $\operatorname{Be}(p)$ に従う i.i.d. $n$ 個の和と同じ分布をもつ（例 1.26）。$Z_n$ を左辺の標準化した量とすると定理 4.3 より $P(Z_n \leq b) \to \Phi(b)$。$P(Z_n \leq a - \varepsilon) \leq P(Z_n < a) \leq P(Z_n \leq a)$ と $\Phi$ の連続性から $P(Z_n < a) \to \Phi(a)$ である。$\square$

例 4.6（モンテカルロ法の誤差）第2章のモンテカルロ法で $m = E[X_1]$ を標本平均 $\overline{X}_n$ で推定するとき、$\Phi(1.96) = 0.975$ より $P(\lvert \overline{X}_n - m \rvert \leq 1.96\sigma/\sqrt{n}) \to 0.95$。誤差は次元によらず $\sigma/\sqrt{n}$ の程度である。

4.3 リンデベルグ–フェラーの定理

表の確率が毎回違うコインのように、独立だが同分布でない和でも正規分布は現れるか。一つの項だけが極端に大きければ和の分布はその項で決まるので、「どの項も全体に比べて無視できる」という条件が要る。それを精密にしたのがリンデベルグ条件である。以下 $E[X; A] := E[X\mathbf{1}_A]$ と書く。

定義 4.7（三角配列とリンデベルグ条件）各 $n$ について $X_{n,1}, \dots, X_{n,k_n}$ が独立で $E[X_{n,m}] = 0$、$\sigma_{n,m}^2 := E[X_{n,m}^2] < \infty$ を満たすとき、$\lbrace X_{n,m} \rbrace$ を三角配列という（異なる行の間の独立性は仮定しない）。$S_n = \sum_{m=1}^{k_n}X_{n,m}$ とおく。任意の $\varepsilon > 0$ について

$$\lim_{n \to \infty}\sum_{m=1}^{k_n}E\left[X_{n,m}^2;\ \lvert X_{n,m} \rvert > \varepsilon\right] = 0$$

が成り立つとき、リンデベルグ条件 (Lindeberg condition) が成り立つという。

定理 4.8（リンデベルグ–フェラーの定理）三角配列が $\sum_{m}\sigma_{n,m}^2 \to \sigma^2 > 0$ を満たすとする。

1. （リンデベルグ）リンデベルグ条件が成り立てば $S_n \xrightarrow{d} N(0, \sigma^2)$。
2. （フェラー）$\max_m \sigma_{n,m}^2 \to 0$ かつ $S_n \xrightarrow{d} N(0, \sigma^2)$ ならば、リンデベルグ条件が成り立つ。

2 は主張のみとし（Durrett や Billingsley の教科書の中心極限定理の章を参照）、1 を証明する。

証明. （1）$\varphi_{n,m}$ を $X_{n,m}$ の特性関数とする。補題 3.23（$n = 2$）より $\lvert e^{ix} - 1 - ix + x^2/2 \rvert \leq \min\lbrace \lvert x \rvert^3, x^2 \rbrace$ なので、$\varepsilon > 0$ について

$m$ について足すと、リンデベルグ条件より和の $\limsup_n$ は $\varepsilon\lvert t \rvert^3\sigma^2$ 以下で、$\varepsilon$ は任意だから 0 である。また $\sigma_{n,m}^2 \leq \varepsilon^2 + E[X_{n,m}^2; \lvert X_{n,m} \rvert > \varepsilon]$ より $\max_m \sigma_{n,m}^2 \to 0$ なので、$n$ が大きければ $a_m := t^2\sigma_{n,m}^2/2 \in [0, 1]$ である。補題 4.2 を 2 回使い、$0 \leq e^{-a} - 1 + a \leq a^2/2$（$a \geq 0$）に注意すると

で、$\prod_m e^{-a_m} = \exp(-\frac{t^2}{2}\sum_m\sigma_{n,m}^2) \to e^{-\sigma^2t^2/2}$。独立性より $\prod_m\varphi_{n,m}$ は $S_n$ の特性関数なので、レヴィの連続性定理より $S_n \xrightarrow{d} N(0, \sigma^2)$。$\square$

i.i.d. の場合は $X_{n,m} = (X_m - m_0)/(\sigma\sqrt{n})$（$m_0 = E[X_1]$）とおけば、リンデベルグ条件の和は $\sigma^{-2}E[(X_1 - m_0)^2; \lvert X_1 - m_0 \rvert > \varepsilon\sigma\sqrt{n}]$ となり、優収束定理より 0 に収束する。よって定理 4.3 は定理 4.8 に含まれる。

系 4.9（リャプノフの定理）$X_1, X_2, \dots$ は独立で $E[X_k] = 0$、$s_n^2 = \sum_{k \leq n}E[X_k^2] > 0$ とする。ある $\delta > 0$ について $s_n^{-2-\delta}\sum_{k \leq n}E[\lvert X_k \rvert^{2+\delta}] \to 0$ ならば $S_n/s_n \xrightarrow{d} N(0,1)$。

証明. $X_{n,m} = X_m/s_n$ とおく。$\lvert X_{n,m} \rvert > \varepsilon$ の上で $X_{n,m}^2 \leq \varepsilon^{-\delta}\lvert X_{n,m} \rvert^{2+\delta}$ だから、リンデベルグ条件の和は $\varepsilon^{-\delta}s_n^{-2-\delta}\sum_k E[\lvert X_k \rvert^{2+\delta}] \to 0$ で押さえられる。$\square$

例 4.10（表の確率が毎回違うコイン）$X_k \sim \operatorname{Be}(p_k)$ を独立とし、$s_n^2 = \sum_{k \leq n}p_k(1 - p_k) \to \infty$ とする。$X_{n,m} = (X_m - p_m)/s_n$ は $\lvert X_{n,m} \rvert \leq 1/s_n$ を満たすので、$s_n > 1/\varepsilon$ ならリンデベルグ条件の和は 0 であり、$(S_n - \sum_{k \leq n}p_k)/s_n \xrightarrow{d} N(0,1)$。一方 $\sum_k p_k < \infty$ なら、ボレル–カンテリの補題より表は有限回しか出ない。

例 4.11（無視できない項）$Z, Z_1, Z_2, \dots$ を独立な $N(0,1)$ とし、$X_{n,1} = Z/\sqrt{2}$、$X_{n,m} = Z_m/\sqrt{2n}$（$2 \leq m \leq n+1$）とすると $S_n \sim N(0,1)$ だが、$X_{n,1}$ の項のためリンデベルグ条件は成り立たない。$\max_m\sigma_{n,m}^2 = 1/2$ なので定理 4.8 の 2 には反しない。

4.4 ポアソンの少数の法則

$B(n, p)$ で $p$ を固定すると正規分布が現れた。一方、誤植の数や事故の件数のように、起こりにくい事象を多数回試行する状況（$np$ が一定）では別の極限が現れる。

定理 4.12（ポアソンの少数の法則）各 $n$ について $X_{n,1}, \dots, X_{n,n}$ は独立で $P(X_{n,m} = 1) = p_{n,m} = 1 - P(X_{n,m} = 0)$ とする。$\sum_{m}p_{n,m} \to \lambda \in (0, \infty)$ かつ $\max_m p_{n,m} \to 0$ ならば、$S_n = \sum_m X_{n,m} \xrightarrow{d} \operatorname{Po}(\lambda)$ であり、各 $k \in \mathbb{Z}_{\geq 0}$ で $P(S_n = k) \to e^{-\lambda}\lambda^k/k!$。

証明. $X_{n,m}$ の特性関数は $1 + z_m$、$z_m = p_{n,m}(e^{it} - 1)$ である。$\lvert 1 + z_m \rvert \leq 1$、$\lvert e^{z_m} \rvert = e^{p_{n,m}(\cos t - 1)} \leq 1$ なので補題 4.2 より、$S_n$ の特性関数と $\prod_m e^{z_m}$ の差は $\sum_m \lvert e^{z_m} - 1 - z_m \rvert$ 以下である。$\lvert z \rvert \leq 1$ なら $\lvert e^z - 1 - z \rvert \leq \sum_{k \geq 2}\lvert z \rvert^k/k! \leq \lvert z \rvert^2$ で、$\lvert z_m \rvert \leq 2p_{n,m}$ だから、$\max_m p_{n,m} \leq 1/2$ ならばこの和は $4\max_m p_{n,m}\sum_m p_{n,m} \to 0$ 以下である。一方 $\prod_m e^{z_m} = \exp((\sum_m p_{n,m})(e^{it} - 1)) \to \exp(\lambda(e^{it} - 1))$ は $\operatorname{Po}(\lambda)$ の特性関数である（例 3.15）。レヴィの連続性定理より $S_n \xrightarrow{d} \operatorname{Po}(\lambda)$。$\operatorname{Po}(\lambda)$ の分布関数は $k \pm 1/2$ で連続なので $P(S_n = k) = P(S_n \leq k + 1/2) - P(S_n \leq k - 1/2) \to e^{-\lambda}\lambda^k/k!$。$\square$

例 4.13 $B(100, 0.02)$ と $\operatorname{Po}(2)$ の確率は、$k = 0, 1, 2, 3$ でそれぞれ $0.1326, 0.2707, 0.2734, 0.1823$ と $0.1353, 0.2707, 0.2707, 0.1804$ であり、よく合う。

4.5 多次元正規分布と多次元中心極限定理

複数の量を同時に扱うには、和の同時分布の極限が必要になる。ベクトルは列ベクトルとし、$A^{\top}$ で転置を表す。

定義 4.14（多次元正規分布）$\mathbb{R}^d$ 値の確率ベクトル $X$ がガウス型 (Gaussian) であるとは、任意の $t \in \mathbb{R}^d$ について $\langle t, X \rangle$ が（退化した $N(a, 0) = \delta_a$ を含めて）正規分布に従うことをいう。

このとき各成分は正規分布に従うので 2 乗可積分である。$m = E[X]$、$V$ を共分散行列（対称半正定値）とすると $\langle t, X \rangle \sim N(\langle t, m \rangle, \langle Vt, t \rangle)$ なので

である。これが分布を決めることを見るには、多次元の一意性定理が要る。

定理 4.15（多次元の一意性定理）$\mathbb{R}^d$ 上の確率測度は特性関数で決まる。

証明. $X \sim \mu$ と、成分が i.i.d. で $N(0,1)$ の $Z$ を独立にとり、$\sigma > 0$ とする。例 3.15 を各座標に使うと、$N(0, \sigma^2 I)$ の密度は $\phi_\sigma(z) = (2\pi)^{-d}\int e^{i\langle u, z \rangle}e^{-\sigma^2\lvert u \rvert^2/2}\ du$ と表せる。$X + \sigma Z$ の密度 $g_\sigma(y) = E[\phi_\sigma(y - X)]$ にこれを代入してフビニの定理を使うと

となり、$f \in C_b(\mathbb{R}^d)$ について $E[f(X + \sigma Z)] = \int fg_\sigma\ dy$ は $\varphi_\mu$ だけで決まる。$\sigma \to 0$ とすれば有界収束定理より $\int f\ d\mu$ も $\varphi_\mu$ で決まる。閉集合 $F$ について $f_k(x) = \max\lbrace 0, 1 - k\operatorname{dist}(x, F) \rbrace \downarrow \mathbf{1}_F$ より $\mu(F)$ が決まり、閉集合全体はボレル集合族を生成する π-系だから、測度の一意性（06-measure-integration 第1章 定理 1.31）より $\mu$ が決まる。$\square$

命題 4.16 任意の $m \in \mathbb{R}^d$ と対称半正定値行列 $V$ について、平均 $m$、共分散行列 $V$ のガウス型ベクトルが存在し、その分布 $N(m, V)$ はただ一つである。$X \sim N(m, V)$ ならば $CX + b \sim N(Cm + b, CVC^{\top})$ であり、$V$ が正定値ならば $N(m, V)$ は密度 $(2\pi)^{-d/2}(\det V)^{-1/2}\exp(-\frac{1}{2}\langle V^{-1}(x - m), x - m \rangle)$ をもつ。

証明. 一意性は定理 4.15 による。スペクトル定理（02-linear-algebra 第7章）より $A = V^{1/2}$ は $AA^{\top} = V$ を満たし、成分が i.i.d. で $N(0,1)$ の $Z$ について $X = m + AZ$ とおくと、$\langle t, X \rangle = \langle t, m \rangle + \langle A^{\top}t, Z \rangle$ は正規分布に従い、分散は $\lvert A^{\top}t \rvert^2 = \langle Vt, t \rangle$ である。$CX + b$ の主張は $\langle s, CX + b \rangle = \langle C^{\top}s, X \rangle + \langle s, b \rangle$ からわかる。密度は $Z$ の密度を変数変換 $x = m + Az$（06-measure-integration 第5章 定理 5.16）で移せば得られる。$\square$

命題 4.17 $X = (X_1, \dots, X_d)$ がガウス型ならば、$X_1, \dots, X_d$ が独立であることと、共分散行列が対角行列であることは同値である。

証明. 独立なら無相関である。逆に $V = \operatorname{diag}(v_j)$ ならば $\varphi_X(t) = \prod_j\exp(it_jm_j - v_jt_j^2/2) = \prod_j\varphi_{X_j}(t_j)$ で、右辺はフビニの定理より直積測度 $\mu_{X_1} \otimes \cdots \otimes \mu_{X_d}$ の特性関数である。定理 4.15 より $\mu_X$ はこの直積測度に等しく、定理 1.25 より独立である。$\square$

例 4.18 $X \sim N(0,1)$ と、$X$ と独立で $P(\varepsilon = \pm 1) = 1/2$ の $\varepsilon$ について $Y = \varepsilon X$ とおく。対称性より $Y \sim N(0,1)$、$\operatorname{Cov}(X, Y) = E[\varepsilon]E[X^2] = 0$ だが、$\lvert X \rvert = \lvert Y \rvert$ だから独立でない。実際 $(X, Y)$ はガウス型でなく、$X + Y$ は確率 $1/2$ で 0 になるが定数ではないので正規分布でない。

$\mathbb{R}^d$ 値の確率ベクトルの分布収束も、定義 3.5 の弱収束で定める。

定理 4.19（多次元のレヴィの連続性定理）$\mathbb{R}^d$ 上の確率測度 $\mu_n$ の特性関数 $\varphi_n$ が各点で $\varphi$ に収束し、$\varphi$ が $0$ で連続ならば、$\varphi$ はある確率測度 $\mu$ の特性関数で $\mu_n \Rightarrow \mu$ である。逆に $\mu_n \Rightarrow \mu$ ならば $\varphi_n \to \varphi_\mu$ が各点で成り立つ。

証明の方針. 逆は $e^{i\langle t, x \rangle}$ の実部・虚部が有界連続であることによる。前半：$s \mapsto \varphi_n(se_j)$ は第 $j$ 成分の特性関数なので、定理 3.21 の証明より各成分の分布の列はタイトで、したがって $\lbrace \mu_n \rbrace$ もタイトである。$\mathbb{R}^d$ 上のプロホロフの定理（ここでは認める）と定理 4.15 を使えば、系 3.12 と同じ論法で結論を得る。$\square$

定理 4.20（クラメール–ウォルドの方法）$\mathbb{R}^d$ 値の確率ベクトルについて、$X_n \xrightarrow{d} X$ であるための必要十分条件は、すべての $t \in \mathbb{R}^d$ で $\langle t, X_n \rangle \xrightarrow{d} \langle t, X \rangle$ となることである。

証明. 必要性は $f \in C_b(\mathbb{R})$ なら $f(\langle t, \cdot \rangle) \in C_b(\mathbb{R}^d)$ であることから。十分性：定理 3.21 より $\varphi_{X_n}(t) = \varphi_{\langle t, X_n \rangle}(1) \to \varphi_{\langle t, X \rangle}(1) = \varphi_X(t)$ で、定理 4.19 を使う。$\square$

定理 4.21（多次元中心極限定理）$X_1, X_2, \dots$ を $\mathbb{R}^d$ 値の i.i.d. で $E[\lvert X_1 \rvert^2] < \infty$、平均 $m$、共分散行列 $V$ とすると、$(S_n - nm)/\sqrt{n} \xrightarrow{d} N(0, V)$。

証明. $t$ を固定すると $\langle t, X_k - m \rangle$ は平均 0、分散 $\langle Vt, t \rangle$ の i.i.d. である。分散が正なら定理 4.3 より $\langle t, (S_n - nm)/\sqrt{n} \rangle \xrightarrow{d} N(0, \langle Vt, t \rangle)$、0 なら左辺は a.s. で 0 である。$Y \sim N(0, V)$ なら $\langle t, Y \rangle \sim N(0, \langle Vt, t \rangle)$ なので、定理 4.20 より結論を得る。$\square$

例 4.22（カイ二乗検定）各回の結果が確率 $p_j > 0$ で $j \in \lbrace 1, \dots, d \rbrace$ となる試行（サイコロなど）を $n$ 回行い、$j$ の回数を $N_j$ とする。$Y_k = (\mathbf{1}_{\lbrace k \text{ 回目が } j \rbrace})_j$ は平均 $p$、共分散行列 $\operatorname{diag}(p) - pp^{\top}$ の i.i.d. である。定理 4.21 と命題 4.16 より $W_n = ((N_j - np_j)/\sqrt{np_j})_j$ は $N(0, I - uu^{\top})$（$u = (\sqrt{p_j})_j$ は単位ベクトル）に分布収束する。$Qu = e_d$ となる直交行列 $Q$ をとれば $N(0, I - uu^{\top})$ に従う $W$ について $QW \sim N(0, I - e_de_d^{\top})$ なので、$\lvert W \rvert^2$ は $N(0,1)$ に従う独立な $d - 1$ 個の 2 乗和の分布（自由度 $d - 1$ のカイ二乗分布 $\chi^2_{d-1}$）に従う。よって $\sum_j (N_j - np_j)^2/(np_j) \xrightarrow{d} \chi^2_{d-1}$ で、統計学の適合度検定の根拠となる。

4.6 収束の速さ・大偏差・重複対数の法則

定理 4.23（ベリー–エシーンの定理）$X_k$ を i.i.d. で $E[X_1] = 0$、$E[X_1^2] = \sigma^2 > 0$、$\rho = E[\lvert X_1 \rvert^3] < \infty$ とすると、分布によらない定数 $C$ について

$$\sup_{x \in \mathbb{R}}\left\lvert P\left(\frac{S_n}{\sigma\sqrt{n}} \leq x\right) - \Phi(x) \right\rvert \leq \frac{C\rho}{\sigma^3\sqrt{n}}$$

証明は平滑化不等式による（主張のみ。Durrett の教科書を参照）。$C$ は $1/2$ 未満にとれることが知られている。$1/\sqrt{n}$ のオーダーは改良できない。実際 $P(X_k = \pm 1) = 1/2$ なら、$S_{2n}/\sqrt{2n}$ の分布関数は 0 で高さ $P(S_{2n} = 0) = \binom{2n}{n}2^{-2n} \sim 1/\sqrt{\pi n}$ の跳びをもち、連続な $\Phi$ との差は跳びの半分以上になる。

中心極限定理が扱うのは $\sqrt{n}$ の大きさのずれである。$S_n \geq na$（$a > m$）のような $n$ の大きさのずれ（大偏差, large deviation）の確率は、指数関数的に速く 0 に近づく。

定理 4.24（クラメールの定理, Cramér's theorem）$X_k$ を i.i.d. で、すべての $\theta \in \mathbb{R}$ について $\Lambda(\theta) := \log E[e^{\theta X_1}] < \infty$ とし、$m = E[X_1]$、$I(a) = \sup_{\theta \in \mathbb{R}}(\theta a - \Lambda(\theta))$ とおく。$a > m$ とする。

1. すべての $n$ について $P(S_n \geq na) \leq e^{-nI(a)}$。
2. さらに $P(X_1 > a) > 0$ ならば $\lim_{n \to \infty}\frac{1}{n}\log P(S_n \geq na) = -I(a)$。

$I$ をレート関数という。2 の下界は、平均が $a$ になるよう分布を $e^{\theta x}$ で傾けた測度のもとで中心極限定理を使って示す（主張のみ）。1 を証明する。

証明. （1）$\theta \geq 0$ とする。マルコフの不等式（定理 1.17）を $e^{\theta S_n}$ に使い、独立性から $E[e^{\theta S_n}] = e^{n\Lambda(\theta)}$ なので $P(S_n \geq na) \leq e^{-\theta na}E[e^{\theta S_n}] = e^{-n(\theta a - \Lambda(\theta))}$。$\theta \geq 0$ について下限をとる。イェンセンの不等式より $\Lambda(\theta) \geq \theta m$ なので、$\theta < 0$ では $\theta a - \Lambda(\theta) \leq \theta(a - m) < 0$ となり、$\theta = 0$ での値 0 より小さい。よって $\sup_{\theta \geq 0}(\theta a - \Lambda(\theta)) = I(a)$ である。$\square$

この方法をチェルノフ限界 (Chernoff bound) という。$\Lambda(\theta) = m\theta + \sigma^2\theta^2/2 + o(\theta^2)$ なので、$a$ が $m$ に近ければ $I(a) \approx (a - m)^2/(2\sigma^2)$ で、中心極限定理からの予想と合う。

例 4.25 $X_k \sim \operatorname{Be}(1/2)$ なら $\Lambda(\theta) = \log\frac{1 + e^\theta}{2}$ で、最大値は $e^\theta = a/(1-a)$ でとられ、$I(a) = \log 2 + a\log a + (1-a)\log(1-a)$（$0 < a < 1$）。$a = 0.6$、$n = 1000$ では $P(S_n \geq 600) \leq e^{-1000 \times 0.0201} \approx 1.8 \times 10^{-9}$（正確な値は $1.36 \times 10^{-10}$）。$a = 0.8$ では $I(0.8) = 0.1927$ だが正規近似の指数は $2(a - 1/2)^2 = 0.18$ で、$n = 1000$ なら指数部分だけで $e^{1000 \times 0.0127} = e^{12.7} \approx 3 \times 10^5$ 倍の差が生じ、実際に正規近似 $1 - \Phi(300/\sqrt{250}) \approx 1.4 \times 10^{-80}$ は正確な値 $P(S_{1000} \geq 800) \approx 8.2 \times 10^{-86}$ を約 $1.7 \times 10^5$ 倍過大評価する。

最後に軌道全体の振る舞いを述べる。中心極限定理から $\limsup_n S_n/\sqrt{n} = +\infty$ a.s. だが（問題 4.3）、実際のずれは $\sqrt{n}$ よりわずかに大きいだけである。

定理 4.26（重複対数の法則, law of the iterated logarithm）$X_k$ を i.i.d. で $E[X_1] = 0$、$E[X_1^2] = 1$ とすると、a.s. で

$$\limsup_{n \to \infty}\frac{S_n}{\sqrt{2n\log\log n}} = 1, \qquad \liminf_{n \to \infty}\frac{S_n}{\sqrt{2n\log\log n}} = -1$$

コイン投げの場合はヒンチン（1924 年）、一般の場合はハートマン–ウィントナー（1941 年）による（主張のみ。Durrett の教科書を参照）。$\sqrt{2\log\log n}$ は $n = 10^{10}$ でも約 $2.5$ にすぎない。大数の法則（$n$ で割る）、中心極限定理（$\sqrt{n}$ で割って分布を見る）、重複対数の法則（軌道の最大の揺れ）は、ランダムウォークの大きさを三つの精度で記述している。問題 4.5 では粗い上界 $\limsup_n S_n/\sqrt{n\log n} \leq \sqrt{2}$ を示す。

4.7 安定分布

定義 4.27（安定分布）退化していない分布 $\mu$ が安定 (stable) であるとは、$\mu$ に従う i.i.d. について、各 $n$ に定数 $a_n > 0$、$b_n$ があって $S_n$ と $a_nX_1 + b_n$ が同じ分布に従うことをいう。

例 4.28 $N(0,1)$ は $a_n = \sqrt{n}$、コーシー分布は $a_n = n$（問題 3.4）で安定である。一般に $0 < \alpha \leq 2$ について $e^{-c\lvert t \rvert^\alpha}$ が特性関数ならば、$(e^{-c\lvert t \rvert^\alpha})^n = e^{-c\lvert n^{1/\alpha}t \rvert^\alpha}$ より $a_n = n^{1/\alpha}$ で安定である（対称 $\alpha$-安定分布）。$0 < \alpha < 2$ で実際に特性関数になることは問題 4.6 で示す。

安定分布について次が知られている（主張のみ。Durrett の教科書を参照）。$a_n$ は必ず $n^{1/\alpha}$（$0 < \alpha \leq 2$）の形であり、i.i.d. の和を正規化した $(S_n - b_n)/a_n$ の退化しない極限になりうるのは安定分布に限る。$\alpha < 2$ の安定分布は $P(\lvert X \rvert > x) \sim Cx^{-\alpha}$ の重い裾をもち、分散は無限大である。指数 $1/2$ の片側安定分布は、ブラウン運動がある水準に初めて到達する時刻の分布として第7章に現れる。

まとめ

• 分散 $\sigma^2 \in (0,\infty)$ の i.i.d. では $(S_n - nm)/(\sigma\sqrt{n}) \xrightarrow{d} N(0,1)$。証明は特性関数の 2 次の展開とレヴィの連続性定理による。
• $B(n,p)$ は $p$ 固定なら正規分布で（ド・モアブル–ラプラス）、$np \to \lambda$ ならポアソン分布で近似される（少数の法則）。
• 独立な三角配列ではリンデベルグ条件が十分条件で、各項が無視できるとき必要条件でもある（フェラー）。
• ガウス型ベクトルは平均と共分散行列で決まり、無相関と独立が同値になる（各成分が正規分布というだけでは不十分）。
• クラメール–ウォルドの方法で多次元の問題は 1 次元に帰着し、多次元中心極限定理とカイ二乗検定が得られる。
• 正規近似の誤差は $O(1/\sqrt{n})$。大偏差の確率は $e^{-nI(a)}$ の速さで減衰し、上界はチェルノフの方法で得られる。軌道の揺れは $\sqrt{2n\log\log n}$ 程度である。

演習問題