確率空間と確率変数

この章の目標

• 確率空間・確率変数・分布・期待値・独立性を測度論の言葉で定義し、確率論の用語と測度論の用語の対応を説明できる
• 分布関数の性質を証明し、代表的な離散分布・連続分布を扱える
• マルコフ・チェビシェフ・イェンセンの不等式を使える
• π-系による独立性の判定とボレル–カンテリの補題を証明し、応用できる

前提：06-measure-integration 第1章、第3章、第5章

1.1 確率空間

サイコロを 1 回振るなら、標本点の集合 $\Omega = \lbrace 1, \dots, 6 \rbrace$ の部分集合 $A$ に確率 $\lvert A \rvert / 6$ を与えればよい。コインを $n$ 回投げるなら $\Omega = \lbrace 0, 1 \rbrace^n$（1 が表）で $P(A) = \lvert A \rvert / 2^n$ である。有限の場合、確率は「数えること」で済む。

ところが次の二つの状況では、数えることが破綻する。

• コインを無限回投げる。$\Omega = \lbrace 0, 1 \rbrace^{\mathbb{N}}$ は非可算で、特定の一つの列が出る確率は 0 である。点の確率を足し合わせて事象の確率を得ることはできない。
• 区間 $[0, 1]$ から一様に点を選ぶ。$P([a, b]) = b - a$ であってほしいが、これはルベーグ測度そのものであり、ヴィタリの定理（06-measure-integration 第2章 定理 2.16）によって、平行移動で不変という性質を保ったまま $[0,1]$ のすべての部分集合に確率を与えることはできない。

したがって、確率を与える集合（事象）の族を σ-加法族に制限し、確率を測度として公理化する必要がある。これがコルモゴロフ（A. N. Kolmogorov, 1933）の確率論の公理化である。実は上の二つの状況は本質的に同じものである（例 1.32）。

定義 1.1（確率空間, probability space）測度空間 $(\Omega, \mathcal{F}, P)$ で $P(\Omega) = 1$ を満たすものを確率空間という。$\Omega$ を標本空間 (sample space)、$\mathcal{F}$ の元を事象 (event)、$P$ を確率測度 (probability measure)、$P(A)$ を事象 $A$ の確率という。ある性質が確率 1 の事象の上で成り立つとき、その性質はほとんど確実に (almost surely, a.s.) 成り立つという。

「a.s.」は測度論の「$P$-a.e.」と同じ意味である。

例 1.2（離散確率空間）$\Omega$ を有限または可算集合、$p\colon \Omega \to [0, 1]$ を $\sum_{\omega \in \Omega} p(\omega) = 1$ を満たす関数とし、$\mathcal{F} = \mathcal{P}(\Omega)$、$P(A) = \sum_{\omega \in A} p(\omega)$ とおく。非負項級数は並べ替えても和が変わらないので $P$ は可算加法的であり、$(\Omega, \mathcal{F}, P)$ は確率空間になる。$\Omega$ が有限で $p$ が定数のとき $P(A) = \lvert A \rvert / \lvert \Omega \rvert$ であり、これが「同様に確からしい」場合の古典的な確率である。

例 1.3（一様分布）$\Omega = [0, 1]$、$\mathcal{F} = \mathcal{B}([0,1])$、$P$ をルベーグ測度 $\lambda$ とすると確率空間になる。各点 $\lbrace \omega \rbrace$ の確率は 0 であるが、どれかの点は必ず選ばれる。確率 0 の事象は「起こりえない」事象ではない。

命題 1.4 確率空間 $(\Omega, \mathcal{F}, P)$ と $A, B, A_n \in \mathcal{F}$ について次が成り立つ。

1. $P(A^c) = 1 - P(A)$。$A \subset B$ ならば $P(A) \leq P(B)$。
2. $P(A \cup B) = P(A) + P(B) - P(A \cap B)$。
3. （劣加法性）$P\left(\bigcup_n A_n\right) \leq \sum_n P(A_n)$。
4. （連続性）$A_n \uparrow A$ ならば $P(A_n) \to P(A)$。$A_n \downarrow A$ ならば $P(A_n) \to P(A)$。

証明. 1 と 2 は有限加法性を $\Omega = A \sqcup A^c$、$B = A \sqcup (B \setminus A)$（$A \subset B$ のとき）、$A \cup B = A \sqcup (B \setminus A)$、$B = (B \setminus A) \sqcup (A \cap B)$ に適用すればよい。3 と 4 は一般の測度の性質である（06-measure-integration 第1章 命題 1.19、定理 1.20）。上からの連続性に必要な有限性は $P(A_1) \leq 1$ で保証される。$\square$

1.2 確率変数と分布

実験で観測するのは多くの場合「数」である。サイコロ 2 個の目の和、$n$ 回のコイン投げでの表の回数などは、標本点 $\omega$ に数を対応させる関数である。「和が 7 以下である確率」を問うには $\lbrace \omega \mid X(\omega) \leq 7 \rbrace$ が事象でなければならない。これが可測性の要請である。

定義 1.5（確率変数, random variable）確率空間 $(\Omega, \mathcal{F}, P)$ 上の $\mathcal{F}$-可測関数 $X\colon \Omega \to \mathbb{R}$ を確率変数という。すなわち、任意の $B \in \mathcal{B}(\mathbb{R})$ について $\lbrace X \in B \rbrace := X^{-1}(B) \in \mathcal{F}$ である。$\mathbb{R}^d$ 値の可測写像を $d$ 次元確率ベクトル (random vector) という。$\mathcal{B}(\mathbb{R}^d)$ 上の確率測度

$$\mu_X(B) = P(X \in B) = P(X^{-1}(B)) \qquad (B \in \mathcal{B}(\mathbb{R}^d))$$

を $X$ の分布 (distribution, law) という。$\sigma(X) = \lbrace X^{-1}(B) \mid B \in \mathcal{B}(\mathbb{R}^d) \rbrace$ を $X$ が生成する σ-加法族という。

分布 $\mu_X$ は測度論でいう像測度 $P \circ X^{-1}$ である。$X$ と $Y$ の分布が等しいとき $X \overset{d}{=} Y$ と書く。σ-加法族 $\sigma(X)$ は「$X$ の値を観測すれば起こったかどうかが判定できる事象」の全体と解釈できる。可測性の判定には、すべての $x \in \mathbb{R}$ で $\lbrace X \leq x \rbrace \in \mathcal{F}$ を確かめれば十分である（06-measure-integration 第3章）。

定義 1.6（分布関数, distribution function）確率変数 $X$ に対し $F_X(x) = P(X \leq x)$（$x \in \mathbb{R}$）を $X$ の分布関数という。

定理 1.7（分布関数の性質）$F = F_X$ は次を満たす。

1. 単調非減少である。
2. 右連続である。
3. $\lim_{x \to -\infty} F(x) = 0$、$\lim_{x \to \infty} F(x) = 1$。

さらに $F(x-) := \lim_{y \uparrow x} F(y) = P(X < x)$ であり、$P(X = x) = F(x) - F(x-)$ である。逆に、1〜3 を満たす関数 $F\colon \mathbb{R} \to \mathbb{R}$ に対し、分布関数が $F$ となる確率変数が存在し、その分布は $F$ によって一意に定まる。

証明. $x \leq y$ ならば $\lbrace X \leq x \rbrace \subset \lbrace X \leq y \rbrace$ だから 1 が成り立つ。$F$ は単調なので、極限は単調な数列に沿って調べればよい。$x_n \downarrow x$ のとき $\lbrace X \leq x_n \rbrace \downarrow \lbrace X \leq x \rbrace$ だから、上からの連続性より $F(x_n) \to F(x)$ となり 2 が従う。$x_n \downarrow -\infty$ なら $\lbrace X \leq x_n \rbrace \downarrow \emptyset$、$x_n \uparrow \infty$ なら $X$ が実数値なので $\lbrace X \leq x_n \rbrace \uparrow \Omega$ であり、3 を得る。$y_n \uparrow x$（$y_n < x$）なら $\lbrace X \leq y_n \rbrace \uparrow \lbrace X < x \rbrace$ だから $F(x-) = P(X < x)$ であり、$P(X = x) = P(X \leq x) - P(X < x)$ である。

逆を示す。$\Omega = (0, 1)$、$P = \lambda$ とし、$u \in (0,1)$ に対し

とおく。$A_u = \lbrace y \mid F(y) \geq u \rbrace$ は、3 より空でなく下に有界であり、1 より $y \in A_u$ かつ $y' > y$ ならば $y' \in A_u$ を満たす。さらに 2 より下限 $X(u)$ 自身が $A_u$ に属するので、$A_u = [X(u), \infty)$ である。よって

であり、$\lbrace X \leq x \rbrace = (0, F(x)] \cap (0, 1)$ となる。これはボレル集合で測度は $F(x)$ である。ゆえに $X$ は確率変数で $F_X = F$ である。一意性：分布関数 $F$ をもつ確率測度は区間 $(a, b]$ に $F(b) - F(a)$ を与え、区間全体と $\emptyset$ は $\mathcal{B}(\mathbb{R})$ を生成する π-系だから、測度の一意性（06-measure-integration 第1章 系 1.32）により分布は一つに定まる。$\square$

証明で作った $X = F^{-1}$ を分位点関数 (quantile function) という。$U$ が $(0,1)$ 上の一様分布に従えば $F^{-1}(U)$ の分布関数は $F$ である。計算機で乱数を生成するときの逆関数法はこの事実に基づく。たとえば $F(x) = 1 - e^{-\lambda x}$（$x \geq 0$）なら $F^{-1}(u) = -\log(1 - u)/\lambda$ である。

注意 1.8（分布の型）$\mu_X(C) = 1$ となる可算集合 $C$ があるとき、$X$ は離散分布をもつという。可積分関数 $f \geq 0$ によって $\mu_X(B) = \int_B f\ d\lambda$ と書けるとき、$X$ は絶対連続分布をもつといい、$f$ を確率密度関数 (probability density function) という。ラドン–ニコディムの定理（06-measure-integration 第6章）により、密度が存在することは $\mu_X \ll \lambda$ と同値である。どちらでもない分布もある。カントール関数を分布関数とする分布は原子をもたない（$F$ が連続）が、ルベーグ零集合（カントール集合）に集中していて密度をもたない（特異連続分布、06-measure-integration 第7章）。

例 1.9（代表的な離散分布）$0 < p < 1$、$\lambda > 0$ とする。

• ベルヌーイ分布 $\operatorname{Be}(p)$：$P(X = 1) = p$、$P(X = 0) = 1 - p$。表の出る確率が $p$ のコインを 1 回投げたときの表の回数。
• 二項分布 $B(n, p)$：$P(X = k) = \binom{n}{k} p^k (1-p)^{n-k}$（$k = 0, 1, \dots, n$）。そのコインを $n$ 回投げたときの表の回数。
• 幾何分布 $\operatorname{Ge}(p)$：$P(X = k) = (1-p)^{k-1} p$（$k \in \mathbb{N}$）。初めて表が出るまでに投げる回数。
• ポアソン分布 $\operatorname{Po}(\lambda)$：$P(X = k) = e^{-\lambda} \lambda^k / k!$（$k \in \mathbb{Z}_{\geq 0}$）。まれな事象の生起回数のモデル（第4章の少数の法則）。

例 1.10（代表的な連続分布）密度関数で与える。$a < b$、$\lambda > 0$、$m \in \mathbb{R}$、$\sigma > 0$ とする。

• 一様分布 $U(a, b)$：$f(x) = \frac{1}{b - a} \mathbf{1}_{(a, b)}(x)$。
• 指数分布 $\operatorname{Exp}(\lambda)$：$f(x) = \lambda e^{-\lambda x} \mathbf{1}_{(0, \infty)}(x)$。待ち時間のモデル。
• 正規分布 $N(m, \sigma^2)$：$f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - m)^2}{2\sigma^2}\right)$。$\int f = 1$ はガウス積分から従う。$N(0,1)$ を標準正規分布といい、その分布関数を $\Phi$ と書く。
• コーシー分布：$f(x) = \frac{1}{\pi(1 + x^2)}$。$\Theta \sim U(-\pi/2, \pi/2)$ のとき $\tan \Theta$ がこの分布に従う（問題 1.6）。点 $(0, 1)$ から下半平面に向けて一様にランダムな向きに光線を出したとき、それが $x$ 軸と交わる位置の分布である。

平均と分散（1.3 節で定義する）をまとめておく。

1.3 期待値

サイコロの目 $X$ の「平均的な値」は $\sum_{k=1}^6 k \cdot \frac{1}{6} = 3.5$ である。一般には「値 × その値をとる確率」の和を考えたい。ルベーグ積分はまさに値域を分割して「値 × その値をとる集合の測度」を足し合わせる積分であり、期待値の定義にうってつけである。

定義 1.11（期待値, expectation）確率変数 $X \geq 0$ に対し $E[X] = \int_\Omega X\ dP \in [0, \infty]$ と定める。$E[\lvert X \rvert] < \infty$ のとき $X$ は可積分であるといい、$E[X] = \int_\Omega X\ dP$ を $X$ の期待値（平均, mean）という。$A \in \mathcal{F}$ に対し $E[X; A] := E[X \mathbf{1}_A]$ と書く。

期待値は積分なので、線形性・単調性・単調収束定理・ファトゥの補題・優収束定理（06-measure-integration 第3章）がそのまま使える。$P(A) = E[\mathbf{1}_A]$ である。

定理 1.12（分布による期待値の計算）$X$ を $\mathbb{R}^d$ 値確率ベクトル、$g\colon \mathbb{R}^d \to \mathbb{R}$ をボレル可測関数とする。$g \geq 0$ または $E[\lvert g(X) \rvert] < \infty$ ならば

$$E[g(X)] = \int_{\mathbb{R}^d} g(x)\ \mu_X(dx)$$

特に $X$ が離散分布 $P(X = x_k) = p_k$ をもてば $E[g(X)] = \sum_k g(x_k) p_k$、密度 $f$ をもてば $E[g(X)] = \int g(x) f(x)\ dx$ である。

証明. $g = \mathbf{1}_B$ なら両辺とも $P(X \in B) = \mu_X(B)$ である。線形性により非負単関数で成り立つ。可測な $g \geq 0$ に対しては単関数列 $0 \leq g_n \uparrow g$ をとると（06-measure-integration 第3章 定理 3.7）$g_n(X) \uparrow g(X)$ なので、両辺に単調収束定理を用いればよい。一般の場合は $g = g^{+} - g^{-}$ と分ける。離散の場合は $\mu_X = \sum_k p_k \delta_{x_k}$、密度の場合は $\mu_X(dx) = f(x)\ dx$ に対して同じ議論を行えばよい。$\square$

この定理により、期待値は $\Omega$ の取り方によらず分布だけで決まる。確率論で標本空間 $\Omega$ を具体的に書かないことが多いのはこのためである。

例 1.13 $X \sim \operatorname{Exp}(\lambda)$ なら $E[X] = \int_0^\infty x \lambda e^{-\lambda x}\ dx = 1/\lambda$。$X \sim N(0, 1)$ なら $x e^{-x^2/2}$ が可積分な奇関数なので $E[X] = 0$、部分積分で $E[X^2] = 1$。$X$ がコーシー分布に従うと $E[\lvert X \rvert] = \int_{\mathbb{R}} \frac{\lvert x \rvert}{\pi(1 + x^2)}\ dx = \infty$ であり、期待値は存在しない。

命題 1.14 $X \geq 0$ ならば $E[X] = \int_0^\infty P(X > t)\ dt$ である。特に任意の確率変数 $X$ について

$$\sum_{n=1}^\infty P(\lvert X \rvert \geq n) \leq E[\lvert X \rvert] \leq 1 + \sum_{n=1}^\infty P(\lvert X \rvert \geq n)$$

であり、$X$ が可積分であることと $\sum_n P(\lvert X \rvert \geq n) < \infty$ は同値である。

証明. $X(\omega) = \int_0^\infty \mathbf{1}_{\lbrace X(\omega) > t \rbrace}\ dt$ であり、$(\omega, t) \mapsto X(\omega) - t$ は直積 σ-加法族について可測であるから、トネリの定理（06-measure-integration 第5章 定理 5.6）により積分の順序を交換して最初の式を得る。$t \in [n-1, n)$ のとき $\lbrace \lvert X \rvert \geq n \rbrace \subset \lbrace \lvert X \rvert > t \rbrace \subset \lbrace \lvert X \rvert \geq n - 1 \rbrace$ だから、$[n-1, n)$ 上で積分して $n \geq 1$ について足せば不等式を得る。$\square$

定義 1.15（モーメントと分散）$p > 0$ に対し $E[\lvert X \rvert^p]$ を $p$ 次の絶対モーメント、$E[X^k]$ を $k$ 次のモーメント (moment) という。$E[X^2] < \infty$ のとき

$$\operatorname{Var}(X) = E[(X - E[X])^2] = E[X^2] - E[X]^2$$

を分散 (variance)、$\sqrt{\operatorname{Var}(X)}$ を標準偏差という。$E[X^2], E[Y^2] < \infty$ のとき $\operatorname{Cov}(X, Y) = E[(X - E[X])(Y - E[Y])]$ を共分散 (covariance) といい、$\operatorname{Cov}(X, Y) = 0$ のとき $X, Y$ は無相関 (uncorrelated) であるという。

後で見るように確率空間では $L^2 \subset L^1$ なので（例 1.20）、分散は $E[X^2] < \infty$ だけで定義できる。展開すると

であり、無相関なら分散は加法的である。

例 1.16（期待値の線形性の威力）$1, \dots, n$ を一様ランダムに並べ替えたとき（$n!$ 通りが同様に確からしい）、自分の位置に留まる数の個数 $X$ の期待値を求める。$A_i = \lbrace i \text{ は動かない} \rbrace$ とおくと $X = \sum_{i} \mathbf{1}_{A_i}$、$P(A_i) = (n-1)!/n! = 1/n$ だから、$E[X] = \sum_i P(A_i) = 1$ である。$A_i$ たちは独立でないが、線形性は独立性を必要としない。

最後に、確率論の用語と測度論の用語の対応をまとめておく。確率論は「全測度が 1 の測度論」であり、定理の多くは測度論の定理をそのまま翻訳したものである。一方で、独立性と条件付けは確率論に固有の概念であり、確率論の個性はそこから生まれる。

1.4 基本的な不等式

分布が完全にはわからなくても、期待値や分散から確率を評価したい場面は多い。

定理 1.17（マルコフの不等式, Markov's inequality）$X \geq 0$、$a > 0$ ならば $P(X \geq a) \leq E[X]/a$ である。より一般に、$\varphi\colon [0, \infty) \to [0, \infty)$ が単調非減少で $\varphi(a) > 0$ ならば $P(\lvert X \rvert \geq a) \leq E[\varphi(\lvert X \rvert)]/\varphi(a)$ である。

証明. 各点で $\varphi(a) \mathbf{1}_{\lbrace \lvert X \rvert \geq a \rbrace} \leq \varphi(\lvert X \rvert)$ が成り立つので、期待値をとればよい。$\square$

系 1.18（チェビシェフの不等式, Chebyshev's inequality）$E[X^2] < \infty$、$a > 0$ ならば $P(\lvert X - E[X] \rvert \geq a) \leq \operatorname{Var}(X)/a^2$ である。

証明. $X - E[X]$ と $\varphi(x) = x^2$ に定理 1.17 を適用する。$\square$

たとえば公平なコインを 100 回投げたときの表の回数 $S$ は $E[S] = 50$、$\operatorname{Var}(S) = 25$ なので $P(\lvert S - 50 \rvert \geq 10) \leq 1/4$ である。実際の値は約 $0.057$ なので評価は粗いが、分布の形によらず使えるのが強みである。

定理 1.19（イェンセンの不等式, Jensen's inequality）$I \subset \mathbb{R}$ を開区間、$\varphi\colon I \to \mathbb{R}$ を凸関数とし、$X$ は可積分で $P(X \in I) = 1$ とする。このとき $E[X] \in I$ であり、$E[\varphi(X)]$ は $(-\infty, \infty]$ の値として定まって

$$\varphi(E[X]) \leq E[\varphi(X)]$$

証明. $m = E[X]$ とおく。$I$ の左端 $a$ が有限なら $X - a > 0$ a.s. なので $E[X - a] \geq 0$ であり、等号なら $X = a$ a.s. となって矛盾するから $m > a$。右端についても同様で、$m \in I$ である。凸関数の傾き $\frac{\varphi(x) - \varphi(m)}{x - m}$ は $x$ について単調非減少なので、$c = \sup_{x < m} \frac{\varphi(x) - \varphi(m)}{x - m}$ は有限で、すべての $x \in I$ について $\varphi(x) \geq \varphi(m) + c(x - m)$（$m$ における支持直線）が成り立つ。凸関数は連続なので $\varphi(X)$ は確率変数であり、$\varphi(X) \geq \varphi(m) + c(X - m)$ の右辺は可積分だから $\varphi(X)^{-}$ は可積分である。期待値をとって $E[\varphi(X)] \geq \varphi(m)$ を得る。$\square$

例 1.20 (1) $\varphi(x) = x^2$ として $E[X]^2 \leq E[X^2]$。(2) $\varphi(x) = e^x$ として $e^{E[X]} \leq E[e^X]$。(3)（リャプノフの不等式）$0 < p < q$ ならば $E[\lvert X \rvert^p]^{1/p} \leq E[\lvert X \rvert^q]^{1/q}$。実際、右辺が有限なら $\lvert X \rvert^p \leq 1 + \lvert X \rvert^q$ より $Y = \lvert X \rvert^p$ は可積分で、凸関数 $y \mapsto \lvert y \rvert^{q/p}$ にイェンセンの不等式を使えばよい。特に確率空間では $L^q \subset L^p$（$p < q$）である。無限測度の空間ではこの包含は成り立たない（06-measure-integration 第4章）。

1.5 独立性

サイコロを 2 個振るとき「1 個目が 6 かつ 2 個目が 6」の確率は $1/36 = \frac{1}{6} \cdot \frac{1}{6}$ である。互いに影響しないという直観を、積の公式で定式化する。

定義 1.21（独立性, independence）

1. 事象の族 $(A_\lambda)_{\lambda \in \Lambda}$ が独立であるとは、相異なる任意の有限個の添字 $\lambda_1, \dots, \lambda_k$ について $P(A_{\lambda_1} \cap \cdots \cap A_{\lambda_k}) = P(A_{\lambda_1}) \cdots P(A_{\lambda_k})$ が成り立つことをいう。
2. 部分集合族 $\mathcal{C}_\lambda \subset \mathcal{F}$（$\lambda \in \Lambda$）が独立であるとは、各 $\lambda$ について $A_\lambda \in \mathcal{C}_\lambda$ をどう選んでも $(A_\lambda)_\lambda$ が独立であることをいう。
3. 確率変数（確率ベクトル）の族 $(X_\lambda)_\lambda$ が独立であるとは、$(\sigma(X_\lambda))_\lambda$ が独立であることをいう。

確率変数については、任意の有限個の相異なる添字とボレル集合 $B_j$ について $P(X_{\lambda_1} \in B_1, \dots, X_{\lambda_k} \in B_k) = \prod_j P(X_{\lambda_j} \in B_j)$ が成り立つことと同値である。同じ分布をもつ独立な確率変数列を i.i.d.（independent and identically distributed, 独立同分布）という。

例 1.22（対ごとに独立でも独立とは限らない）公平なコインを 2 回投げ、$A = \lbrace 1 \text{ 回目が表} \rbrace$、$B = \lbrace 2 \text{ 回目が表} \rbrace$、$C = \lbrace 2 \text{ 回の結果が一致} \rbrace$ とする。どの二つも積の公式を満たす（たとえば $P(A \cap C) = P(\text{表表}) = 1/4$）が、$P(A \cap B \cap C) = 1/4 \neq 1/8$ である。

独立性を定義どおりに確かめるには、σ-加法族のすべての元について積の公式を調べる必要がある。次の定理により、生成系が π-系ならその上で調べれば十分である。

定理 1.23（π-系による独立性の判定）$\mathcal{P}_1, \dots, \mathcal{P}_n \subset \mathcal{F}$ をそれぞれ π-系とし、任意の $A_i \in \mathcal{P}_i \cup \lbrace \Omega \rbrace$（$i = 1, \dots, n$）について

$$P(A_1 \cap \cdots \cap A_n) = P(A_1) \cdots P(A_n)$$

が成り立つとする。このとき $\sigma(\mathcal{P}_1), \dots, \sigma(\mathcal{P}_n)$ は独立である。

証明. $A_i \in \mathcal{P}_i \cup \lbrace \Omega \rbrace$（$i = 2, \dots, n$）を固定し、$C = A_2 \cap \cdots \cap A_n$、$\pi = P(A_2) \cdots P(A_n)$ とおき

とする。$\mathcal{D}$ が λ-系であることを示す。仮定で $A_1 = \Omega$ とすれば $P(C) = \pi$ なので $\Omega \in \mathcal{D}$。$A \in \mathcal{D}$ なら $P(A^c \cap C) = P(C) - P(A \cap C) = \pi - P(A)\pi = P(A^c)\pi$ なので $A^c \in \mathcal{D}$。互いに交わらない $B_k \in \mathcal{D}$ については、両辺の可算加法性から $\bigcup_k B_k \in \mathcal{D}$。仮定より $\mathcal{P}_1 \subset \mathcal{D}$ だから、π-λ 定理（06-measure-integration 第1章 定理 1.30）により $\sigma(\mathcal{P}_1) \subset \mathcal{D}$ である。こうして、定理の仮定は $\mathcal{P}_1$ を π-系 $\sigma(\mathcal{P}_1)$ に置き換えても成り立つ。同じ議論を $i = 2, \dots, n$ について順に繰り返すと、すべての $A_i \in \sigma(\mathcal{P}_i)$ について積の公式が成り立つ。一部の $A_i$ を $\Omega \in \sigma(\mathcal{P}_i)$ とすれば部分族についての積の公式も得られるので、$\sigma(\mathcal{P}_1), \dots, \sigma(\mathcal{P}_n)$ は独立である。$\square$

系 1.24

1. 確率変数 $X_1, \dots, X_n$ が独立であるための必要十分条件は、すべての $x_1, \dots, x_n \in \mathbb{R}$ について $P(X_1 \leq x_1, \dots, X_n \leq x_n) = \prod_{i} P(X_i \leq x_i)$ となることである。可算集合に値をとる場合は、すべての値 $x_i$ について $P(X_1 = x_1, \dots, X_n = x_n) = \prod_i P(X_i = x_i)$ となることと同値である。
2. （グループ化）σ-加法族の族 $(\mathcal{F}_\lambda)_{\lambda \in \Lambda}$ が独立で、$\Lambda_1, \Lambda_2, \dots$ が $\Lambda$ の互いに交わらない部分集合ならば、$\mathcal{G}_j = \sigma\left(\bigcup_{\lambda \in \Lambda_j} \mathcal{F}_\lambda\right)$ たちは独立である。特に独立な $X_1, \dots, X_n$ とボレル関数 $f, g$ について、$f(X_1, \dots, X_k)$ と $g(X_{k+1}, \dots, X_n)$ は独立である。

証明. 1. $\mathcal{P}_i = \lbrace \lbrace X_i \leq x \rbrace \mid x \in \mathbb{R} \rbrace$ は $\sigma(X_i)$ を生成する π-系である。一部の $x_i \to \infty$ とすれば、条件は $A_i = \Omega$ を許しても成り立つ。定理 1.23 を適用すればよい。可算値の場合は $\lbrace \lbrace X_i = x \rbrace \rbrace \cup \lbrace \emptyset \rbrace$ を π-系とし、$\Omega = \bigsqcup_x \lbrace X_i = x \rbrace$ について和をとれば $A_i = \Omega$ の場合も得られる。

2. $\lambda_1, \dots, \lambda_k \in \Lambda_j$ と $A_{\lambda_l} \in \mathcal{F}_{\lambda_l}$ による有限共通部分 $A_{\lambda_1} \cap \cdots \cap A_{\lambda_k}$ の全体 $\mathcal{P}_j$ は、$\Omega$ を含み $\mathcal{G}_j$ を生成する π-系である。有限個の $\mathcal{P}_{j_1}, \dots, \mathcal{P}_{j_m}$ について積の公式が成り立つことは $(\mathcal{F}_\lambda)$ の独立性から従うので、定理 1.23 よりよい。関数については $\sigma(f(X_1, \dots, X_k)) \subset \sigma(X_1, \dots, X_k)$ に注意すればよい。$\square$

定理 1.25（独立性と直積測度）確率ベクトル $X = (X_1, \dots, X_n)$ について、$X_1, \dots, X_n$ が独立であることと、$X$ の分布が直積測度 $\mu_{X_1} \otimes \cdots \otimes \mu_{X_n}$ に等しいことは同値である。このとき、$X_1, \dots, X_n$ が可積分ならば $X_1 \cdots X_n$ も可積分で

$$E[X_1 \cdots X_n] = E[X_1] \cdots E[X_n]$$

証明. 二つの確率測度 $\mu_X$ と $\mu_{X_1} \otimes \cdots \otimes \mu_{X_n}$ が長方形 $B_1 \times \cdots \times B_n$ 上で一致することは、独立性の定義そのものである。長方形全体は $\mathcal{B}(\mathbb{R}^n) = \mathcal{B}(\mathbb{R})^{\otimes n}$ を生成する π-系なので、測度の一意性（06-measure-integration 第1章 定理 1.31）より同値性が従う。後半は、定理 1.12 とトネリの定理から $E[\lvert X_1 \cdots X_n \rvert] = \int \lvert x_1 \rvert \cdots \lvert x_n \rvert\ d(\mu_{X_1} \otimes \cdots \otimes \mu_{X_n}) = \prod_i E[\lvert X_i \rvert] < \infty$ であり、絶対値を外した等式はフビニの定理（06-measure-integration 第5章 定理 5.7）から従う。$\square$

特に独立ならば無相関であり、独立な確率変数の和の分散は各分散の和になる。逆は成り立たない。$X \sim N(0, 1)$、$Y = X^2$ なら $\operatorname{Cov}(X, Y) = E[X^3] = 0$ だが、$P(\lvert X \rvert \leq 1, Y > 1) = 0 \neq P(\lvert X \rvert \leq 1) P(Y > 1)$ である。

例 1.26 独立な事象 $A_1, \dots, A_n$ で $P(A_i) = p$ となるものについて、$S = \sum_i \mathbf{1}_{A_i} \sim B(n, p)$ であり、$\operatorname{Var}(\mathbf{1}_{A_i}) = p - p^2$ だから $\operatorname{Var}(S) = np(1-p)$ である。

例 1.27（独立な和と畳み込み）$X, Y$ が独立で密度 $f, g$ をもてば、$X + Y$ は密度 $f \ast g$（06-measure-integration 第5章 定義 5.12）をもつ。実際、定理 1.25 とトネリの定理、変数変換 $u = x + y$ により

である。たとえば $X, Y \sim \operatorname{Exp}(\lambda)$ が独立なら、$X + Y$ の密度は $z > 0$ で $\int_0^z \lambda e^{-\lambda x} \lambda e^{-\lambda(z - x)}\ dx = \lambda^2 z e^{-\lambda z}$ である（ガンマ分布）。

1.6 ボレル–カンテリの補題

コインを無限回投げるとき、「10 回連続で表」は無限回起こるだろうか。このような「無限にしばしば起こるか」という問いに答える基本道具がボレル–カンテリの補題である。事象列 $(A_n)$ に対し

を $\lbrace A_n \text{ i.o.} \rbrace$（infinitely often, 無限にしばしば）とも書く。補集合は $\liminf_n A_n^c = \bigcup_n \bigcap_{k \geq n} A_k^c$（ある番号から先はずっと $A_n^c$）である。

定理 1.28（ボレル–カンテリの補題, Borel–Cantelli lemma）$A_1, A_2, \dots \in \mathcal{F}$ とする。

1. （第 1 補題）$\sum_n P(A_n) < \infty$ ならば $P(\limsup_n A_n) = 0$。
2. （第 2 補題）$A_n$ が独立で $\sum_n P(A_n) = \infty$ ならば $P(\limsup_n A_n) = 1$。

証明. 1. 各 $n$ について $P(\limsup_k A_k) \leq P\left(\bigcup_{k \geq n} A_k\right) \leq \sum_{k \geq n} P(A_k)$ であり、右辺は収束級数の余りなので $n \to \infty$ で 0 に収束する。

2. 定理 1.23 を π-系 $\lbrace A_k \rbrace$ に適用すると $\sigma(A_k) = \lbrace \emptyset, A_k, A_k^c, \Omega \rbrace$ たちが独立なので、$A_k^c$ たちも独立である。$1 - x \leq e^{-x}$ を使うと、$n \leq N$ について

上からの連続性より $P\left(\bigcap_{k \geq n} A_k^c\right) = 0$ であり、可算個の和をとって $P(\liminf_n A_n^c) = 0$、すなわち $P(\limsup_n A_n) = 1$ を得る。$\square$

注意 1.29 第 2 補題で独立性は外せない。$P(A) = 1/2$ の事象 $A$ について $A_n = A$ とすれば $\sum_n P(A_n) = \infty$ だが $P(\limsup_n A_n) = 1/2$ である。

例 1.30（パターンの出現）公平なコインを無限回投げ、$B_j$ を「$10j + 1$ 回目から $10j + 10$ 回目までがすべて表」という事象とする。ブロックが重ならないので $B_j$ たちは独立で（系 1.24）、$P(B_j) = 2^{-10}$、$\sum_j P(B_j) = \infty$ である。第 2 補題より、10 連続の表は確率 1 で無限回現れる。同じ議論で、どんな有限のパターンも確率 1 で無限回現れる。

例 1.31（最大値の増え方）$X_1, X_2, \dots$ を $\operatorname{Exp}(1)$ に従う i.i.d. とすると $P(X_n > c \log n) = n^{-c}$ である。$c > 1$ なら $\sum_n n^{-c} < \infty$ なので、第 1 補題より a.s. で有限個の $n$ を除き $X_n \leq c \log n$、すなわち $\limsup_n X_n/\log n \leq c$ である。$c = 1 + 1/k$（$k \in \mathbb{N}$）について確率 1 の事象の共通部分をとれば $\limsup_n X_n/\log n \leq 1$ a.s.。一方 $c = 1$ なら $\sum_n 1/n = \infty$ で事象 $\lbrace X_n > \log n \rbrace$ は独立だから、第 2 補題より $\limsup_n X_n/\log n \geq 1$ a.s.。ゆえに

1.7 独立な確率変数列の存在

次章以降では「i.i.d. 列 $X_1, X_2, \dots$ をとる」ことから議論を始める。有限個なら直積測度 $\mu_1 \otimes \cdots \otimes \mu_n$ 上の座標関数をとればよいが、無限列が存在するかは自明でない。まず、ルベーグ測度そのものが無限回のコイン投げであることを見る。

例 1.32（2 進展開とコイン投げ）$\Omega = [0, 1)$、$P = \lambda$ とし、$\omega = \sum_{n \geq 1} d_n(\omega) 2^{-n}$ を 2 進展開とする（有限で終わる展開を選ぶ）。$e_1, \dots, e_n \in \lbrace 0, 1 \rbrace$ について $\lbrace d_1 = e_1, \dots, d_n = e_n \rbrace$ は長さ $2^{-n}$ の区間 $[a, a + 2^{-n})$（$a = \sum_{k \leq n} e_k 2^{-k}$）だから