第1章確率分布（統計学） | Lemma

この章の目標

確率変数・期待値・分散・共分散を、離散型と密度をもつ場合について定義し、計算に使える

主要な分布（二項・ポアソン・幾何・一様・指数・ガンマ・ベータ・正規）の性質と相互関係を、モーメント母関数と変数変換で導ける

多変量正規分布の線形変換・周辺分布・条件付き分布の公式を証明し、「平均への回帰」を説明できる

チェビシェフの不等式を証明し、大数の法則・中心極限定理・デルタ法を仮定つきで正しく使える

「無相関なら独立」「 $n$ が大きければ正規分布で近似できる」といった推論が、どこで破綻するかを説明できる

前提：01 微分積分学第9章、02 線形代数第7章・第8章。ガンマ関数・ベータ関数は 01 微分積分学第5章 5.10 節のものを使う。高校の確率・統計（P6）を知っていると読みやすいが、前提にはしない。

ある通販サイトで、新しい商品ページ B を従来の A と比べたところ、それぞれ 1 万人の訪問者のうち A では 210 人、B では 240 人が購入した。B のほうが良いと言えるだろうか。実験をやり直せば購入者数は変わるので、データを偶然に揺らぐ量の実現値とみて、揺らぎの大きさを見積もらなければ答えられない（例 1.30）。統計学では、データを確率変数の実現値とみなし、データを生む仕組みを確率分布で表して、データから分布について何が言えて何が言えないかを調べる。本章ではそのための確率の言葉を準備する。

測度論（11 確率論）は前提にしない。分布は確率関数（離散型）か密度（連続型）で与えられるものに限り、和とリーマン積分（広義積分を含む）で計算する。また、現れる集合にはすべて確率が与えられているものとする（厳密には、確率を与える集合を σ-加法族に制限する必要がある）。測度論が本当に必要な箇所では、11 確率論の該当箇所を示して結果を認める。

1.1 確率変数と分布

定義 1.1（確率, probability）集合 $\Omega$ （標本空間, sample space）の部分集合（事象, event） $A$ に実数 $P(A)$ を対応させる規則 $P$ が、(1) $P(A) \geq 0$ 、(2) $P(\Omega) = 1$ 、(3) 互いに交わらない事象 $A_1, A_2, \dots$ について $P\left(\bigcup_{i} A_i\right) = \sum_{i} P(A_i)$ （可算加法性）をみたすとき、 $P$ を確率という。 $P(B) > 0$ のとき $P(A \mid B) = P(A \cap B)/P(B)$ を条件付き確率 (conditional probability) という。

ここから $P(\emptyset) = 0$ 、 $P(A^c) = 1 - P(A)$ 、 $A \subset B \Rightarrow P(A) \leq P(B)$ などが従う。

定義 1.2（確率変数・分布） $\Omega$ 上の実数値関数 $X$ を確率変数 (random variable)、 $\mathbb{R}^n$ に値をとる関数 $X = (X_1, \dots, X_n)$ を確率ベクトル (random vector) という。 $F_X(x) = P(X \leq x)$ を分布関数といい、集合 $A$ に $P(X \in A)$ を対応させる規則を $X$ の分布 (distribution) という。

$X$ が有限個または可算個の値 $x_1, x_2, \dots$ だけをとるとき離散型といい、 $p(x_k) = P(X = x_k)$ を確率関数 (probability mass function) という。

関数 $f \geq 0$ で、すべての $x$ について $F_X(x) = \int_{-\infty}^{x} f(t)\ dt$ となるものがあるとき連続型といい、 $f$ を確率密度関数（密度, density）という。

確率ベクトルについて、区間の直積 $D \subset \mathbb{R}^n$ に対して $P(X \in D) = \int_D f(x)\ dx$ となる $f \geq 0$ を同時密度 (joint density) という。同時確率関数 $p(x_1, \dots, x_n) = P(X_1 = x_1, \dots, X_n = x_n)$ も同様に定める。

分布は分布関数で決まる（11 確率論第1章定理 1.7）。 $X$ の分布が $\mu$ であることを $X \sim \mu$ 、 $X$ と $Y$ の分布が等しいことを $X \overset{d}{=} Y$ と書く。観測値 $x$ は確率変数 $X$ の実現値 (realization) とみて、確率変数を大文字、実現値を小文字で書く。

本科目の密度はすべて区分的に連続とする。このとき $P(a < X \leq b) = \int_a^b f$ 、 $P(X = a) = 0$ で、 $f$ が連続な点では $F_X' = f$ である（01 微分積分学第5章定理 5.12）。密度の値は確率ではなく（区間 $(0, 1/2)$ 上の一様分布の密度は $2$ ）、小さな $h > 0$ について $P(x < X \leq x + h) \approx f(x)h$ と読む。 $(X, Y)$ が同時密度 $f$ をもてば、フビニの定理により $X$ は周辺密度 (marginal density) $f_X(x) = \int f(x, y)\ dy$ をもつ。

定義 1.3（独立性）確率変数（または確率ベクトル） $X_1, \dots, X_n$ が独立 (independent) であるとは、すべての $x_1, \dots, x_n$ について
$P(X_1 \leq x_1, \dots, X_n \leq x_n) = P(X_1 \leq x_1) \cdots P(X_n \leq x_n)$
が成り立つことをいう（ベクトルの不等号は成分ごとに読む）。無限列は、任意の有限個が独立であるとき独立という。同じ分布に従う独立な確率変数の列を i.i.d.（独立同分布）という。

命題 1.4（独立性の言い換え）

離散型の $X_1, \dots, X_n$ が独立であることは、すべての値で $P(X_1 = x_1, \dots, X_n = x_n) = \prod_i P(X_i = x_i)$ となることと同値である。

$X_i$ が密度 $f_i$ をもつとき、 $X_1, \dots, X_n$ が独立であることは、 $(X_1, \dots, X_n)$ が同時密度 $f_1(x_1) \cdots f_n(x_n)$ をもつことと同値である。

$X_1, \dots, X_n$ が独立ならば、重ならない変数の組から作った関数、たとえば $g(X_1, \dots, X_k)$ と $h(X_{k+1}, \dots, X_n)$ も独立である。

主張のみとする（11 確率論第1章系 1.24・定理 1.25）。2 の「 $\Leftarrow$ 」は、同時密度を $(-\infty, x_1] \times \cdots \times (-\infty, x_n]$ 上で積分してフビニの定理を使えばわかる。

1.2 期待値・分散・共分散

定義 1.5（期待値, expectation） $X$ が離散型で $\sum_k \lvert x_k \rvert p(x_k) < \infty$ のとき $E[X] = \sum_k x_k p(x_k)$ 、密度 $f$ をもち $\int \lvert x \rvert f(x)\ dx < \infty$ のとき $E[X] = \int x f(x)\ dx$ と定め、 $X$ の期待値（平均, mean）という。絶対収束しないときは期待値は存在しないという。

たとえば密度 $\frac{1}{\pi(1 + x^2)}$ のコーシー分布は、左右対称なのに $\int_{-R}^{R}\frac{\lvert x \rvert}{\pi(1 + x^2)}\ dx = \frac{1}{\pi}\log(1 + R^2) \to \infty$ で、期待値をもたない。関数 $g$ について、 $g(X)$ の期待値は（右辺が絶対収束するとき）

E[g(X)] = \sum_k g(x_k)\,p(x_k), \qquad E[g(X)] = \int_{\mathbb{R}^n} g(x) f(x)\,dx

で計算できる（ $X$ は確率ベクトルでもよい）。これが $g(X)$ の分布から定義どおり計算した値と一致することは、離散型なら和の並べ替えでわかり、密度の場合は 11 確率論第1章定理 1.12 による。

命題 1.6（期待値の性質）以下の期待値はすべて存在するとする。

（線形性） $E[aX + bY + c] = aE[X] + bE[Y] + c$ 。

（単調性） $X \leq Y$ ならば $E[X] \leq E[Y]$ 。

$X$ と $Y$ が独立ならば $E[g(X)h(Y)] = E[g(X)]E[h(Y)]$ 。

証明. 同時密度 $f$ をもつ場合を示す（離散型は積分を和に置き換えればよい。一般の場合は 11 確率論第1章）。1 は積分の線形性と $\iint x f(x, y)\ dx\ dy = \int x f_X(x)\ dx$ による。2 は $f$ が $\lbrace x \leq y \rbrace$ の外で $0$ としてよいことによる。3 は、命題 1.4 の 2 より同時密度が $f_X(x)f_Y(y)$ で、フビニの定理により積分が積に分かれることによる。 $\square$

定義 1.7（分散・共分散・相関係数） $E[X^2], E[Y^2] < \infty$ のとき、
$\operatorname{Var}(X) = E[(X - E[X])^2], \quad \operatorname{Cov}(X, Y) = E[(X - E[X])(Y - E[Y])], \quad \rho(X, Y) = \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)}}$
をそれぞれ分散、共分散、相関係数という（相関係数は分母が正のとき）。 $\sqrt{\operatorname{Var}(X)}$ を標準偏差、 $\operatorname{Cov}(X, Y) = 0$ のとき無相関という。

命題 1.8

$\operatorname{Var}(X) = E[X^2] - E[X]^2$ 、 $\operatorname{Var}(aX + b) = a^2\operatorname{Var}(X)$ 、 $\operatorname{Cov}(X, Y) = E[XY] - E[X]E[Y]$ 。

$X$ と $Y$ が独立ならば無相関である。

$\operatorname{Var}\left(\sum_i a_iX_i\right) = \sum_{i,j} a_ia_j\operatorname{Cov}(X_i, X_j)$ 。特に、互いに無相関なら和の分散は分散の和である。

$\lvert \rho(X, Y) \rvert \leq 1$ 。

証明. 1・3 は定義を展開して命題 1.6 の 1 を使えばよく、2 は命題 1.6 の 3 による。4：任意の実数 $t$ について $0 \leq E[((Y - E[Y]) - t(X - E[X]))^2] = \operatorname{Var}(Y) - 2t\operatorname{Cov}(X, Y) + t^2\operatorname{Var}(X)$ なので、 $t$ の 2 次式の判別式は $0$ 以下である。 $\square$

4 はコーシー–シュワルツの不等式であり、高校で学ぶデータの相関係数の $-1 \leq r \leq 1$ と同じ形をしている。

例 1.9（無相関でも独立とは限らない） $X$ が $-1, 0, 1$ を確率 $1/3$ ずつとり、 $Y = X^2$ とする。 $\operatorname{Cov}(X, Y) = E[X^3] - E[X]E[X^2] = 0$ だが、 $P(X = 0, Y = 1) = 0 \neq P(X = 0)P(Y = 1)$ なので独立でない。相関係数は直線的な関係の強さしか測らない。

確率ベクトル $X = (X_1, \dots, X_n)^{\top}$ の平均ベクトル $E[X] = (E[X_1], \dots, E[X_n])^{\top}$ と、 $(i, j)$ 成分が $\operatorname{Cov}(X_i, X_j)$ の共分散行列 $\operatorname{Cov}(X) = E[(X - E[X])(X - E[X])^{\top}]$ を考える（ $\operatorname{Var}(X)$ と書く本も多い）。 $A^{\top}$ は転置行列で、02 線形代数の ${}^tA$ と同じものである（統計学の文献の慣習に合わせる）。ベクトルは列ベクトルとする。

命題 1.10 確率ベクトル $X \in \mathbb{R}^n$ の各成分の 2 乗の期待値は有限とする。 $B$ を $m \times n$ 行列、 $c \in \mathbb{R}^m$ とすると、 $E[BX + c] = BE[X] + c$ 、 $\operatorname{Cov}(BX + c) = B\operatorname{Cov}(X)B^{\top}$ 。特に $\operatorname{Cov}(X)$ は対称な半正定値行列である。

証明. 成分ごとの線形性から $\operatorname{Cov}(BX + c) = E[B(X - E[X])(X - E[X])^{\top}B^{\top}] = B\operatorname{Cov}(X)B^{\top}$ 。 $a \in \mathbb{R}^n$ について $a^{\top}\operatorname{Cov}(X)a = \operatorname{Var}(a^{\top}X) \geq 0$ 。 $\square$

定義 1.11（条件付き分布） $(X, Y)$ （それぞれ確率ベクトルでもよい）が同時密度 $f$ をもつとき、 $f_X(x) > 0$ となる $x$ について $f_{Y \mid X}(y \mid x) = f(x, y)/f_X(x)$ を $X = x$ が与えられたときの $Y$ の条件付き密度 (conditional density)、 $E[Y \mid X = x] = \int y f_{Y \mid X}(y \mid x)\ dy$ を条件付き期待値という。 $h(x) = E[Y \mid X = x]$ として、確率変数 $h(X)$ を $E[Y \mid X]$ と書く。条件付き分散 $\operatorname{Var}(Y \mid X = x)$ も同様に定め、離散型では $P(Y = y \mid X = x)$ を使う。

連続型では $P(X = x) = 0$ なので、これは初等的な条件付き確率ではない。 $f$ が連続なら $P(Y \leq y \mid x < X \leq x + h)$ の $h \to +0$ での極限として正当化でき、一般論は 11 確率論第5章で扱う。

命題 1.12（全期待値と全分散の公式） $E[Y^2] < \infty$ ならば $E[Y] = E[E[Y \mid X]]$ 、 $\operatorname{Var}(Y) = E[\operatorname{Var}(Y \mid X)] + \operatorname{Var}(E[Y \mid X])$ 。

証明. 同時密度をもつ場合を示す（離散型も、積分を和に置き換えれば同様である）。フビニの定理より $E[h(X)] = \int \bigl(\int y f(x, y)\ dy\bigr)dx = E[Y]$ 。 $Y^2$ にも同じことを使うと $E[\operatorname{Var}(Y \mid X)] = E[Y^2] - E[h(X)^2]$ で、これに $\operatorname{Var}(h(X)) = E[h(X)^2] - E[Y]^2$ を足せばよい。 $\square$

1.3 主要な分布

パラメータは $n \in \mathbb{N}$ , $0 \leq p \leq 1$ （幾何分布では $0 < p \leq 1$ ）, $\lambda, \alpha, \sigma > 0$ , $\mu \in \mathbb{R}$ とし、一様分布では実数 $a < b$ 、ベータ分布では $a, b > 0$ とする。密度は表の範囲の外で $0$ とする。モーメント母関数（1.4 節）は、特に書かない限りすべての $t$ で有限である。

分布	確率関数・密度	平均	分散	モーメント母関数
二項 $B(n, p)$	$\binom{n}{k}p^k(1-p)^{n-k}$ , $k = 0, \dots, n$	$np$	$np(1-p)$	$(1 - p + pe^t)^n$
ポアソン $\operatorname{Po}(\lambda)$	$e^{-\lambda}\lambda^k/k!$ , $k = 0, 1, \dots$	$\lambda$	$\lambda$	$\exp(\lambda(e^t - 1))$
幾何 $\operatorname{Ge}(p)$	$(1-p)^{k-1}p$ , $k = 1, 2, \dots$	$1/p$	$(1-p)/p^2$	$\frac{pe^t}{1 - (1-p)e^t}$ （ $(1-p)e^t < 1$ ）
一様 $U(a, b)$ （ $a < b$ ）	$\frac{1}{b - a}$ , $a < x < b$	$\frac{a + b}{2}$	$\frac{(b - a)^2}{12}$	$\frac{e^{bt} - e^{at}}{(b - a)t}$ （ $t \neq 0$ ）
指数 $\operatorname{Exp}(\lambda)$	$\lambda e^{-\lambda x}$ , $x > 0$	$1/\lambda$	$1/\lambda^2$	$\frac{\lambda}{\lambda - t}$ （ $t < \lambda$ ）
ガンマ $\operatorname{Gamma}(\alpha, \lambda)$	$\frac{\lambda^{\alpha}}{\Gamma(\alpha)}x^{\alpha - 1}e^{-\lambda x}$ , $x > 0$	$\alpha/\lambda$	$\alpha/\lambda^2$	$\left(\frac{\lambda}{\lambda - t}\right)^{\alpha}$ （ $t < \lambda$ ）
ベータ $\operatorname{Beta}(a, b)$	$\frac{x^{a-1}(1-x)^{b-1}}{B(a, b)}$ , $0 < x < 1$	$\frac{a}{a + b}$	$\frac{ab}{(a+b)^2(a+b+1)}$	（一般には初等関数で書けない）
正規 $N(\mu, \sigma^2)$	$\frac{1}{\sqrt{2\pi}\sigma}e^{-(x - \mu)^2/(2\sigma^2)}$	$\mu$	$\sigma^2$	$e^{\mu t + \sigma^2t^2/2}$

二項分布は、成功確率 $p$ の独立な試行を $n$ 回行ったときの成功回数の分布で、購入や不良品の件数の基本モデルである。 $B(1, p)$ をベルヌーイ分布といい、 $B(n, p)$ は $B(1, p)$ に従う $n$ 個の i.i.d. の和の分布だから、平均と分散は命題 1.6・1.8 からわかる。ポアソン分布は、一定時間内のまれな出来事の回数（1 分あたりのアクセス数など）のモデルで、二項分布の極限である。

命題 1.13（ポアソンの少数の法則） $n \to \infty$ のとき $p_n \to 0$ かつ $np_n \to \lambda > 0$ ならば、各 $k \in \mathbb{Z}_{\geq 0}$ について $\binom{n}{k}p_n^k(1 - p_n)^{n-k} \to e^{-\lambda}\lambda^k/k!$ 。

証明. 左辺を $\frac{n(n-1)\cdots(n-k+1)}{n^k} \cdot \frac{(np_n)^k}{k!} \cdot (1 - p_n)^{n-k}$ と分解すると、第 1 因子は $1$ に、第 2 因子は $\lambda^k/k!$ に収束し、 $\log(1 - p) = -p + O(p^2)$ より $(n - k)\log(1 - p_n) \to -\lambda$ である。 $\square$

幾何分布は初めて成功するまでの試行回数の分布で $P(X > k) = (1 - p)^k$ 、指数分布は待ち時間のモデルで $P(X > t) = e^{-\lambda t}$ である。どちらも無記憶性 (memorylessness) $P(X > s + t \mid X > s) = P(X > t)$ をもつ（指数分布なら左辺は $e^{-\lambda(s + t)}/e^{-\lambda s}$ ）。「10 分待ったのだから、そろそろ来るはずだ」は、指数分布に従う待ち時間には当てはまらない。

ガンマ分布は $\alpha = 1$ で指数分布になり、 $n$ 個の独立な $\operatorname{Exp}(\lambda)$ の和は $\operatorname{Gamma}(n, \lambda)$ に従う（系 1.17）。 $y = \lambda x$ と置換すると $E[X^k] = \Gamma(\alpha + k)/(\lambda^k\Gamma(\alpha))$ がわかり、 $\Gamma(s + 1) = s\Gamma(s)$ から表の平均・分散を得る。第2章の $\chi^2$ 分布は $\operatorname{Gamma}(k/2, 1/2)$ である。ベータ分布は割合のモデルで、 $E[X^k] = B(a + k, b)/B(a, b)$ と $B(a + 1, b) = \frac{a}{a + b}B(a, b)$ （01 微分積分学第5章定理 5.24）から表の値を得る。 $U(0, 1) = \operatorname{Beta}(1, 1)$ である。

$N(0, 1)$ を標準正規分布といい、密度を $\phi(z) = e^{-z^2/2}/\sqrt{2\pi}$ 、分布関数を $\Phi$ と書く（ $\int \phi = 1$ はガウス積分、01 微分積分学第9章定理 9.17）。 $Z \sim N(0, 1)$ について $P(\lvert Z \rvert \leq 1) = 0.6827$ 、 $P(\lvert Z \rvert \leq 2) = 0.9545$ 、 $P(\lvert Z \rvert \leq 3) = 0.9973$ である。 $P(Z > z_\alpha) = \alpha$ となる $z_\alpha$ を上側 $\alpha$ 点といい、 $z_{0.05} = 1.645$ 、 $z_{0.025} = 1.960$ 、 $z_{0.005} = 2.576$ である。

ヒント

実務では 同じ名前の分布でも、パラメータの付け方は文献やソフトウェアで異なる。この科目では指数分布・ガンマ分布を率 $\lambda$ で書くが、NumPy の exponential(scale) や gamma(shape, scale) は尺度 $1/\lambda$ を引数にとり、normal(loc, scale) の scale は分散ではなく標準偏差である。幾何分布には「初めて成功するまでの試行回数（1 以上）」と「それまでの失敗回数（0 以上）」の 2 流儀がある（NumPy の geometric は前者）。乱数を生成したら、標本の平均と分散を理論値と比べて確かめるとよい。

1.4 モーメント母関数

定義 1.14（モーメント母関数, moment generating function） $M_X(t) = E[e^{tX}]$ （右辺が有限な $t$ で定義）を $X$ のモーメント母関数という。確率ベクトル $X \in \mathbb{R}^n$ については $M_X(t) = E[e^{t^{\top}X}]$ （ $t \in \mathbb{R}^n$ ）とする。

定理 1.15 ある $\delta > 0$ について、 $\lvert t \rvert < \delta$ （ベクトルなら $\lVert t \rVert < \delta$ ）で $M_X(t) < \infty$ とする。

すべての $k$ で $E[\lvert X \rvert^k] < \infty$ であり、 $\lvert t \rvert < \delta$ で $M_X(t) = \sum_{k=0}^{\infty} E[X^k]t^k/k!$ 。特に $E[X^k] = M_X^{(k)}(0)$ 。

（一意性） $\lvert t \rvert < \delta$ で $M_Y(t) = M_X(t)$ ならば $X \overset{d}{=} Y$ 。確率ベクトルについても同様である。

主張のみとする。1 は $e^{\lvert tx \rvert} \leq e^{tx} + e^{-tx}$ と優収束定理による。2 は、 $M_X$ を複素数の $t$ に拡張すると $\lvert \operatorname{Re} t \rvert < \delta$ で正則になることと一致の定理から特性関数の一致を導き、特性関数の一意性定理（11 確率論第3章系 3.17、多次元は第4章定理 4.15）に帰着させる。

$X$ と $Y$ が独立なら $e^{tX}$ と $e^{tY}$ も独立なので（命題 1.4 の 3）、命題 1.6 の 3 より $M_{X + Y}(t) = M_X(t)M_Y(t)$ である。

例 1.16（正規分布） $Z \sim N(0, 1)$ について、平方完成により

M_Z(t) = \int_{-\infty}^{\infty} e^{tz}\frac{e^{-z^2/2}}{\sqrt{2\pi}}\,dz = e^{t^2/2}\int_{-\infty}^{\infty}\frac{e^{-(z - t)^2/2}}{\sqrt{2\pi}}\,dz = e^{t^2/2}

である。 $e^{t^2/2} = \sum_{k \geq 0} t^{2k}/(2^k k!)$ を定理 1.15 の 1 と比べると、 $E[Z^2] = 1$ 、 $E[Z^4] = 3$ 、奇数次のモーメントは $0$ である。 $X = \mu + \sigma Z$ なら $M_X(t) = e^{\mu t}M_Z(\sigma t) = e^{\mu t + \sigma^2t^2/2}$ で、 $M_X'(0) = \mu$ 、 $M_X''(0) = \sigma^2 + \mu^2$ より $\operatorname{Var}(X) = \sigma^2$ 。

系 1.17（再生性, reproductive property） $X_1, \dots, X_n$ を独立とする。

$X_i \sim N(\mu_i, \sigma_i^2)$ ならば $\sum_i a_iX_i \sim N\left(\sum_i a_i\mu_i, \sum_i a_i^2\sigma_i^2\right)$ （ $a_i$ のどれかは $0$ でない）。

$X_i \sim \operatorname{Po}(\lambda_i)$ ならば $\sum_i X_i \sim \operatorname{Po}\left(\sum_i \lambda_i\right)$ 。 $X_i \sim B(n_i, p)$ ならば $\sum_i X_i \sim B\left(\sum_i n_i, p\right)$ 。

$X_i \sim \operatorname{Gamma}(\alpha_i, \lambda)$ （ $\lambda$ は共通）ならば $\sum_i X_i \sim \operatorname{Gamma}\left(\sum_i \alpha_i, \lambda\right)$ 。

証明. モーメント母関数の積を計算して定理 1.15 の 2 を使う。たとえば 1 では $M_{a_iX_i}(t) = M_{X_i}(a_it) = e^{a_i\mu_it + a_i^2\sigma_i^2t^2/2}$ の積が、3 では $t < \lambda$ での $\prod_i (\lambda/(\lambda - t))^{\alpha_i}$ が、右辺の分布のモーメント母関数である。 $\square$

モーメント母関数は $0$ の近くで有限とは限らない（コーシー分布や、 $\log X \sim N(0, 1)$ となる対数正規分布では $t > 0$ で $M_X(t) = \infty$ ）。このため確率論では、常に存在する特性関数を使う。

1.5 変数変換

定理 1.18（密度の変換公式） $X \in \mathbb{R}^n$ が同時密度 $f_X$ をもち、開集合 $U$ の外で $f_X = 0$ とする。 $\varphi\colon U \to V$ が開集合 $V$ への $C^1$ 級の全単射で、 $U$ 上 $\det D\varphi \neq 0$ ならば、 $Y = \varphi(X)$ は $V$ 上で同時密度 $f_Y(y) = f_X(\varphi^{-1}(y))\lvert \det D\varphi^{-1}(y) \rvert$ をもつ（ $V$ の外では $0$ ）。 $n = 1$ では $\lvert \det D\varphi^{-1}(y) \rvert = \lvert (\varphi^{-1})'(y) \rvert$ である。

証明の方針. $n = 1$ で $U$ が開区間、 $\varphi' > 0$ なら、 $y \in V$ について $F_Y(y) = P(X \leq \varphi^{-1}(y)) = \int_{\inf U}^{\varphi^{-1}(y)} f_X(x)\ dx$ で、 $x = \varphi^{-1}(s)$ と置換すると（01 微分積分学第5章定理 5.14）これは $\int_{\inf V}^{y} f_X(\varphi^{-1}(s))(\varphi^{-1})'(s)\ ds$ に等しい（ $\varphi' < 0$ なら符号が反転する）。一般の $n$ では、逆関数定理（01 微分積分学第8章）より $\varphi^{-1}$ も $C^1$ 級で、変数変換公式（01 微分積分学第9章定理 9.13）を $\varphi^{-1}$ に使うと

P(Y \in D) = \int_{\varphi^{-1}(D)} f_X(x)\,dx = \int_D f_X\bigl(\varphi^{-1}(y)\bigr)\bigl\lvert \det D\varphi^{-1}(y) \bigr\rvert\,dy

となる。定理 9.13 はコンパクトな集合上の連続関数についての定理なので、非有界な集合や区分的に連続な密度への拡張（広義積分による近似）と、区間の直積の上で確率が一致すれば分布が一致すること（11 確率論第1章）が必要になるが、その細部は省略する。 $\square$

例 1.19 (1) $Y = aX + b$ （ $a \neq 0$ ）の密度は $f_X((y - b)/a)/\lvert a \rvert$ 。特に $X \sim N(\mu, \sigma^2)$ と $(X - \mu)/\sigma \sim N(0, 1)$ は同値である（標準化）。

(2) $Z \sim N(0, 1)$ , $Y = Z^2$ とする。 $z \mapsto z^2$ は単射でないが、分布関数を経由すればよい。 $y > 0$ で $F_Y(y) = P(-\sqrt{y} \leq Z \leq \sqrt{y}) = 2\Phi(\sqrt{y}) - 1$ を微分し、 $\Gamma(1/2) = \sqrt{\pi}$ を使うと

f_Y(y) = \frac{\phi(\sqrt{y})}{\sqrt{y}} = \frac{1}{\sqrt{2\pi}}\,y^{-1/2}e^{-y/2} = \frac{(1/2)^{1/2}}{\Gamma(1/2)}\,y^{1/2 - 1}e^{-y/2} \qquad (y > 0)

すなわち $Z^2 \sim \operatorname{Gamma}(1/2, 1/2)$ である。

例 1.20（ガンマ分布とベータ分布） $X \sim \operatorname{Gamma}(a, \lambda)$ , $Y \sim \operatorname{Gamma}(b, \lambda)$ が独立ならば、 $U = X + Y$ と $V = X/(X + Y)$ は独立で、 $U \sim \operatorname{Gamma}(a + b, \lambda)$ , $V \sim \operatorname{Beta}(a, b)$ である。実際、 $\varphi(x, y) = (x + y, x/(x + y))$ は $(0, \infty)^2$ から $(0, \infty) \times (0, 1)$ への全単射で、 $\varphi^{-1}(u, v) = (uv, u(1 - v))$ のヤコビ行列式は $v \cdot (-u) - u(1 - v) = -u$ である。定理 1.18 と $B(a, b) = \Gamma(a)\Gamma(b)/\Gamma(a + b)$ （01 微分積分学第9章定理 9.18）より

f_{U, V}(u, v) = \frac{\lambda^{a+b}(uv)^{a-1}(u(1 - v))^{b-1}e^{-\lambda u}}{\Gamma(a)\Gamma(b)}\,u = \frac{\lambda^{a+b}u^{a+b-1}e^{-\lambda u}}{\Gamma(a + b)} \cdot \frac{v^{a-1}(1 - v)^{b-1}}{B(a, b)}

で、 $\operatorname{Gamma}(a + b, \lambda)$ と $\operatorname{Beta}(a, b)$ の密度の積に分かれるから、命題 1.4 の 2 より主張が従う。これは系 1.17 の 3 の別証明にもなる。第2章では、この例から $F$ 分布の密度を導く。

1.6 多変量正規分布

回帰分析や多変量の推測の多くは、多変量正規分布を土台にしている。ここでは独立な標準正規分布の線形結合として定義する。こうすると、共分散行列が正則でない場合（回帰分析の残差ベクトルなど）も同じ枠組みで扱える。

定義 1.21（多変量正規分布, multivariate normal distribution） $Z_1, \dots, Z_k$ が i.i.d. で $N(0, 1)$ に従うとき、 $Z = (Z_1, \dots, Z_k)^{\top}$ を $k$ 次元の標準正規ベクトルという（同時密度は $(2\pi)^{-k/2}e^{-\lVert z \rVert^2/2}$ ）。確率ベクトル $X \in \mathbb{R}^n$ が多変量正規分布に従うとは、ある $k$ 、 $\mu \in \mathbb{R}^n$ 、 $n \times k$ 行列 $A$ 、 $k$ 次元標準正規ベクトル $Z$ について $X \overset{d}{=} \mu + AZ$ となることをいう。

定理 1.22（多変量正規分布の基本性質） $X \overset{d}{=} \mu + AZ$ を定義 1.21 のとおりとし、 $\Sigma = AA^{\top}$ とおく。

$E[X] = \mu$ 、 $\operatorname{Cov}(X) = \Sigma$ 、 $M_X(t) = \exp\left(t^{\top}\mu + \frac{1}{2}t^{\top}\Sigma t\right)$ （ $t \in \mathbb{R}^n$ ）である。したがって $X$ の分布は $\mu$ と $\Sigma$ だけで決まる。これを $N_n(\mu, \Sigma)$ と書く。任意の $\mu$ と対称な半正定値行列 $\Sigma$ について、 $N_n(\mu, \Sigma)$ に従う確率ベクトルが存在する。

（線形変換） $X \sim N_n(\mu, \Sigma)$ 、 $B$ を $m \times n$ 行列、 $c \in \mathbb{R}^m$ とすると $BX + c \sim N_m(B\mu + c, B\Sigma B^{\top})$ 。

（周辺分布） $X = (X_1^{\top}, \dots, X_m^{\top})^{\top}$ （ $X_i \in \mathbb{R}^{n_i}$ ）とブロックに分け、 $\mu = (\mu_1^{\top}, \dots, \mu_m^{\top})^{\top}$ と $\Sigma$ も対応するブロック $\Sigma_{ij}$ （ $n_i \times n_j$ 行列）に分けると、 $X_i \sim N_{n_i}(\mu_i, \Sigma_{ii})$ 。

（密度） $\Sigma$ が正定値ならば、 $X$ は同時密度

$f(x) = \frac{1}{(2\pi)^{n/2}(\det\Sigma)^{1/2}}\exp\left(-\frac{1}{2}(x - \mu)^{\top}\Sigma^{-1}(x - \mu)\right)$
をもつ。 5. （独立性）3 の分け方について、 $X_1, \dots, X_m$ が独立であることと、 $i \neq j$ のとき $\Sigma_{ij} = O$ であることは同値である。

証明. 1. 命題 1.10 より $E[X] = \mu$ 、 $\operatorname{Cov}(X) = A\operatorname{Cov}(Z)A^{\top} = AA^{\top}$ 。 $s = A^{\top}t$ とおくと、 $Z_j$ の独立性と例 1.16 から $M_X(t) = e^{t^{\top}\mu}\prod_{j} E[e^{s_jZ_j}] = e^{t^{\top}\mu + \lVert s \rVert^2/2} = e^{t^{\top}\mu + t^{\top}\Sigma t/2}$ 。これは $k$ や $A$ のとり方によらないので、定理 1.15 の 2 より分布は $\mu, \Sigma$ だけで決まる。存在は、半正定値行列の平方根 $\Sigma^{1/2}$ （02 線形代数第8章命題 8.15）を使って $X = \mu + \Sigma^{1/2}Z$ とすればよい。

$BX + c \overset{d}{=} (B\mu + c) + (BA)Z$ で、 $(BA)(BA)^{\top} = B\Sigma B^{\top}$ 。 3. 2 で $B$ を $X$ から $X_i$ を取り出す行列 $(O\ \cdots\ I\ \cdots\ O)$ とする。
1 より $X \overset{d}{=} \mu + \Sigma^{1/2}Z$ （ $Z$ は $n$ 次元）としてよい。 $\Sigma^{1/2}$ は正則で、 $z \mapsto \mu + \Sigma^{1/2}z$ の逆写像 $x \mapsto \Sigma^{-1/2}(x - \mu)$ のヤコビ行列式は $(\det\Sigma)^{-1/2}$ である。定理 1.18 と $\lVert \Sigma^{-1/2}(x - \mu) \rVert^2 = (x - \mu)^{\top}\Sigma^{-1}(x - \mu)$ から従う。
独立なら無相関なので $\Sigma_{ij} = O$ （ $i \neq j$ ）。逆を示す。独立な標準正規ベクトル $Z_i \in \mathbb{R}^{n_i}$ （ $i = 1, \dots, m$ ）について $Y_i = \mu_i + \Sigma_{ii}^{1/2}Z_i$ とおくと、 $Y_1, \dots, Y_m$ は独立で（命題 1.4 の 3）、 $(Y_1^{\top}, \dots, Y_m^{\top})^{\top}$ は平均 $\mu$ 、共分散行列 $\operatorname{diag}(\Sigma_{11}, \dots, \Sigma_{mm})$ の多変量正規分布に従う。仮定よりこの行列は $\Sigma$ に等しいので、1 よりこれは $X$ と同じ分布である。独立性は同時分布だけで決まる性質なので（定義 1.3）、 $X_1, \dots, X_m$ も独立である。 $\square$

特に、 $N_n(\mu, \Sigma)$ の各成分は正規分布に従い、 $\Sigma$ が対角行列なら $n$ 個の成分は独立である（5 で $m = n$ とする）。

定理 1.23（条件付き分布） $X \sim N_n(\mu, \Sigma)$ を定理 1.22 の 3 のように 2 つのブロック $X_1, X_2$ に分け、 $\Sigma_{11}$ は正則とする。 $B = \Sigma_{21}\Sigma_{11}^{-1}$ 、 $\Sigma_{22 \cdot 1} = \Sigma_{22} - \Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12}$ とおく。

$W = X_2 - BX_1$ は $X_1$ と独立で、 $W \sim N_{n_2}(\mu_2 - B\mu_1, \Sigma_{22 \cdot 1})$ である。

$\Sigma$ が正定値ならば、 $X_1 = x_1$ が与えられたときの $X_2$ の条件付き密度は $N_{n_2}\bigl(\mu_2 + \Sigma_{21}\Sigma_{11}^{-1}(x_1 - \mu_1),\ \Sigma_{22 \cdot 1}\bigr)$ の密度である。

証明. 1. 次の $M$ について $(X_1^{\top}, W^{\top})^{\top} = MX$ だから、定理 1.22 の 2 より $(X_1, W)$ は多変量正規分布に従う。 $\Sigma_{11}$ の対称性から $B^{\top} = \Sigma_{11}^{-1}\Sigma_{12}$ なので

M = \begin{pmatrix} I & O \\ -B & I \end{pmatrix}, \qquad M\Sigma M^{\top} = \begin{pmatrix} \Sigma_{11} & \Sigma_{12} - \Sigma_{11}B^{\top} \\ \Sigma_{21} - B\Sigma_{11} & \Sigma_{22} - B\Sigma_{12} - \Sigma_{21}B^{\top} + B\Sigma_{11}B^{\top} \end{pmatrix} = \begin{pmatrix} \Sigma_{11} & O \\ O & \Sigma_{22 \cdot 1} \end{pmatrix}

となる。定理 1.22 の 5 より $X_1$ と $W$ は独立で、 $E[W] = \mu_2 - B\mu_1$ である。

$M$ は正則なので、 $\Sigma$ が正定値なら $M\Sigma M^{\top}$ も正定値で、 $\Sigma_{11}$ , $\Sigma_{22 \cdot 1}$ は正定値である。よって $X_1$ , $W$ は密度 $f_1$ , $g$ をもち（定理 1.22 の 4）、 $(X_1, W)$ の同時密度は $f_1(x_1)g(w)$ である（命題 1.4 の 2）。 $(x_1, x_2) \mapsto (x_1, x_2 - Bx_1)$ のヤコビ行列式は $1$ だから、定理 1.18 より $X$ の同時密度は $f_1(x_1)g(x_2 - Bx_1)$ で、条件付き密度は $g(x_2 - Bx_1)$ 、すなわち $N_{n_2}(\mu_2 - B\mu_1 + Bx_1, \Sigma_{22 \cdot 1})$ の密度である。 $\square$

条件付き期待値は $x_1$ の一次関数で、条件付き共分散行列は $x_1$ によらない。これが、正規分布のもとで線形回帰（第5章）が自然なモデルになる理由の一つである。

例 1.24（平均への回帰） $(X, Y)$ が 2 変量正規分布に従い、平均 $\mu_X, \mu_Y$ 、標準偏差 $\sigma_X, \sigma_Y > 0$ 、相関係数 $\rho$ （ $\lvert \rho \rvert < 1$ ）をもつとすると、定理 1.23 より

Y \mid X = x \ \sim\ N\left(\mu_Y + \rho\frac{\sigma_Y}{\sigma_X}(x - \mu_X),\ \sigma_Y^2(1 - \rho^2)\right)

である。2 回のテストの点数 $X, Y$ がともに平均 60、標準偏差 10、 $\rho = 0.6$ なら、1 回目に 80 点だった人の 2 回目の点数は $N(72, 8^2)$ に従い、2 回目も 80 点以上である確率は $P(Z \geq 1) = 0.159$ にすぎない。平均すると 72 点に「戻る」。これを平均への回帰 (regression toward the mean) という。2 回目に 80 点だった人の 1 回目の平均も 72 点であり、因果ではなく、相関が 1 未満であることの帰結である。

注意

「各成分が正規分布に従い、無相関ならば独立」は誤りである。定理 1.22 の 5 は、ベクトル全体が多変量正規分布に従うときにだけ使える（反例は 11 確率論第4章例 4.18：成分はどちらも $N(0, 1)$ に従い無相関だが、絶対値が等しい）。

ヒント

実務では 「前期に成績の悪かった店舗だけを選んで改善策を実施したら、今期は成績が上がった」という分析は、平均への回帰だけで説明できることがある。選ばれた時点の成績が偶然悪かった分は、何もしなくても次の期には平均の側に戻るからである。効果を測るには、同じ基準で選んだ店舗を無作為に実施群と対照群に分けて比べる必要がある（第8章）。

1.7 不等式と極限定理

定理 1.25（マルコフの不等式・チェビシェフの不等式）

$X \geq 0$ かつ $a > 0$ ならば $P(X \geq a) \leq E[X]/a$ 。

$E[X^2] < \infty$ かつ $a > 0$ ならば $P(\lvert X - E[X] \rvert \geq a) \leq \operatorname{Var}(X)/a^2$ 。

証明. 1. $A = \lbrace X \geq a \rbrace$ とすると、各 $\omega$ で $X(\omega) \geq a\mathbf{1}_A(\omega)$ だから、命題 1.6 の 2 と $E[\mathbf{1}_A] = P(A)$ より $E[X] \geq aP(A)$ 。2. $\lbrace \lvert X - E[X] \rvert \geq a \rbrace = \lbrace (X - E[X])^2 \geq a^2 \rbrace$ に 1 を使う。 $\square$

チェビシェフの不等式は分散が有限なすべての分布で成り立つ代わりに粗い。標準偏差を $\sigma$ とすると $P(\lvert X - E[X] \rvert \geq k\sigma) \leq 1/k^2$ は $k = 2, 3$ で $0.25$ , $0.111$ だが、正規分布では $0.0455$ , $0.0027$ である。

定義 1.26（確率収束・分布収束）

任意の $\varepsilon > 0$ で $P(\lvert X_n - X \rvert > \varepsilon) \to 0$ となるとき、 $X_n$ は $X$ （定数でもよい）に確率収束するといい、 $X_n \xrightarrow{P} X$ と書く。

$X$ の分布関数 $F$ の連続点 $x$ すべてで $F_{X_n}(x) \to F(x)$ となるとき、 $X_n$ は $X$ に分布収束するといい、 $X_n \xrightarrow{d} X$ と書く。極限の分布を書いて $X_n \xrightarrow{d} N(0, 1)$ のようにも書く。

確率ベクトルの分布収束は、すべての有界連続関数 $g$ で $E[g(X_n)] \to E[g(X)]$ となることで定める（1 次元では 2 と同値。11 確率論第3章定理 3.6）。以下 $\bar{X}_n = \frac{1}{n}\sum_{i=1}^{n}X_i$ と書く。

定理 1.27（大数の法則, law of large numbers）

$X_1, X_2, \dots$ が互いに無相関で $E[X_i] = \mu$ 、 $\operatorname{Var}(X_i) = \sigma^2 < \infty$ ならば、 $\bar{X}_n \xrightarrow{P} \mu$ 。

$X_1, X_2, \dots$ が i.i.d. で $E[\lvert X_1 \rvert] < \infty$ ならば、 $\mu = E[X_1]$ について $\bar{X}_n \xrightarrow{P} \mu$ （弱法則）であり、さらに確率 $1$ で $\bar{X}_n \to \mu$ となる（強法則）。

証明. 1 だけを示す。 $E[\bar{X}_n] = \mu$ 、 $\operatorname{Var}(\bar{X}_n) = \sigma^2/n$ （命題 1.8 の 3）なので、チェビシェフの不等式から $P(\lvert \bar{X}_n - \mu \rvert \geq \varepsilon) \leq \sigma^2/(n\varepsilon^2) \to 0$ 。2 の証明は 11 確率論第2章定理 2.4・定理 2.7 にある。 $\square$

定理 1.28（中心極限定理, central limit theorem） $X_1, X_2, \dots$ が i.i.d. で $E[X_1] = \mu$ 、 $\operatorname{Var}(X_1) = \sigma^2 \in (0, \infty)$ ならば、 $\sqrt{n}(\bar{X}_n - \mu)/\sigma \xrightarrow{d} N(0, 1)$ 、すなわちすべての $x$ で $P\bigl(\sqrt{n}(\bar{X}_n - \mu)/\sigma \leq x\bigr) \to \Phi(x)$ 。確率ベクトル $X_i \in \mathbb{R}^d$ が i.i.d. で平均 $\mu$ 、共分散行列 $\Sigma$ をもつ（各成分の分散が有限）ならば、 $\sqrt{n}(\bar{X}_n - \mu) \xrightarrow{d} N_d(0, \Sigma)$ 。

主張のみとする（証明は 11 確率論第4章定理 4.3・定理 4.21）。仮定は i.i.d. と分散の有限性だけで、分布の形は問わない。

定理 1.29（スルツキーの定理, Slutsky's theorem） $X_n \xrightarrow{d} X$ かつ $Y_n \xrightarrow{P} c$ （定数）ならば、 $X_n + Y_n \xrightarrow{d} X + c$ 、 $Y_nX_n \xrightarrow{d} cX$ であり、 $c \neq 0$ なら $X_n/Y_n \xrightarrow{d} X/c$ である。また $g$ が連続ならば $g(X_n) \xrightarrow{d} g(X)$ 、 $g(Y_n) \xrightarrow{P} g(c)$ である（連続写像定理）。

主張のみとする（和の場合は 11 確率論第3章問題 3.3、連続写像定理は同章系 3.7）。

例 1.30（A/B テストの揺らぎ）冒頭の例で、A と B の真の購入率がともに $p = 0.0225$ だとする。各訪問者の購入の有無を $B(1, p)$ に従う独立な確率変数とみると、購入率の差 $\hat{p}_B - \hat{p}_A$ の平均は $0$ 、標準偏差は $\sqrt{2p(1 - p)/10000} \approx 0.0021$ である。中心極限定理により差はおよそ正規分布に従うので、真の購入率が等しくても、観測された 0.003（標準偏差の約 1.43 倍）以上の差が生じる確率は $P(\lvert Z \rvert \geq 1.43) \approx 0.15$ である。この程度の差は偶然でも珍しくない。この推論を検定として定式化するのは第4章である。

注意

「 $n \geq 30$ なら正規近似してよい」は定理ではなく経験則である。ベリー–エシーンの定理（11 確率論第4章定理 4.23）は、有限の $n$ での分布関数の誤差を $CE[\lvert X_1 - \mu \rvert^3]/(\sigma^3\sqrt{n})$ （ $C$ は分布によらない定数）で抑える。この上界は分布の歪みや裾の重さとともに大きくなり、実際の誤差もそうなりやすい。 $X_i \sim \operatorname{Exp}(1)$ 、 $n = 30$ では、 $\bar{X}_n$ が平均から標準偏差の 2 倍以上上にずれる確率は $0.0316$ 、下にずれる確率は $0.0122$ で（系 1.17 よりガンマ分布で正確に計算できる）、正規近似の $0.0228$ から上下逆向きにずれる。 $S \sim B(100, 0.01)$ では $P(S \geq 4) = 0.0184$ だが、半整数補正をした正規近似は $0.0060$ で、ポアソン近似の $0.0190$ のほうがずっとよい。分散が無限大なら定理 1.28 は使えない。極端な例がコーシー分布（平均も存在しない）で、その i.i.d. 列では $\bar{X}_n$ は $n$ によらず $X_1$ と同じ分布に従い、いくら $n$ を増やしても定数にも正規分布にも近づかない（11 確率論第3章問題 3.4）。

定理 1.31（デルタ法, delta method） $\sqrt{n}(T_n - \theta) \xrightarrow{d} N(0, \sigma^2)$ とし、関数 $g$ は $\theta$ で微分可能とする。このとき $\sqrt{n}\bigl(g(T_n) - g(\theta)\bigr) \xrightarrow{d} N\bigl(0, g'(\theta)^2\sigma^2\bigr)$ である（ $N(0, 0)$ は $0$ に集中した分布と約束する）。

証明. スルツキーの定理を認めて示す。 $h(x) = (g(x) - g(\theta))/(x - \theta)$ （ $x \neq \theta$ ）、 $h(\theta) = g'(\theta)$ とおくと、 $h$ は $\theta$ で連続で、すべての $x$ で $g(x) - g(\theta) = h(x)(x - \theta)$ である。スルツキーの定理より $T_n - \theta = n^{-1/2} \cdot \sqrt{n}(T_n - \theta) \xrightarrow{d} 0$ で、定数への分布収束は確率収束と同値だから（11 確率論第3章定理 3.2）、 $T_n \xrightarrow{P} \theta$ 。 $h$ の連続性から $h(T_n) \xrightarrow{P} g'(\theta)$ （ $\lvert x - \theta \rvert < \eta$ で $\lvert h(x) - g'(\theta) \rvert < \varepsilon$ となる $\eta$ をとればよい）。再びスルツキーの定理より $\sqrt{n}(g(T_n) - g(\theta)) = h(T_n) \cdot \sqrt{n}(T_n - \theta) \xrightarrow{d} g'(\theta)N(0, \sigma^2)$ 。 $\square$

たとえば $X_i \sim \operatorname{Exp}(\lambda)$ i.i.d. なら、中心極限定理と $g(m) = 1/m$ から $\sqrt{n}(1/\bar{X}_n - \lambda) \xrightarrow{d} N(0, \lambda^2)$ となる。確率ベクトル版（多変量デルタ法）では、 $\sqrt{n}(T_n - \theta) \xrightarrow{d} N_k(0, \Sigma)$ で $g\colon \mathbb{R}^k \to \mathbb{R}^m$ が $\theta$ で微分可能なら、ヤコビ行列 $J = Dg(\theta)$ について $\sqrt{n}(g(T_n) - g(\theta)) \xrightarrow{d} N_m(0, J\Sigma J^{\top})$ となる（証明は同様）。A/B テストの改善率 $\hat{p}_B/\hat{p}_A - 1$ のような比の標準誤差の計算に使われる。

まとめ

分布は、離散型なら確率関数、連続型なら密度で与えられる。密度の値は確率ではなく、 $P(x < X \leq x + h) \approx f(x)h$ と読む。
期待値は線形で、独立なら積の期待値は期待値の積になる。独立なら無相関だが逆は成り立たない。共分散行列は $\operatorname{Cov}(BX + c) = B\operatorname{Cov}(X)B^{\top}$ と変換される半正定値行列である。
主要な分布の平均・分散・モーメント母関数を表にした。ポアソン分布は二項分布の極限、指数分布の和はガンマ分布、ガンマ分布の比からベータ分布が得られる。モーメント母関数は $0$ の近くで有限なら分布を決める。
多変量正規分布は平均と共分散行列で決まり、線形変換と周辺化で閉じている。成分の組が独立であることと共分散が $O$ であることは同値で、条件付き分布は $N(\mu_2 + \Sigma_{21}\Sigma_{11}^{-1}(x_1 - \mu_1), \Sigma_{22} - \Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12})$ である。平均への回帰はここから生じ、効果と取り違えやすい。
チェビシェフの不等式は分散だけから確率を評価する。大数の法則と中心極限定理は i.i.d. と有限の平均・分散を仮定する。正規近似の精度は分布の歪みと裾に依存し、「 $n \geq 30$ 」は経験則にすぎない。
デルタ法は、推定量の滑らかな関数の漸近分布を一次近似から求める。

演習問題

問題 1.1 ★ 3 台のサーバーが故障するまでの時間 $X_1, X_2, X_3$ （単位は時間）は独立で、 $X_i \sim \operatorname{Exp}(\lambda_i)$ 、 $\lambda_1 = 0.001$ 、 $\lambda_2 = \lambda_3 = 0.002$ とする。(1) 最初の故障までの時間 $M = \min(X_1, X_2, X_3)$ の分布と平均を求めよ。(2) 最初に故障するのがサーバー 1 である確率を求めよ。

解答

(1) $t \geq 0$ で $P(M > t) = \prod_i P(X_i > t) = e^{-0.005t}$ なので $M \sim \operatorname{Exp}(0.005)$ 、平均 200 時間。

(2) (1) と同様に $Y = \min(X_2, X_3) \sim \operatorname{Exp}(\nu)$ 、 $\nu = 0.004$ で、 $Y$ は $X_1$ と独立である（命題 1.4 の 3）。よって

P(X_1 < Y) = \int_0^{\infty}\lambda_1e^{-\lambda_1x}P(Y > x)\,dx = \int_0^{\infty}\lambda_1e^{-(\lambda_1 + \nu)x}\,dx = \frac{\lambda_1}{\lambda_1 + \nu} = 0.2

問題 1.2 ★ ある機能を使う顧客の割合 $p$ を、無作為に選んだ $n$ 人での割合 $\hat{p} = \bar{X}_n$ （ $X_i \sim B(1, p)$ i.i.d.）で推定し、 $P(\lvert \hat{p} - p \rvert \geq 0.01) \leq 0.05$ としたい。(1) チェビシェフの不等式を使うと、 $p$ によらず何人あれば十分か。(2) 中心極限定理による正規近似では何人か。(3) 両者の違いを説明せよ。

解答

$\operatorname{Var}(\hat{p}) = p(1 - p)/n \leq 1/(4n)$ である。(1) $P(\lvert \hat{p} - p \rvert \geq 0.01) \leq \frac{1}{4n \cdot 0.01^2} = \frac{2500}{n}$ なので $n \geq 50000$ で十分。(2) $P(\lvert \hat{p} - p \rvert \geq 0.01) \approx P\bigl(\lvert Z \rvert \geq 0.01\sqrt{n/(p(1 - p))}\bigr) \leq P(\lvert Z \rvert \geq 0.02\sqrt{n})$ で、 $0.02\sqrt{n} \geq 1.960$ 、すなわち $n \geq 9604$ 。(3) チェビシェフの不等式は分散が同じすべての分布で成り立つ保証なので、正規分布に近い場合には 5 倍以上も過大になる。正規近似は $n \to \infty$ の極限にもとづく近似で保証ではないが、 $p$ が $0$ や $1$ に近すぎなければ、この規模の二項分布では十分よい。

問題 1.3 ★★ ある装置で測定した $n = 10000$ 個の値 $X_1, \dots, X_n$ は、どれも平均 $\mu$ 、分散 $1$ をもつが、装置の日ごとの癖のため、どの 2 つの相関係数も $\rho = 0.05$ である。分析者は「標本平均の標準誤差は $1/\sqrt{n} = 0.01$ だから、 $\mu$ は非常に精密に推定できている」と報告した。この結論は正しいか。 $\operatorname{Var}(\bar{X}_n)$ を計算し、 $n \to \infty$ としたときのふるまいも調べよ。

解答

正しくない。命題 1.8 の 3 より $\operatorname{Var}(\bar{X}_n) = \frac{1}{n^2}\bigl(n + n(n - 1)\rho\bigr) = \frac{1 + (n - 1)\rho}{n}$ で、 $n = 10000$ では $0.050095$ 、標準誤差は約 $0.224$ と報告の 22 倍になる。 $n \to \infty$ でも $\operatorname{Var}(\bar{X}_n) \to \rho = 0.05$ で、標準誤差は $0.224$ より小さくならない。すべての測定値に共通する成分（装置の癖）は平均しても消えないからである。この $n$ 個は、独立な測定値 $n/(1 + (n - 1)\rho) \approx 20$ 個ぶんの情報しかもたない。 $1/\sqrt{n}$ の公式は無相関を仮定しており、同じ装置・同じ利用者・同じ日のデータのような相関のあるデータに使うと、精度を大きく過大評価する。

問題 1.4 ★★ $X = (X_1, X_2, X_3)^{\top} \sim N_3(\mu, \Sigma)$ とし、 $\mu$ と $\Sigma$ は下のとおりとする。(1) $X_2 = x_2$ が与えられたときの $X_3$ の条件付き分布を求めよ。(2) $(X_1, X_2) = (x_1, x_2)$ が与えられたときの $X_3$ の条件付き分布を求めよ。(3) $X_2$ と $X_3$ は相関しているのに、(2) の条件付き平均が $x_2$ によらないのはなぜか。 $X_1 = x_1$ を与えたときの $(X_2, X_3)$ の条件付き共分散行列を計算して説明せよ。

\mu = \begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix}, \qquad \Sigma = \begin{pmatrix} 4 & 2 & 2 \\ 2 & 3 & 1 \\ 2 & 1 & 2 \end{pmatrix}

解答

首座小行列式は $4, 8, 8$ なので $\Sigma$ は正定値である（02 線形代数第8章定理 8.13）。

(1) 例 1.24 の形で、 $\operatorname{Cov}(X_2, X_3) = 1$ 、 $\operatorname{Var}(X_2) = 3$ より $X_3 \mid X_2 = x_2 \sim N\left(3 + \frac{x_2 - 2}{3},\ 2 - \frac{1}{3}\right) = N\left(3 + \frac{x_2 - 2}{3},\ \frac{5}{3}\right)$ 。

(2) 定理 1.23 で、

\Sigma_{11} = \begin{pmatrix} 4 & 2 \\ 2 & 3 \end{pmatrix}, \quad \Sigma_{11}^{-1} = \frac{1}{8}\begin{pmatrix} 3 & -2 \\ -2 & 4 \end{pmatrix}, \quad B = (2\ \ 1)\,\Sigma_{11}^{-1} = \left(\frac{1}{2}\ \ 0\right)

$\Sigma_{22 \cdot 1} = 2 - B\Sigma_{12} = 2 - 1 = 1$ なので、 $X_3 \mid (X_1, X_2) = (x_1, x_2) \sim N\left(3 + \frac{x_1 - 1}{2},\ 1\right)$ で、 $x_2$ によらない。

(3) 定理 1.23 を $X_1$ と $(X_2, X_3)$ の分け方で使うと、条件付き共分散行列は

\begin{pmatrix} 3 & 1 \\ 1 & 2 \end{pmatrix} - \frac{1}{4}\begin{pmatrix} 2 \\ 2 \end{pmatrix}\begin{pmatrix} 2 & 2 \end{pmatrix} = \begin{pmatrix} 2 & 0 \\ 0 & 1 \end{pmatrix}

で対角行列だから、 $X_1$ を与えると $X_2$ と $X_3$ は独立になる（定理 1.23 の 1 の $W$ に定理 1.22 の 5 を使う）。 $X_2$ と $X_3$ の相関は、両方が $X_1$ と相関していることだけから生じている。たとえば $X_1$ を気温、 $X_2$ をアイスクリームの売上、 $X_3$ を熱中症の救急搬送の件数と考えるとよい。これは交絡の典型的な構造であり、第8章で扱う。

問題 1.5 ★★ $X_1, X_2, \dots$ を $\operatorname{Po}(\lambda)$ に従う i.i.d. とする。(1) $\sqrt{n}(\bar{X}_n - \lambda)$ と $\sqrt{n}\bigl(\sqrt{\bar{X}_n} - \sqrt{\lambda}\bigr)$ の極限分布を求めよ。(2) 平方根をとると何がうれしいか説明せよ。

解答

(1) $\operatorname{Var}(X_1) = \lambda$ （1.3 節の表）なので、中心極限定理より $\sqrt{n}(\bar{X}_n - \lambda) \xrightarrow{d} N(0, \lambda)$ 。 $g(x) = \sqrt{x}$ は $g'(\lambda) = 1/(2\sqrt{\lambda})$ をみたすので、デルタ法より $\sqrt{n}(\sqrt{\bar{X}_n} - \sqrt{\lambda}) \xrightarrow{d} N(0, 1/4)$ 。

(2) $\bar{X}_n$ の漸近分散 $\lambda/n$ は未知の $\lambda$ に依存するが、 $\sqrt{\bar{X}_n}$ の漸近分散 $1/(4n)$ は $\lambda$ によらない（分散安定化変換）。たとえば $P\bigl(\lvert \sqrt{\bar{X}_n} - \sqrt{\lambda} \rvert \leq 1.96/(2\sqrt{n})\bigr) \approx 0.95$ が $\lambda$ を知らなくても使え、区間推定（第4章）や、件数データのばらつきをそろえて比べるときに役立つ。

問題 1.6 ★★ Web サーバーの応答時間を大量に測ったところ、平均 200 ミリ秒、標準偏差 300 ミリ秒だった。分析者は「応答時間が $N(200, 300^2)$ に従うとすると、1000 ミリ秒を超える確率は $P(Z > 2.67) \approx 0.4$ % だから、遅い応答はほとんど起きない」と結論した。(1) この推論の問題点を指摘せよ。(2) 平均と標準偏差だけから、チェビシェフの不等式で何が言えるか。(3) 応答時間 $X$ が平均と標準偏差の同じ対数正規分布（ $\log X \sim N(m, s^2)$ ）に従う場合の $P(X > 1000)$ を求めよ。

解答

(1) 中心極限定理は平均の分布についての定理で、個々の観測値が正規分布に従う根拠にはならない。しかも $N(200, 300^2)$ では $P(X < 0) = \Phi(-0.67) \approx 0.25$ で、応答時間が負になる確率が 25 % もある。正の値しかとらないのに標準偏差が平均より大きいことは、分布が右に大きく歪んでいることを示している。

(2) $P(X \geq 1000) \leq P(\lvert X - 200 \rvert \geq 800) \leq 300^2/800^2 \approx 0.14$ 。チェビシェフの不等式から言えるのは「14 % 以下」ということだけである。逆に、 $87.5$ と $1000$ にそれぞれ確率 $64/73$ 、 $9/73$ を置く 2 点分布は、 $E[X] = 200$ 、 $E[X^2] = 130000$ より平均 $200$ 、標準偏差 $300$ をもち、 $P(X \geq 1000) = 9/73 \approx 0.12$ である。平均と標準偏差しかわからなければ、遅い応答が 1 割を超える可能性も否定できない。

(3) $Y = \log X$ とすると、例 1.16 より $E[X] = M_Y(1) = e^{m + s^2/2}$ 、 $E[X^2] = M_Y(2) = e^{2m + 2s^2}$ なので $\operatorname{Var}(X)/E[X]^2 = e^{s^2} - 1 = (300/200)^2$ 。よって $s^2 = \log 3.25 \approx 1.179$ 、 $s \approx 1.086$ 、 $m = \log 200 - s^2/2 \approx 4.709$ で、 $P(X > 1000) = P\bigl(Z > (\log 1000 - m)/s\bigr) \approx P(Z > 2.03) \approx 0.021$ 。分析者の値の 5 倍以上である。遅い応答の頻度を知るには、平均と標準偏差ではなく分布の裾（たとえば観測値の 99 % 点）を直接見るべきである。