第2章標本と標本分布（統計学） | Lemma

この章の目標

母集団・無作為標本・統計量・標本分布を確率モデルとして説明でき、不偏分散がなぜ $n - 1$ で割るのかを証明できる

正規母集団で $\bar{X}$ と $S^2$ が独立であり、 $(n-1)S^2/\sigma^2 \sim \chi^2(n-1)$ となることを、直交変換を使って証明できる

$\chi^2$ 分布・ $t$ 分布・ $F$ 分布の密度を導出し、上側 $\alpha$ 点を使える

順序統計量の分布と分位点の性質を導き、経験分布関数とグリヴェンコ–カンテリの定理の意味を説明できる

ブートストラップの考え方と、それが使える条件・失敗する場面を説明できる

前提：第1章、02 線形代数第7章

ある製品の重さを 10 個測ったら、平均が 501.3 g だった。製造工程の本当の平均は 500 g からずれているのだろうか。測り直せば、別の 10 個の平均は別の値になる。データから計算した量（統計量）が、標本をとり直すたびにどれくらい揺らぐかを表すのが標本分布である。標本分布がわかれば、「501.3 g は偶然の揺らぎで説明できる値か」を評価できる（第3章・第4章）。

母集団が正規分布なら、標本平均と不偏分散の標本分布は $\chi^2$ 分布・ $t$ 分布・ $F$ 分布を使って正確に求まる。その鍵は、標本を $\mathbb{R}^n$ のベクトルとみて直交変換することである。正規分布を仮定できないときは、第1章の極限定理と、データから標本分布を直接まねるブートストラップを使う。

2.1 母集団・標本・統計量

定義 2.1（無作為標本・統計量）分布 $F$ に従う i.i.d. の確率変数 $X_1, \dots, X_n$ を、母集団分布 (population distribution) $F$ からの大きさ $n$ の無作為標本 (random sample) という。標本の関数で未知のパラメータを含まないもの $T = t(X_1, \dots, X_n)$ を統計量 (statistic)、その分布を標本分布 (sampling distribution)、その標準偏差を標準誤差 (standard error) という。

データ $x_1, \dots, x_n$ は無作為標本の実現値で、 $t(x_1, \dots, x_n)$ は統計量の実現値である。標本分布は「同じ方法で標本をとり直したら $T$ がどう散らばるか」を表す。

有限個 $N$ の対象から $n$ 個を非復元で抽出する場合、 $X_i$ は独立でない。母集団の分散を $\sigma^2$ （ $N$ で割ったもの）とすると $\operatorname{Var}(\bar{X}) = \frac{\sigma^2}{n} \cdot \frac{N - n}{N - 1}$ となり、 $n$ が $N$ に比べて小さければ i.i.d. の場合とほぼ同じである。一方、時系列データ（隣り合う値の相関）、同じ顧客の繰り返しの購買（顧客ごとのかたまり）、回答した人だけのデータ（選択の偏り）では、無作為標本の仮定そのものが崩れる。本章の結果はすべてこの仮定に依存している（第1章問題 1.3 を参照）。

2.2 標本平均と不偏分散

定義 2.2 $n \geq 2$ とする。 $\bar{X} = \frac{1}{n}\sum_{i=1}^{n}X_i$ を標本平均 (sample mean)、
$S^2 = \frac{1}{n - 1}\sum_{i=1}^{n}(X_i - \bar{X})^2$
を不偏分散 (unbiased sample variance)、 $S = \sqrt{S^2}$ を標本標準偏差という。 $n$ で割った $\frac{1}{n}\sum_i (X_i - \bar{X})^2$ は標本分散と呼んで区別する（本によっては $S^2$ を標本分散と呼ぶ）。

定理 2.3（不偏性） $X_1, \dots, X_n$ が i.i.d. で、平均 $\mu$ 、分散 $\sigma^2 < \infty$ ならば
$E[\bar{X}] = \mu, \qquad \operatorname{Var}(\bar{X}) = \frac{\sigma^2}{n}, \qquad E[S^2] = \sigma^2$

証明. 前の 2 つは第1章命題 1.6・1.8 による。 $X_i - \mu = (X_i - \bar{X}) + (\bar{X} - \mu)$ を 2 乗して和をとると、 $\sum_i (X_i - \bar{X}) = 0$ より交差項が消えて

\sum_{i=1}^{n}(X_i - \bar{X})^2 = \sum_{i=1}^{n}(X_i - \mu)^2 - n(\bar{X} - \mu)^2

となる。期待値をとると $n\sigma^2 - n \cdot \sigma^2/n = (n - 1)\sigma^2$ 。 $\square$

証明に使ったのは $X_i$ が無相関で平均と分散が共通であることだけである。 $\bar{X}$ は $\sum_i (X_i - a)^2$ を最小にする $a$ なので、 $\sum_i (X_i - \bar{X})^2$ は $\sum_i (X_i - \mu)^2$ 以下であり、 $n$ で割った標本分散の期待値は $(n - 1)\sigma^2/n$ と小さめになる。 $n - 1$ で割るのはこの偏りをちょうど打ち消すためである。ただし $E[S] = \sigma$ とは限らない。 $E[S]^2 \leq E[S^2] = \sigma^2$ で、等号は $\operatorname{Var}(S) = 0$ のときに限るので、普通は $E[S] < \sigma$ である（問題 2.1）。

命題 2.4（一致性） $X_i$ が i.i.d. で $E[X_1^2] < \infty$ ならば、 $\bar{X} \xrightarrow{P} \mu$ 、 $S^2 \xrightarrow{P} \sigma^2$ 、 $S \xrightarrow{P} \sigma$ である（ $n \to \infty$ ）。

証明. $S^2 = \frac{n}{n - 1}\left(\frac{1}{n}\sum_i X_i^2 - \bar{X}^2\right)$ で、大数の法則（第1章定理 1.27）を $X_i$ と $X_i^2$ に使うと $\bar{X} \xrightarrow{P} \mu$ 、 $\frac{1}{n}\sum_i X_i^2 \xrightarrow{P} E[X_1^2]$ 。連続写像定理（第1章定理 1.29）より $S^2 \xrightarrow{P} E[X_1^2] - \mu^2 = \sigma^2$ 、 $S \xrightarrow{P} \sigma$ 。 $\square$

ヒント

実務では 「分散」「分位点」はソフトウェアによって定義が違う。NumPy の np.var と np.std は既定で $n$ で割り（ddof=0）、pandas の var と std は既定で $n - 1$ で割る（ddof=1）。たとえばデータ $2, 4, 4, 5, 10$ では np.var は $7.2$ 、np.var(x, ddof=1) は $9.0$ である。分位点も、 $1, 2, 3, 4$ の 25 % 点は np.quantile の既定（線形補間）では $1.75$ 、method="inverted_cdf"（2.7 節の $F_n^{-1}$ ）では $1$ になる。小さな標本や裾の分位点では差が無視できないので、使った定義を明記するとよい。

2.3 $\chi^2$ 分布

定義 2.5（ $\chi^2$ 分布）確率変数 $Z_1, \dots, Z_k$ が i.i.d. で $N(0, 1)$ に従うとき、 $V = Z_1^2 + \cdots + Z_k^2$ の分布を自由度 $k$ のカイ二乗分布 (chi-squared distribution) といい、 $\chi^2(k)$ と書く。

定理 2.6 $\chi^2(k) = \operatorname{Gamma}(k/2, 1/2)$ であり、密度は
$f_k(v) = \frac{1}{2^{k/2}\Gamma(k/2)}\,v^{k/2 - 1}e^{-v/2} \qquad (v > 0)$
である。 $V \sim \chi^2(k)$ ならば $E[V] = k$ 、 $\operatorname{Var}(V) = 2k$ 。独立な $V_1 \sim \chi^2(k)$ , $V_2 \sim \chi^2(l)$ について $V_1 + V_2 \sim \chi^2(k + l)$ 。

証明. 第1章例 1.19 (2) より $Z_i^2 \sim \operatorname{Gamma}(1/2, 1/2)$ で、 $Z_1^2, \dots, Z_k^2$ は独立だから（第1章命題 1.4）、第1章系 1.17 の 3 より $V \sim \operatorname{Gamma}(k/2, 1/2)$ 。密度・平均・分散は第1章 1.3 節の表で $\alpha = k/2$ , $\lambda = 1/2$ とすればよい。最後の主張も同じ系による。 $\square$

確率変数 $W$ について $P(W > w_\alpha) = \alpha$ となる点 $w_\alpha$ を上側 $\alpha$ 点 (upper $\alpha$ point) といい、 $\chi^2(k)$ , $t(k)$ , $F(m, n)$ のものをそれぞれ $\chi^2_\alpha(k)$ , $t_\alpha(k)$ , $F_\alpha(m, n)$ と書く。たとえば $P(\chi^2_{0.975}(k) \leq V \leq \chi^2_{0.025}(k)) = 0.95$ である。 $t$ 分布（2.5 節）とあわせて主な値を示す。

自由度 $k$	1	2	4	5	9	10	20	30	$\infty$
$\chi^2_{0.975}(k)$	0.001	0.051	0.484	0.831	2.700	3.247	9.591	16.791
$\chi^2_{0.025}(k)$	5.024	7.378	11.143	12.833	19.023	20.483	34.170	46.979
$t_{0.05}(k)$	6.314	2.920	2.132	2.015	1.833	1.812	1.725	1.697	1.645
$t_{0.025}(k)$	12.706	4.303	2.776	2.571	2.262	2.228	2.086	2.042	1.960

$\chi^2$ 分布は右に歪んでいて、 $\chi^2_{0.975}(k)$ と $\chi^2_{0.025}(k)$ は $k$ に関して対称な位置にない。

2.4 正規標本の基本定理

正規母集団からの標本の分布は $\mathbb{R}^n$ の回転で変わらない。この対称性から本章の主定理が得られる。

定理 2.7（正規ベクトルの直交分解） $X \sim N_n(\mu, \sigma^2I_n)$ とし、 $\mathbb{R}^n$ を互いに直交する部分空間の直和 $W_1 \oplus \cdots \oplus W_m$ に分解する。 $r_j = \dim W_j$ 、 $P_j$ を $W_j$ への直交射影とする。このとき $P_1X, \dots, P_mX$ は独立であり、 $P_j\mu = 0$ ならば $\lVert P_jX \rVert^2/\sigma^2 \sim \chi^2(r_j)$ である。

証明. 各 $W_j$ の正規直交基底を並べて $\mathbb{R}^n$ の正規直交基底 $q_1, \dots, q_n$ を作り（02 線形代数第7章系 7.10）、 $W_j$ の基底の添字の集合を $I_j$ とする。 $q_i^{\top}$ を第 $i$ 行とする直交行列を $Q$ として $Y = QX$ とおくと、第1章定理 1.22 の 2 より $Y \sim N_n(Q\mu, \sigma^2QQ^{\top}) = N_n(Q\mu, \sigma^2I_n)$ 。共分散行列が対角なので $Y_1, \dots, Y_n$ は独立で、 $Y_i \sim N(q_i^{\top}\mu, \sigma^2)$ である（第1章定理 1.22 の 3・5）。直交分解（02 線形代数第7章定理 7.15）より

P_jX = \sum_{i \in I_j}(q_i^{\top}X)\,q_i = \sum_{i \in I_j}Y_i\,q_i, \qquad \lVert P_jX \rVert^2 = \sum_{i \in I_j}Y_i^2

で、 $P_jX$ は $(Y_i)_{i \in I_j}$ だけの関数である。 $I_1, \dots, I_m$ は互いに交わらないので、 $P_1X, \dots, P_mX$ は独立である（第1章命題 1.4 の 3）。 $P_j\mu = 0$ なら、 $i \in I_j$ について $P_j$ が対称で $P_jq_i = q_i$ だから $q_i^{\top}\mu = q_i^{\top}P_j\mu = 0$ で、 $Y_i/\sigma$ （ $i \in I_j$ ）は i.i.d. で $N(0, 1)$ に従う。よって $\lVert P_jX \rVert^2/\sigma^2 \sim \chi^2(r_j)$ 。 $\square$

定理 2.7 はコクランの定理 (Cochran's theorem) と呼ばれる結果の一つの形である。多くの教科書では二次形式の言葉で、「 $Z \sim N_n(0, I_n)$ について $\lVert Z \rVert^2 = Z^{\top}A_1Z + \cdots + Z^{\top}A_mZ$ （ $A_j$ は対称行列）で $\operatorname{rank}A_1 + \cdots + \operatorname{rank}A_m = n$ ならば、 $Z^{\top}A_1Z, \dots, Z^{\top}A_mZ$ は独立で、それぞれ $\chi^2(\operatorname{rank}A_j)$ に従う」と述べられる。二次形式の恒等式から $A_1 + \cdots + A_m = I_n$ であり、階数の和が $n$ であることから $\mathbb{R}^n$ は $A_1, \dots, A_m$ の像の直和になる。ここから、各 $A_j$ はその像への直交射影で、像どうしは互いに直交することが線形代数だけで示せる（細部は省略する）。よってこの形も定理 2.7 に帰着する。分散分析で平方和を分解して $F$ 統計量を作るときの根拠はこの定理である。

定理 2.8（正規標本の基本定理） $X_1, \dots, X_n$ （ $n \geq 2$ ）が i.i.d. で $N(\mu, \sigma^2)$ に従うならば、

$\bar{X} \sim N(\mu, \sigma^2/n)$ 。

$\bar{X}$ と残差ベクトル $(X_1 - \bar{X}, \dots, X_n - \bar{X})$ は独立である。特に $\bar{X}$ と $S^2$ は独立である。

$(n - 1)S^2/\sigma^2 \sim \chi^2(n - 1)$ 。

証明. $\mathbf{1} = (1, \dots, 1)^{\top}$ とすると $X = (X_1, \dots, X_n)^{\top} \sim N_n(\mu\mathbf{1}, \sigma^2I_n)$ である（ $X = \mu\mathbf{1} + \sigma Z$ と書けるから）。1 は第1章系 1.17 の 1 による。 $W_1 = \lbrace c\mathbf{1} \mid c \in \mathbb{R} \rbrace$ （1 次元）と $W_2 = W_1^{\perp}$ （ $n - 1$ 次元）に定理 2.7 を使う。

P_1X = \frac{\mathbf{1}^{\top}X}{\mathbf{1}^{\top}\mathbf{1}}\,\mathbf{1} = \bar{X}\,\mathbf{1}, \qquad P_2X = X - \bar{X}\,\mathbf{1}, \qquad \lVert P_2X \rVert^2 = \sum_{i=1}^{n}(X_i - \bar{X})^2 = (n - 1)S^2

なので、 $\bar{X}$ は $P_1X$ の、残差ベクトルと $S^2$ は $P_2X$ の関数であり、2 が従う。 $P_2(\mu\mathbf{1}) = 0$ だから 3 も従う。 $\square$

注意 2.9（自由度の意味と具体的な直交行列）残差ベクトル $X - \bar{X}\mathbf{1}$ は $n$ 個の成分をもつが、 $\mathbf{1}$ に直交する $n - 1$ 次元の部分空間に入っている。平均を推定するのに 1 次元を使ったので、残りは $n - 1$ 次元、というのが「自由度 $n - 1$ 」の意味である。 $Q$ の具体例としては、第 1 行を $\mathbf{1}^{\top}/\sqrt{n}$ 、第 $k + 1$ 行（ $k = 1, \dots, n - 1$ ）を $(1, \dots, 1, -k, 0, \dots, 0)/\sqrt{k(k + 1)}$ （ $1$ が $k$ 個）とするヘルマート行列 (Helmert matrix) がある。回帰分析（第5章）では、係数が $p$ 個あれば残差ベクトルは $n - p$ 次元の部分空間に入り、同じ定理 2.7 から残差平方和について自由度 $n - p$ の $\chi^2$ 分布が得られる。

注意

定理 2.8 の 2・3 は正規性に強く依存する。正規分布でなければ一般に $\bar{X}$ と $S^2$ は独立でなく（問題 2.2。逆に $n \geq 2$ のとき、 $\bar{X}$ と $S^2$ が独立になるのは、1 点に集中した分布を除けば正規母集団に限ることが知られている）、 $S^2$ のばらつきも $\chi^2$ 分布から計算した値と大きく異なりうる。実際、4 次モーメントが有限なら $\operatorname{Var}(S^2) = \sigma^4\left(\frac{2}{n - 1} + \frac{\kappa}{n}\right)$ （ $\kappa = E[(X_1 - \mu)^4]/\sigma^4 - 3$ 、計算は省略する）で、指数分布（ $\kappa = 6$ ）、 $\sigma^2 = 1$ 、 $n = 10$ では $0.822$ と、正規分布の場合（ $\kappa = 0$ ）の $0.222$ の約 3.7 倍になる。分散についての $\chi^2$ 分布・ $F$ 分布にもとづく推測は、平均についての推測よりはるかに正規性からのずれに弱い。

2.5 $t$ 分布

$\sqrt{n}(\bar{X} - \mu)/\sigma \sim N(0, 1)$ だが、 $\sigma$ は普通わからない。 $\sigma$ を $S$ で置き換えた量の分布が $t$ 分布である。醸造会社で働いていたゴセットが「スチューデント」の筆名で 1908 年に発表した。

定義 2.10（ $t$ 分布） $Z \sim N(0, 1)$ と $V \sim \chi^2(k)$ が独立なとき、 $T = Z/\sqrt{V/k}$ の分布を自由度 $k$ の $t$ 分布 ( $t$ distribution) といい、 $t(k)$ と書く。

定理 2.11 $t(k)$ の密度は
$f(t) = \frac{\Gamma\left(\frac{k + 1}{2}\right)}{\sqrt{k\pi}\,\Gamma\left(\frac{k}{2}\right)}\left(1 + \frac{t^2}{k}\right)^{-(k + 1)/2} \qquad (t \in \mathbb{R})$
である。

証明. $(Z, V)$ の同時密度は $\mathbb{R} \times (0, \infty)$ 上で $\phi(z)f_k(v)$ である。 $(z, v) \mapsto (z/\sqrt{v/k}, v)$ は $\mathbb{R} \times (0, \infty)$ からそれ自身への $C^1$ 級全単射で、逆写像 $(t, v) \mapsto (t\sqrt{v/k}, v)$ のヤコビ行列式は $\sqrt{v/k}$ である。第1章定理 1.18 より $(T, V)$ の同時密度は $\phi(t\sqrt{v/k})f_k(v)\sqrt{v/k}$ で、 $v$ について積分すると、 $\int_0^{\infty}v^{a - 1}e^{-bv}\ dv = \Gamma(a)/b^a$ により

f(t) = \frac{1}{\sqrt{2\pi k}\,2^{k/2}\Gamma(k/2)}\int_0^{\infty}v^{\frac{k + 1}{2} - 1}e^{-\frac{v}{2}\left(1 + \frac{t^2}{k}\right)}\,dv = \frac{\Gamma\left(\frac{k + 1}{2}\right)}{\sqrt{2\pi k}\,2^{k/2}\Gamma(k/2)}\left(\frac{2}{1 + t^2/k}\right)^{(k + 1)/2}

$2^{(k + 1)/2}/(\sqrt{2\pi k} \cdot 2^{k/2}) = 1/\sqrt{\pi k}$ なので主張を得る。 $\square$

系 2.12（ $t$ 統計量） $X_1, \dots, X_n$ （ $n \geq 2$ ）が i.i.d. で $N(\mu, \sigma^2)$ に従うならば
$T = \frac{\sqrt{n}(\bar{X} - \mu)}{S} \sim t(n - 1)$

証明. $Z = \sqrt{n}(\bar{X} - \mu)/\sigma \sim N(0, 1)$ と $V = (n - 1)S^2/\sigma^2 \sim \chi^2(n - 1)$ は定理 2.8 より独立で、 $T = Z/\sqrt{V/(n - 1)}$ である。 $\square$

$T$ の分布は未知の $\sigma$ を含まないので、 $\sigma$ がわからなくても $\mu$ の区間推定や検定ができる（第4章）。

注意 2.13（ $t$ 分布の性質）(1) $t(k)$ は $0$ について対称で、 $t(1)$ はコーシー分布である。密度は $\lvert t \rvert^{-(k + 1)}$ の速さでしか減衰しないので、 $E[\lvert T \rvert^r] < \infty$ となるのは $r < k$ のときに限る（ $k \geq 3$ なら $\operatorname{Var}(T) = k/(k - 2)$ ）。正規分布より裾が重い。(2) 大数の法則より $V/k = \frac{1}{k}\sum_{i=1}^{k}Z_i^2 \xrightarrow{P} 1$ なので、スルツキーの定理より $k \to \infty$ で $t(k)$ は $N(0, 1)$ に分布収束する。表のように $t_\alpha(k)$ は $z_\alpha$ に近づく。(3) 母集団が正規分布でなくても分散が有限なら、中心極限定理・命題 2.4・スルツキーの定理より $\sqrt{n}(\bar{X} - \mu)/S \xrightarrow{d} N(0, 1)$ である。 $t(n - 1)$ が正確なのは正規母集団のときだけだが、 $n$ が大きければよい近似になる。 $n$ が小さく分布が歪んでいる場合は、この近似も当てにならない。

2.6 $F$ 分布

分散の比の分布で、2 つの製造ラインのばらつきの比較や回帰分析の $F$ 検定（第5章）に現れる。

定義 2.14（ $F$ 分布） $U \sim \chi^2(m)$ と $V \sim \chi^2(n)$ が独立なとき、 $F = \frac{U/m}{V/n}$ の分布を自由度 $(m, n)$ の $F$ 分布 ( $F$ distribution) といい、 $F(m, n)$ と書く。

定理 2.15 $B = U/(U + V)$ は $\operatorname{Beta}(m/2, n/2)$ に従い、 $F = \frac{n}{m} \cdot \frac{B}{1 - B}$ である。 $F(m, n)$ の密度は
$f(x) = \frac{1}{B\left(\frac{m}{2}, \frac{n}{2}\right)}\left(\frac{m}{n}\right)^{m/2}x^{m/2 - 1}\left(1 + \frac{m}{n}x\right)^{-(m + n)/2} \qquad (x > 0)$
である。

証明. $U \sim \operatorname{Gamma}(m/2, 1/2)$ , $V \sim \operatorname{Gamma}(n/2, 1/2)$ なので、第1章例 1.20 より $B \sim \operatorname{Beta}(m/2, n/2)$ 。 $F = \frac{n}{m}\frac{U}{V} = \frac{n}{m}\frac{B}{1 - B}$ で、 $b \mapsto x = \frac{n}{m}\frac{b}{1 - b}$ は $(0, 1)$ から $(0, \infty)$ への狭義単調増加な全単射、逆写像は $b = \frac{mx}{n + mx}$ 、 $\frac{db}{dx} = \frac{mn}{(n + mx)^2}$ である。第1章定理 1.18 より

f(x) = \frac{1}{B\left(\frac{m}{2}, \frac{n}{2}\right)}\left(\frac{mx}{n + mx}\right)^{\frac{m}{2} - 1}\left(\frac{n}{n + mx}\right)^{\frac{n}{2} - 1}\frac{mn}{(n + mx)^2} = \frac{m^{m/2}n^{n/2}x^{m/2 - 1}}{B\left(\frac{m}{2}, \frac{n}{2}\right)(n + mx)^{(m + n)/2}}

で、 $(n + mx)^{(m + n)/2} = n^{(m + n)/2}(1 + mx/n)^{(m + n)/2}$ を代入すればよい。 $\square$

系 2.16

$F \sim F(m, n)$ ならば $1/F \sim F(n, m)$ 。したがって $F_{1 - \alpha}(m, n) = 1/F_\alpha(n, m)$ 。

$T \sim t(k)$ ならば $T^2 \sim F(1, k)$ 。

正規母集団 $N(\mu_1, \sigma_1^2)$ , $N(\mu_2, \sigma_2^2)$ から互いに独立にとった大きさ $m$ , $n$ の無作為標本の不偏分散を $S_1^2$ , $S_2^2$ とすると、 $\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F(m - 1, n - 1)$ 。

証明. 1 は定義から明らかで、 $P(F > c) = 1 - \alpha$ と $P(1/F < 1/c) = 1 - \alpha$ が同値であることから後半が従う。2 は $Z^2 \sim \chi^2(1)$ による。3 は定理 2.8 の 3 により $(m - 1)S_1^2/\sigma_1^2 \sim \chi^2(m - 1)$ 、 $(n - 1)S_2^2/\sigma_2^2 \sim \chi^2(n - 1)$ で、両者が独立なことによる。 $\square$

たとえば $F_{0.025}(9, 9) = 4.026$ なので、 $F_{0.975}(9, 9) = 1/4.026 = 0.248$ である。

2.7 順序統計量と分位点

平均や分散は外れ値に引きずられる。中央値や分位点（「応答時間の 99 % 点」など）は、並べ替えた標本から計算する。

定理 2.17（順序統計量の分布） $X_1, \dots, X_n$ を分布関数 $F$ をもつ i.i.d. とし、小さい順に並べたものを $X_{(1)} \leq \cdots \leq X_{(n)}$ とする（順序統計量, order statistics）。

$P(X_{(k)} \leq x) = \sum_{j=k}^{n}\binom{n}{j}F(x)^j(1 - F(x))^{n-j}$ 。特に $P(X_{(n)} \leq x) = F(x)^n$ 、 $P(X_{(1)} > x) = (1 - F(x))^n$ 。

$F$ が密度 $f$ をもつならば、 $X_{(k)}$ は密度 $\frac{n!}{(k - 1)!(n - k)!}F(x)^{k - 1}(1 - F(x))^{n - k}f(x)$ をもつ。特に $U(0, 1)$ からの標本では $U_{(k)} \sim \operatorname{Beta}(k, n - k + 1)$ 、 $E[U_{(k)}] = k/(n + 1)$ 。

証明. 1. $X_{(k)} \leq x$ は「 $x$ 以下の $X_i$ が $k$ 個以上ある」ことと同値で、その個数は $B(n, F(x))$ に従う。2. 1 の右辺を $G(F(x))$ とおくと、 $j\binom{n}{j} = n\binom{n-1}{j-1}$ 、 $(n - j)\binom{n}{j} = n\binom{n-1}{j}$ より

G'(p) = n\sum_{j=k}^{n}\left[\binom{n-1}{j-1}p^{j-1}(1-p)^{n-j} - \binom{n-1}{j}p^{j}(1-p)^{n-1-j}\right] = n\binom{n-1}{k-1}p^{k-1}(1-p)^{n-k}

（和は打ち消し合い、 $\binom{n-1}{n} = 0$ ）。 $F(x) = \int_{-\infty}^{x}f$ と置換積分から $G(F(x)) = \int_{-\infty}^{x}G'(F(s))f(s)\ ds$ となり、 $n\binom{n-1}{k-1} = \frac{n!}{(k-1)!(n-k)!}$ より主張を得る。 $U(0, 1)$ では $F(x) = x$ で、これは $\operatorname{Beta}(k, n - k + 1)$ の密度であり、平均は第1章の表から $k/(n + 1)$ 。 $\square$

定義 2.18（分位点）分布関数 $F$ と $0 < u < 1$ について $F^{-1}(u) = \inf\lbrace x \mid F(x) \geq u \rbrace$ を $F$ の $u$ 分位点 (quantile) という（ $F$ が狭義単調増加で連続なら通常の逆関数）。 $F^{-1}(1/2)$ を中央値 (median) という。

命題 2.19 $F^{-1}$ を分布関数 $F$ の分位点関数とする。

$F^{-1}(u) \leq x \iff u \leq F(x)$ 。

$U \sim U(0, 1)$ ならば、 $F^{-1}(U)$ の分布関数は $F$ である（逆関数法, inverse transform method）。

$F$ が連続で $X$ の分布関数が $F$ ならば、 $F(X) \sim U(0, 1)$ である（確率積分変換, probability integral transform）。

証明. 1. $A_u = \lbrace x \mid F(x) \geq u \rbrace$ は、 $F$ の単調性と極限の性質から空でなく下に有界な区間 $[a, \infty)$ または $(a, \infty)$ で、右連続性より $a = F^{-1}(u) \in A_u$ なので $A_u = [F^{-1}(u), \infty)$ である。2. 1 より $P(F^{-1}(U) \leq x) = P(U \leq F(x)) = F(x)$ 。3. $0 < u < 1$ とする。1 で $x = X$ とすると $\lbrace F(X) \geq u \rbrace = \lbrace X \geq F^{-1}(u) \rbrace$ である。 $F$ は連続なので $P(X \geq a) = 1 - F(a)$ であり、 $F(F^{-1}(u)) \geq u$ （1）と、 $x < F^{-1}(u)$ で $F(x) < u$ であることと連続性から $F(F^{-1}(u)) = u$ 。よって $P(F(X) \geq u) = 1 - u$ がすべての $u \in (0, 1)$ で成り立ち、 $F(X) \sim U(0, 1)$ である。 $\square$

2 は一様乱数から任意の分布の乱数を作る方法であり、3 は第4章で $p$ 値の分布を調べるとき（定理 4.10）に使われる。

$F_n$ を 2.8 節の経験分布関数とするとき、 $F_n^{-1}(u) = X_{(\lceil nu \rceil)}$ を標本 $u$ 分位点という（ $\lceil \cdot \rceil$ は切り上げ）。ソフトウェアによっては順序統計量を補間した別の定義を使う（2.2 節の TIP）。

定理 2.20（標本分位点の漸近正規性） $X_i$ を分布関数 $F$ をもつ i.i.d. とし、 $0 < u < 1$ 、 $\xi = F^{-1}(u)$ とする。 $F$ が $\xi$ で微分可能で $f(\xi) = F'(\xi) > 0$ ならば
$\sqrt{n}\bigl(F_n^{-1}(u) - \xi\bigr) \xrightarrow{d} N\left(0, \frac{u(1 - u)}{f(\xi)^2}\right)$

証明の概略. $t$ を固定し $x_n = \xi + t/\sqrt{n}$ とおく。命題 2.19 の 1 を $F_n$ に使うと $P(\sqrt{n}(F_n^{-1}(u) - \xi) \leq t) = P(nF_n(x_n) \geq nu)$ で、 $nF_n(x_n) \sim B(n, p_n)$ 、 $p_n = F(x_n) = u + f(\xi)t/\sqrt{n} + o(1/\sqrt{n})$ である。 $p_n$ が $n$ とともに動く二項分布にも中心極限定理が成り立つので（11 確率論第4章定理 4.8 のリンデベルグ条件が成り立つ）、この確率は $1 - \Phi(-f(\xi)t/\sqrt{u(1 - u)}) = \Phi(f(\xi)t/\sqrt{u(1 - u)})$ に収束する。細部の評価は省略する。 $\square$

中央値（ $u = 1/2$ ）の漸近分散は $1/(4nf(\xi)^2)$ で、 $N(\mu, \sigma^2)$ なら $f(\mu) = 1/(\sqrt{2\pi}\sigma)$ より $\frac{\pi}{2} \cdot \frac{\sigma^2}{n} \approx 1.571\frac{\sigma^2}{n}$ である。正規分布のもとでは標本中央値の分散は標本平均の約 1.57 倍（標準誤差は約 1.25 倍）になるが、そのかわり外れ値に強い。

2.8 経験分布関数とグリヴェンコ–カンテリの定理

定義 2.21（経験分布関数）無作為標本 $X_1, \dots, X_n$ に対し、 $F_n(x) = \frac{1}{n}\sum_{i=1}^{n}\mathbf{1}_{\lbrace X_i \leq x \rbrace}$ を経験分布関数 (empirical distribution function) という。これは各観測値に確率 $1/n$ ずつを置いた離散分布の分布関数である。

$x$ を固定すると $nF_n(x) \sim B(n, F(x))$ なので、 $E[F_n(x)] = F(x)$ 、 $\operatorname{Var}(F_n(x)) = F(x)(1 - F(x))/n$ であり、大数の法則より $F_n(x) \xrightarrow{P} F(x)$ である。実は収束は $x$ について一様に起こる。

定理 2.22（グリヴェンコ–カンテリの定理, Glivenko–Cantelli theorem） $X_1, X_2, \dots$ を分布関数 $F$ をもつ i.i.d. とすると、確率 $1$ で $\sup_{x \in \mathbb{R}}\lvert F_n(x) - F(x) \rvert \to 0$ である。

主張のみとする（証明は 11 確率論第2章定理 2.20）。仮定は i.i.d. だけで、 $F$ の形を問わない。データが十分多ければ分布全体がいくらでも正確にわかる、という意味で、統計学の多くの手法の拠り所である。 $\sup_x \lvert F_n(x) - F(x) \rvert$ はコルモゴロフ–スミルノフ検定の検定統計量でもある。

2.9 ブートストラップ

標本中央値の標準誤差を知りたいとする。定理 2.20 によれば密度 $f(\xi)$ が必要で、それは未知である。複雑な統計量では、標本分布の公式すら得られない。

多くの量は母集団分布の関数 $\theta = \theta(F)$ （平均、中央値、分位点など）として書け、その自然な推定量は $F$ を $F_n$ で置き換えた $\hat{\theta} = \theta(F_n)$ である（プラグイン原理, plug-in principle）。 $\hat{\theta}$ の標本分布は未知の $F$ に依存するが、 $F_n$ は $F$ に近い（グリヴェンコ–カンテリの定理）。そこで「 $F$ からの標本」を「 $F_n$ からの標本」で置き換えて標本分布をまねる。これがブートストラップ (bootstrap) であり、エフロンが 1979 年に提案した。

定義 2.23（ノンパラメトリック・ブートストラップ）観測値 $x_1, \dots, x_n$ から、次の手順で統計量 $T = t(X_1, \dots, X_n)$ の標本分布を近似する。

$x_1, \dots, x_n$ から復元抽出で $n$ 個を選び、 $x_1^{\ast}, \dots, x_n^{\ast}$ とする（ $F_n$ からの大きさ $n$ の無作為標本）。

$T^{\ast} = t(x_1^{\ast}, \dots, x_n^{\ast})$ を計算する。

1・2 を $B$ 回（たとえば $B = 2000$ ）独立に繰り返し、 $T_1^{\ast}, \dots, T_B^{\ast}$ の分布を $T$ の標本分布の近似とみる。その標準偏差をブートストラップ標準誤差、上下 $\alpha/2$ の標本分位点を両端とする区間をパーセンタイル区間という。

例 2.24 平均 2 の指数分布（ $\operatorname{Exp}(1/2)$ ）から大きさ 50 の標本を生成し、標本中央値の標準誤差をブートストラップで求める。

import numpy as np

rng = np.random.default_rng(0)
x = rng.exponential(scale=2.0, size=50)   # Exp(1/2) からの標本（scale は 1/λ）
B = 2000
boot = np.array([np.median(rng.choice(x, size=x.size, replace=True)) for _ in range(B)])
print(f"標本中央値 {np.median(x):.3f}")
print(f"ブートストラップ標準誤差 {boot.std(ddof=1):.3f}")
print("95% パーセンタイル区間", np.quantile(boot, [0.025, 0.975]).round(3))

標本中央値 1.592
ブートストラップ標準誤差 0.289
95% パーセンタイル区間 [1.104 2.194]

母集団の中央値は $\xi = 2\log 2 \approx 1.386$ 、 $f(\xi) = \frac{1}{2}e^{-\xi/2} = 0.25$ なので、定理 2.20 による標準誤差は $1/(2 \cdot 0.25 \cdot \sqrt{50}) \approx 0.283$ であり、 $f$ を知らなくても近い値が得られている。

ブートストラップがうまくいくことは、標本平均や、平均の滑らかな関数などについては、分散が有限であるといった条件のもとで証明されている（主張のみ）。一方、次のような場合には失敗する。

端点や最大値：一様分布 $U(0, \theta)$ の $\theta$ を $X_{(n)}$ で推定する場合（問題 2.6）。
従属したデータ：時系列を 1 点ずつ復元抽出すると、データの相関が壊れ、（正の自己相関があれば）標準誤差を過小評価する。連続したブロックを単位に抽出するなどの工夫が要る。
裾が重い分布：分散が無限大の分布の標本平均。
標本が小さい： $F_n$ が $F$ をよく近似していない。ブートストラップはデータにない情報を生み出すわけではない。

ヒント

実務では ブートストラップは、中央値・分位点・比率の比・相関係数・機械学習モデルの評価指標など、公式が得にくい統計量の誤差の目安として広く使われている。そのとき必ず確かめるべきなのは「何を単位に復元抽出するか」である。同じ利用者のセッションが複数含まれるデータなら、セッションではなく利用者を単位に抽出しないと、相関が壊れて誤差が小さく見積もられる。

まとめ

無作為標本は母集団分布 $F$ からの i.i.d. であり、統計量の標本分布は「標本をとり直したときの揺らぎ」を表す。i.i.d. の仮定は時系列・かたまりのあるデータ・選択の偏りで崩れる。
$E[\bar{X}] = \mu$ 、 $\operatorname{Var}(\bar{X}) = \sigma^2/n$ 、 $E[S^2] = \sigma^2$ 。 $n - 1$ で割るのは、 $\bar{X}$ のまわりの偏差平方和が小さめになる分を補うためである。一方、普通は $E[S] < \sigma$ である。
$\chi^2(k) = \operatorname{Gamma}(k/2, 1/2)$ 。 $t(k)$ は $Z/\sqrt{V/k}$ 、 $F(m, n)$ は $(U/m)/(V/n)$ として定義され、密度は変数変換で導ける。 $1/F \sim F(n, m)$ 、 $t(k)^2 = F(1, k)$ 。
正規標本では、直交変換によって $\bar{X}$ と $S^2$ が独立になり、 $(n - 1)S^2/\sigma^2 \sim \chi^2(n - 1)$ 、 $\sqrt{n}(\bar{X} - \mu)/S \sim t(n - 1)$ が成り立つ。自由度は残差ベクトルの入る部分空間の次元である。
分散についての $\chi^2$ ・ $F$ による推測は正規性からのずれに弱い。平均についての $t$ 統計量は、大標本では正規性がなくても近似的に $N(0, 1)$ に従う。
順序統計量の分布は二項分布から計算でき、一様分布の順序統計量はベータ分布に従う。分位点関数による逆関数法と確率積分変換は、乱数生成と $p$ 値の基礎である。
経験分布関数は $F$ に一様に収束し（グリヴェンコ–カンテリ）、ブートストラップは $F$ を $F_n$ で置き換えて標本分布をまねる。最大値・従属データ・裾の重い分布・小標本では失敗する。

演習問題

問題 2.1 ★ (1) $X_1, X_2$ が i.i.d. で $N(\mu, \sigma^2)$ に従うとき、 $E[S] = \sigma\sqrt{2/\pi} \approx 0.798\sigma$ を示せ。(2) 大きさ $10$ の正規標本で $\sigma^2 = 4$ のとき、 $P(S^2 > 6)$ を求めよ（ $P(\chi^2(9) > 13.5) = 0.141$ を使ってよい）。

解答

(1) $n = 2$ では $\bar{X} = (X_1 + X_2)/2$ より $S^2 = (X_1 - \bar{X})^2 + (X_2 - \bar{X})^2 = (X_1 - X_2)^2/2$ なので、 $S = \lvert X_1 - X_2 \rvert/\sqrt{2}$ 。 $X_1 - X_2 \sim N(0, 2\sigma^2)$ だから $X_1 - X_2 = \sqrt{2}\sigma Z$ （ $Z \sim N(0, 1)$ ）と書け、 $S = \sigma\lvert Z \rvert$ 。 $E[\lvert Z \rvert] = 2\int_0^{\infty}z\frac{e^{-z^2/2}}{\sqrt{2\pi}}\ dz = \frac{2}{\sqrt{2\pi}} = \sqrt{2/\pi}$ より $E[S] = \sigma\sqrt{2/\pi}$ 。 $S^2$ は不偏でも、 $S$ は $\sigma$ を平均で約 20 % 小さく見積もる。

(2) 定理 2.8 より $9S^2/4 \sim \chi^2(9)$ なので、 $P(S^2 > 6) = P(9S^2/4 > 13.5) = P(\chi^2(9) > 13.5) = 0.141$ 。真の分散が 4 でも、不偏分散がその 1.5 倍を超えることは 7 回に 1 回ほど起こる。

問題 2.2 ★★ $X_1, \dots, X_n$ が i.i.d. で $E[X_1^4] < \infty$ 、平均 $\mu$ 、 $\mu_3 = E[(X_1 - \mu)^3]$ とする。 $\operatorname{Cov}(\bar{X}, S^2) = \mu_3/n$ を示し、指数分布のように右に歪んだ母集団では何が起きるか説明せよ。

解答

$X_i$ を $X_i - \mu$ に置き換えても $\operatorname{Cov}(\bar{X}, S^2)$ は変わらないので、 $\mu = 0$ としてよい。 $(n - 1)S^2 = \sum_j X_j^2 - n\bar{X}^2$ で、独立性と $E[X_i] = 0$ より $E[X_iX_j^2] = \mu_3$ （ $i = j$ ）、 $0$ （ $i \neq j$ ）であり、 $E[X_iX_jX_k]$ は $i = j = k$ のときだけ $\mu_3$ で、ほかは $0$ である。よって

E\Bigl[\bar{X}\sum_j X_j^2\Bigr] = \frac{1}{n}\sum_{i,j}E[X_iX_j^2] = \mu_3, \qquad E[\bar{X}^3] = \frac{1}{n^3}\sum_{i,j,k}E[X_iX_jX_k] = \frac{\mu_3}{n^2}

となり、 $E[\bar{X}] = 0$ より $\operatorname{Cov}(\bar{X}, S^2) = E[\bar{X}S^2] = \frac{1}{n - 1}\left(\mu_3 - n\cdot\frac{\mu_3}{n^2}\right) = \frac{\mu_3}{n}$ 。

$\operatorname{Exp}(\lambda)$ では $\mu_3 = 2/\lambda^3 > 0$ なので、 $\bar{X}$ が大きい標本ほど $S^2$ も大きい傾向がある。したがって $\bar{X}$ と $S^2$ は独立でなく（定理 2.8 の 2 は成り立たない）、 $t$ 統計量 $\sqrt{n}(\bar{X} - \mu)/S$ の分布は $t(n - 1)$ と違って左右非対称になる。小標本で $t$ 分布を使うと、片側の確率が大きくずれる。

問題 2.3 ★★ 2 台の機械で部品の長さを 10 個ずつ測り、不偏分散の比が $S_1^2/S_2^2 = 2.0$ だった。担当者は「機械 1 のばらつきは機械 2 の 2 倍である」と報告した。2 台の母分散が等しく、どちらも正規分布に従うとして、比が 2 以上になる確率は $P(F(9, 9) > 2) = 0.158$ である。この報告は妥当か。 $F_{0.025}(9, 9) = 4.026$ も使って説明せよ。

解答

妥当でない。系 2.16 の 3 より、母分散が等しければ $S_1^2/S_2^2 \sim F(9, 9)$ であり、比が 2 以上になることは 16 % の確率で偶然に起こる。さらに系 2.16 の 1 より $F_{0.975}(9, 9) = 1/4.026 = 0.248$ なので、母分散が等しくても比は 95 % の確率で $0.248$ から $4.026$ の間に散らばる。10 個ずつの測定では、分散の比は 4 倍程度まで偶然で動きうるので、「2 倍」という点推定だけを報告するのは誤解を招く。加えて、この計算は正規性に強く依存し（2.4 節の WARNING）、裾の重い分布では比はさらに大きく揺らぐ。

問題 2.4 ★★ 5 回の測定値から平均 $\mu$ の「95 % の範囲」として $\bar{x} \pm 1.96s/\sqrt{5}$ を報告した。測定値が i.i.d. で正規分布に従うとして、この方法で作った区間が $\mu$ を含む確率（被覆確率）を求めよ（ $P(\lvert T \rvert \leq 1.96) = 0.878$ 、 $T \sim t(4)$ を使ってよい）。正しくは何倍すべきだったか。

解答

確率変数としての区間 $\bar{X} \pm 1.96S/\sqrt{5}$ が $\mu$ を含むことは $\lvert \sqrt{5}(\bar{X} - \mu)/S \rvert \leq 1.96$ と同値で、系 2.12 より $\sqrt{5}(\bar{X} - \mu)/S \sim t(4)$ だから、その確率は $0.878$ にすぎない（計算済みの 1 つの区間が $\mu$ を含む確率ではなく、この方法で区間を作ることを繰り返したときに $\mu$ を含む割合である。第4章 4.1 節の WARNING を参照）。 $1.96$ は $\sigma$ が既知のときの $z_{0.025}$ であり、 $\sigma$ を $S$ で推定した分の揺らぎを反映していない。正しくは $t_{0.025}(4) = 2.776$ 倍すべきで、区間は約 1.4 倍広くなる。 $n$ が大きくなると差は縮まる（ $n = 30$ なら $\pm 1.96s/\sqrt{n}$ でも確率は $0.940$ ）。

問題 2.5 ★★ 連続な分布関数 $F$ をもつ母集団の中央値 $m$ （ $F(m) = 1/2$ をみたす点）について、大きさ $10$ の標本の順序統計量から $P(X_{(2)} \leq m \leq X_{(9)})$ を求めよ。この確率が $F$ によらないことの意味を述べよ。

解答

$N = (m \text{ 以下の } X_i \text{ の個数})$ とすると、 $F$ の連続性から $N \sim B(10, 1/2)$ で、 $P(X_i = m) = 0$ である。 $X_{(2)} > m \iff N \leq 1$ 、 $X_{(9)} < m \iff N \geq 9$ で、この 2 つは同時には起こらないから

P(X_{(2)} \leq m \leq X_{(9)}) = 1 - P(N \leq 1) - P(N \geq 9) = 1 - \frac{2(1 + 10)}{1024} = \frac{1002}{1024} \approx 0.979

この確率は $F$ の形によらない。したがって $[X_{(2)}, X_{(9)}]$ は、正規性などを仮定せずに使える中央値の信頼係数約 $0.979$ の信頼区間になる（信頼区間の定義は第4章定義 4.1）。

問題 2.6 ★★★ $X_1, \dots, X_n$ が i.i.d. で $U(0, \theta)$ に従うとする。(1) $n(\theta - X_{(n)})/\theta$ が指数分布 $\operatorname{Exp}(1)$ に分布収束することを示せ。(2) 観測値を固定して復元抽出した標本の最大値 $X_{(n)}^{\ast}$ について、 $P^{\ast}(X_{(n)}^{\ast} = X_{(n)}) = 1 - (1 - 1/n)^n$ を示せ（ $P^{\ast}$ は復元抽出についての確率）。(3) ブートストラップで $n(X_{(n)} - X_{(n)}^{\ast})$ の分布をまねて $n(\theta - X_{(n)})$ の分布を近似しようとすると、なぜ失敗するのか。

解答

(1) $t \geq 0$ と $n > t$ について、定理 2.17 の 1 より

P\left(\frac{n(\theta - X_{(n)})}{\theta} > t\right) = P\left(X_{(n)} < \theta\left(1 - \frac{t}{n}\right)\right) = \left(1 - \frac{t}{n}\right)^n \to e^{-t}

（ $X_{(n)}$ は連続分布なので $<$ と $\leq$ の違いは確率に影響しない）。 $\operatorname{Exp}(1)$ の分布関数は連続なので、これは分布収束を意味する。

(2) 観測値は確率 $1$ で相異なるので、 $X_{(n)}^{\ast} = X_{(n)}$ となるのは、 $n$ 回の復元抽出で最大の観測値が少なくとも 1 回選ばれるときである。その余事象の確率は $(1 - 1/n)^n$ 。

(3) (2) より、ブートストラップ分布は $n(X_{(n)} - X_{(n)}^{\ast}) = 0$ に確率 $1 - (1 - 1/n)^n \to 1 - e^{-1} \approx 0.632$ の重みをもつ。一方、(1) の極限分布 $\operatorname{Exp}(1)$ （の $\theta$ 倍）は連続で、 $0$ に重みをもたない。よってブートストラップ分布は $n \to \infty$ でも真の標本分布に近づかない。最大値は $F_n$ の端に集中した情報に依存し、 $F_n$ が $F$ に一様に近いこと（グリヴェンコ–カンテリ）だけでは標本分布を正しくまねられない。