統計学

科目の概要

新しい広告を出したら売上が 3 % 増えた。1 万人の A/B テストで購入率が 2.1 % から 2.4 % に上がった。100 人へのアンケートで 6 割が満足と答えた。こうした数字から、どこまでのことが言えるだろうか。同じ調査をもう一度行えば数字は変わるし、データの集め方によっては、もっともらしい結論がまったくの見かけであることもある。統計学は、データから何が言えて、何が言えないかを数学で押さえる学問である。

統計学では、データを確率変数の実現値とみなし、データを生み出す仕組みを確率分布でモデル化する。推定・検定・回帰といった手法は、このモデルについての定理として正当化される。したがって、どの手法にも「独立に同じ分布から得られた標本である」「誤差が正規分布に従う」「群の割り当てが無作為である」といった仮定がある。この科目の目標は、公式を当てはめることではなく、手法がどんな仮定のもとでなぜ正しいのか、そして仮定が崩れると何が起こるのか（外れ値、多重共線性、多重比較と $p$ ハッキング、過学習、交絡など）を、定義と証明によって説明できるようになることである。各章には、その数学が実際にどう使われ、どこで間違えやすいかを書いた「実務では」の囲みと、「この結論は正しいか」を問う演習を置いている。

この科目では次の内容を学ぶ。

確率分布と多変量正規分布、大数の法則・中心極限定理・デルタ法（第1章）
標本分布： $\chi^2$ 分布・ $t$ 分布・ $F$ 分布、順序統計量、経験分布関数、ブートストラップ（第2章）
点推定：最尤推定、十分統計量、クラメール–ラオの不等式、ラオ–ブラックウェルの定理（第3章）
区間推定と仮説検定：信頼区間の正しい解釈、 $p$ 値、ネイマン–ピアソンの補題（第4章）
線形回帰：射影としての最小二乗法、ガウス–マルコフの定理、回帰診断（第5章）
一般化線形モデルとモデル選択：ロジスティック回帰、正則化、交差検証、AIC（第6章）
ベイズ統計：事後分布、共役事前分布、マルコフ連鎖モンテカルロ法（第7章）
実験計画と因果推論：A/B テストの設計、多重比較、潜在結果モデル（第8章）

11 確率論との関係. 11 確率論は、確率を測度論（06 測度と積分）の上に組み立て、大数の法則や中心極限定理を厳密に証明する科目である。この科目は測度論を前提にしない。確率は離散分布と密度をもつ分布に限って和とリーマン積分で扱い、測度論的な厳密さが必要な箇所（極限と期待値の交換、条件付き期待値の一般論、極限定理の証明など）では、その結果を「11 確率論で厳密に扱う」と明記して認め、先に進む。11 確率論を先に学ぶ必要はないが、あとで学ぶと、この科目で認めた定理の意味と仮定がより深く理解できる。

高校の統計（P6）との関係. 高校では、数学 I の「データの分析」で分散・相関係数・仮説検定の考え方を、数学 B の「統計的な推測」で確率分布・正規分布・標本平均の分布・推定と検定を学ぶ。この科目はそれらを証明つきで学び直し、「なぜ $n - 1$ で割るのか」「なぜ $t$ 分布を使うのか」「95 % 信頼区間とは何か」「 $p$ 値は何を意味し、何を意味しないのか」に答える。高校の統計を覚えていなくても読めるが、覚えていれば具体例のイメージが持ちやすい。

統計学は、機械学習（24 機械学習の数理）の直接の土台であり、最尤推定や回帰は最適化問題（23 最適化）でもある。

前提知識

数学の言葉：証明の読み書き、集合と写像（00 数学の言葉第1章〜第4章）
微分積分：テイラーの定理（01 微分積分学第4章。デルタ法と最尤推定量の漸近論で使う）、広義積分とガンマ関数・ベータ関数（第5章）、多変数の微分・勾配・ヘッセ行列（第7章。最尤推定と一般化線形モデルで使う）、重積分の変数変換公式とガウス積分（第9章。分布の計算で使う）
線形代数：内積・直交行列・直交射影・最小二乗法・スペクトル定理（02 線形代数第7章。標本分布と線形回帰で使う）、二次形式・正定値性・特異値分解（第8章。多変量正規分布と回帰で使う）
測度論（06・11）は前提にしない。高校の確率・統計（P6）は知っていると読みやすいが、必須ではない。

この科目の記法

記号	意味
$P(A)$ , $E[X]$ , $\operatorname{Var}(X)$ , $\operatorname{Cov}(X, Y)$	確率・期待値・分散・共分散（11 確率論と同じ）
$\operatorname{Cov}(X)$	確率ベクトル $X$ の共分散行列
$X, Y$ （大文字） / $x, y$ （小文字）	確率変数 / その実現値（観測値）
$X \sim F$ 、i.i.d.	$X$ の分布が $F$ である、独立同分布
$B(n, p)$ , $\operatorname{Po}(\lambda)$ , $\operatorname{Ge}(p)$ , $U(a, b)$	二項分布（ $B(1, p)$ はベルヌーイ分布）、ポアソン分布、幾何分布、一様分布
$\operatorname{Exp}(\lambda)$ , $\operatorname{Gamma}(\alpha, \lambda)$ , $\operatorname{Beta}(a, b)$	指数分布・ガンマ分布（ $\lambda$ は率）、ベータ分布
$N(\mu, \sigma^2)$ , $N_n(\mu, \Sigma)$	正規分布（第 2 引数は分散）、 $n$ 次元正規分布
$\chi^2(k)$ , $t(k)$ , $F(m, n)$	$\chi^2$ 分布・ $t$ 分布・ $F$ 分布
$\phi$ , $\Phi$	標準正規分布の密度・分布関数
$z_\alpha$ , $\chi^2_\alpha(k)$ , $t_\alpha(k)$ , $F_\alpha(m, n)$	上側 $\alpha$ 点（ $P(Z > z_\alpha) = \alpha$ など）
$\bar{X} = \frac{1}{n}\sum_i X_i$ , $S^2 = \frac{1}{n-1}\sum_i (X_i - \bar{X})^2$	標本平均・不偏分散（ $n$ で割ったものは標本分散と呼んで区別する）
$\hat{\theta}$	$\theta$ の推定量
$L(\theta)$ , $\ell(\theta) = \log L(\theta)$	尤度・対数尤度（ $\log$ は自然対数）
$A^{\top}$	転置（02 線形代数の ${}^tA$ と同じもの）
$\lVert x \rVert$	ユークリッドノルム
$\nabla f$ , $\nabla^2 f$	勾配・ヘッセ行列
$\mathbf{1}_A$	指示関数（定義関数）
$X_n \xrightarrow{P} X$ , $X_n \xrightarrow{d} X$	確率収束・分布収束

ベクトルは太字にせず列ベクトルとし、 $x \in \mathbb{R}^n$ のように書く。

到達目標

学習時間の目安と進め方

全体で 70〜100 時間、1 章あたり演習を含めて 9〜12 時間が目安である。学部 2〜4 年の数理統計学の講義 1〜2 学期分に相当する。
第1章 → 第2章 → 第3章 → 第4章が幹である。第5章（線形回帰）は第4章までの標本分布と検定の上に立ち、第6章は第3章の最尤推定と第5章を使う。第7章は主に第3章、第8章は主に第4章を使う。確率論に慣れている人は、第1章を表と定理の確認だけで済ませてよい。
定理を読んだら、NumPy で乱数を使ったシミュレーションをして確かめるとよい（乱数の種は numpy.random.default_rng(0) のように固定する）。中心極限定理による近似の良し悪し、信頼区間が真の値を含む割合、途中でデータをのぞき見る検定の誤り率などは、実際に見ると理解が大きく変わる。
各章の「この結論は正しいか」を問う演習は、計算問題と同じくらい重要である。仕事で出会う統計の誤りの多くは、計算の誤りではなく仮定の見落とし（独立でないデータ、正規でないデータ、選ばれたデータ、何度も繰り返した検定）から生じる。

参考文献

日本語

東京大学教養学部統計学教室編『統計学入門』（東京大学出版会）— 大学の教養課程で広く使われている入門書。記述統計から推定・検定・回帰までを例とともに説明しており、この科目の第1〜5章の直観を補うのに向く。
竹村彰通『現代数理統計学』（学術図書出版社）— 数理統計学の標準的な教科書。十分統計量・推定・検定・漸近理論を厳密に扱い、第2〜4章の先を学ぶのに向く。
久保川達也『現代数理統計学の基礎』（共立出版）— 確率分布から推定・検定・回帰・ベイズ法までを証明つきで丁寧に展開する学部向けの教科書。この科目全体の副読本になる。
稲垣宣生『数理統計学』（裳華房）— 確率分布・標本分布・推定・検定を数学的に整理した古典的な教科書。
渡辺澄夫『ベイズ統計の理論と方法』（コロナ社）— ベイズ統計の理論を、事後分布の漸近的なふるまいやモデル評価まで含めて論じる上級書。第7章の先に。
星野崇宏『調査観察データの統計科学』（岩波書店）— 傾向スコアなどを用いた、観察データからの因果推論と欠測データの扱いの解説書。第8章の先に。

英語

G. Casella, R. L. Berger, Statistical Inference (Cengage) — 数理統計学の標準的な教科書。分布論・十分性・点推定・検定・区間推定を例と演習を豊富に扱う。第1〜4章の主な参照先。
L. Wasserman, All of Statistics (Springer) — 統計学の主要な話題（ブートストラップ、ノンパラメトリック法、因果推論、機械学習との関係を含む）を簡潔に概観する。
E. L. Lehmann, J. P. Romano, Testing Statistical Hypotheses (Springer) — 仮説検定の理論の決定版。第4章の先を学ぶために。
A. Gelman et al., Bayesian Data Analysis (CRC Press) — 階層モデルとマルコフ連鎖モンテカルロ法を中心とする、ベイズ統計の実践の標準的な教科書。
G. W. Imbens, D. B. Rubin, Causal Inference for Statistics, Social, and Biomedical Sciences (Cambridge University Press) — 潜在結果モデルにもとづく因果推論の教科書。無作為化実験から観察研究までを扱う。
R. Kohavi, D. Tang, Y. Xu, Trustworthy Online Controlled Experiments (Cambridge University Press) — オンラインの A/B テストを正しく設計・分析するための実践的な解説書。第8章の実務面の参照先。

次に学ぶもの

24 機械学習の数理 — 第1・3・5章の確率分布・最尤推定・線形回帰を出発点に、汎化誤差と正則化、カーネル法、ニューラルネットワーク、学習理論へ進む。
11 確率論 — この科目で認めた大数の法則・中心極限定理・グリヴェンコ–カンテリの定理・条件付き期待値を、測度論にもとづいて証明する（06 測度と積分が前提）。マルコフ連鎖の収束定理は、第7章のマルコフ連鎖モンテカルロ法の理論的な基礎である。
23 最適化 — 最尤推定・最小二乗法・ロジスティック回帰・ラッソは最適化問題である。凸性・双対性・勾配法・ニュートン法を通じて、その解き方と解の性質を学ぶ。