第3章点推定

この章の目標

• 推定量を不偏性・一致性・平均二乗誤差で比べ、バイアス–バリアンス分解を使える
• モーメント法と最尤法で推定量を作り、正規・ポアソン・指数・二項分布の最尤推定量を導ける
• 十分統計量を分解定理で見つけ、ラオ–ブラックウェルの定理で推定量を改良できる
• フィッシャー情報量を計算し、クラメール–ラオの不等式をその仮定（正則条件）とともに説明できる
• 最尤推定量の漸近正規性を仮定つきで述べ、標準誤差の計算に使える
• 正則条件が崩れる例や、不偏性にこだわると困る例を挙げられる

前提：第1章、第2章。積分記号下の微分の十分条件は 06 第3章 定理 3.25 にあるが、本章ではそれを仮定として扱うので、測度論は使わない。

製造ラインの不良率、Web サイトの購入率、1 時間あたりの問い合わせ件数、機械が故障するまでの時間。実務で知りたい量の多くは確率分布のパラメータであり、データからその値を一つの数で推し量ることを点推定 (point estimation) という。推定に使う式（推定量）は標本の関数なので確率変数であり、その良し悪しは一回の推定値ではなく分布で判断しなければならない。

本章では良さの基準と推定量の作り方（モーメント法・最尤法）を学び、十分統計量とフィッシャー情報量を使って、不偏推定量の分散の下界（クラメール–ラオの不等式）と推定量の改良法（ラオ–ブラックウェルの定理）を証明する。これらの定理の仮定が崩れたときに何が起こるかにも注意を払う。

本章を通じて、観測値 $x_1, \dots, x_n$ を、確率関数または密度 $f(x; \theta)$ をもつ分布からの i.i.d. 標本 $X_1, \dots, X_n$ の実現値とみなす。$\theta$ は未知のパラメータ (parameter) で、パラメータ空間 $\Theta$ を動く。真の値が $\theta$ のときの確率・期待値・分散を $P_\theta$, $E_\theta$, $\operatorname{Var}_\theta$ と書き、離散の場合は積分を和に読み替える。分布の記号は第1章に従う（$\operatorname{Exp}(\lambda)$, $\operatorname{Gamma}(\alpha, \lambda)$ の $\lambda$ は率）。

3.1 推定量の良さ

定義 3.1（推定量, estimator）統計量（第2章）のうち、$\theta$ やその関数 $g(\theta)$ を推し量るために用いるものを推定量といい、$\hat{\theta} = \hat{\theta}(X_1, \dots, X_n)$ などと書く。観測値を代入した値 $\hat{\theta}(x_1, \dots, x_n)$ を推定値 (estimate) という。

定義 3.2 $\Theta \subset \mathbb{R}$ とし、$\hat{\theta}$ を $\theta$ の推定量とする。

1. $b(\theta) = E_\theta[\hat{\theta}] - \theta$ をバイアス (bias) という。すべての $\theta \in \Theta$ で $b(\theta) = 0$ のとき、$\hat{\theta}$ を不偏推定量 (unbiased estimator) という。
2. $\operatorname{MSE}_\theta(\hat{\theta}) = E_\theta[(\hat{\theta} - \theta)^2]$ を平均二乗誤差 (mean squared error) という。
3. 標本の大きさ $n$ ごとの推定量の列 $\hat{\theta}_n$ が、すべての $\theta \in \Theta$ について $\hat{\theta}_n \xrightarrow{P} \theta$（$n \to \infty$）を満たすとき、一致推定量 (consistent estimator) という。

「すべての $\theta$ で」が要点である。つねに $5$ と答える推定量は、真の値がたまたま $5$ なら誤差が $0$ だが、不偏でも一致的でもない。

定理 3.3（バイアス–バリアンス分解, bias–variance decomposition）$E_\theta[\hat{\theta}^2] < \infty$ ならば

$$\operatorname{MSE}_\theta(\hat{\theta}) = \operatorname{Var}_\theta(\hat{\theta}) + b(\theta)^2$$

証明. $m = E_\theta[\hat{\theta}]$ とおくと $(\hat{\theta} - \theta)^2 = (\hat{\theta} - m)^2 + 2(\hat{\theta} - m)(m - \theta) + (m - \theta)^2$。期待値をとると中央の項は $2(m - \theta)E_\theta[\hat{\theta} - m] = 0$ になり、第 1 項は $\operatorname{Var}_\theta(\hat{\theta})$、第 3 項は $b(\theta)^2$ である。$\square$

命題 3.4 すべての $\theta$ で $\operatorname{MSE}_\theta(\hat{\theta}_n) \to 0$ ならば、$\hat{\theta}_n$ は一致推定量である。特に、バイアスと分散がともに $0$ に収束すれば一致推定量である。

証明. マルコフの不等式（第1章 定理 1.25）を $(\hat{\theta}_n - \theta)^2$ に使うと、$\varepsilon > 0$ について $P_\theta(\lvert \hat{\theta}_n - \theta \rvert \geq \varepsilon) \leq \operatorname{MSE}_\theta(\hat{\theta}_n)/\varepsilon^2 \to 0$。後半は定理 3.3 による。$\square$

例 3.5（分散の推定量の比較）$X_i \sim N(\mu, \sigma^2)$、$n \geq 2$ とし、$Q = \sum_{i=1}^n (X_i - \bar{X})^2$ の定数倍 $cQ$ で $\sigma^2$ を推定する。第2章の定理 2.8 より $Q/\sigma^2 \sim \chi^2(n-1)$ で、その平均は $n - 1$、分散は $2(n - 1)$ だから、定理 3.3 より

$c$ で微分して $0$ とおくと $2c + (n-1)c - 1 = 0$ となり、$c = 1/(n+1)$ で最小になる。

$n = 10$ なら平均二乗誤差は順に $0.222\sigma^4$, $0.190\sigma^4$, $0.182\sigma^4$ である。少し小さめに推定してバイアスを入れると、分散の減少がそれを上回る。不偏推定量が平均二乗誤差の意味で最良とは限らない（この比較は正規分布の 4 次モーメントによるもので、裾の重い分布では変わりうる）。一方、すべての $\theta$ で平均二乗誤差を最小にする推定量は一般に存在しない（$\mu$ を $c\bar{X}$ で推定するとき、平均二乗誤差 $c^2\sigma^2/n + (c-1)^2\mu^2$ を最小にする $c$ は未知の $\mu, \sigma^2$ に依存する）。そこで不偏推定量の中で比べる、漸近的に比べる、などの工夫をする。

注意 3.6 不偏性は変数変換で保たれない。$S^2$ は $\sigma^2$ の不偏推定量だが、$S$ が定数でなければ $0 < \operatorname{Var}(S) = \sigma^2 - E[S]^2$ なので $E[S] < \sigma$ であり、$S$ は $\sigma$ の不偏推定量ではない。

3.2 モーメント法

最も素朴な推定法は、母集団のモーメントを標本のモーメントで置き換えることである。

定義 3.7（モーメント法, method of moments）$\theta = (\theta_1, \dots, \theta_k)$ とし、$\mu_j(\theta) = E_\theta[X_1^j]$、$m_j = \frac{1}{n}\sum_{i=1}^n X_i^j$ とする。連立方程式 $\mu_j(\theta) = m_j$（$j = 1, \dots, k$）の解 $\tilde{\theta}$ をモーメント推定量という。

例 3.8 (1) $\operatorname{Gamma}(\alpha, \lambda)$ では $E[X] = \alpha/\lambda$、$\operatorname{Var}(X) = \alpha/\lambda^2$ なので、$\hat{\sigma}^2 = m_2 - m_1^2 = \frac{1}{n}\sum_i (X_i - \bar{X})^2$ とおいて $\tilde{\lambda} = \bar{X}/\hat{\sigma}^2$, $\tilde{\alpha} = \bar{X}^2/\hat{\sigma}^2$。$\alpha$ の最尤推定量は閉じた式で書けないので、これは数値計算の初期値にも使われる。

(2) $U(0, \theta)$ では $E[X] = \theta/2$ だから $\tilde{\theta} = 2\bar{X}$。これは不偏で、分散は $4 \cdot \frac{\theta^2}{12n} = \frac{\theta^2}{3n}$ である。ただし観測値が $0.1, 0.1, 0.9$ なら $\tilde{\theta} = 0.733\ldots$ と、観測された $0.9$ より小さい。データと矛盾する推定値を出しうるのはモーメント法の弱点である。

モーメント推定量は多くの場合に一致推定量である。$E_\theta[\lvert X_1 \rvert^k] < \infty$ で、$\theta = h(\mu_1(\theta), \dots, \mu_k(\theta))$ となる $h$ がその点で連続ならば、大数の法則（第1章 定理 1.27）より各 $m_j \xrightarrow{P} \mu_j(\theta)$ であり、$h$ の連続性から $h(m_1, \dots, m_k) \xrightarrow{P} \theta$ となる（第1章 定理 1.29 の連続写像定理と同じ議論）。

3.3 最尤推定

定義 3.9（尤度・最尤推定量）観測値 $x = (x_1, \dots, x_n)$ を固定して $\theta$ の関数とみた $L(\theta) = \prod_{i=1}^n f(x_i; \theta)$ を尤度関数 (likelihood function)、$\ell(\theta) = \log L(\theta)$ を対数尤度 (log-likelihood) という。$L$ を $\Theta$ 上で最大にする $\hat{\theta} = \hat{\theta}(x)$ を最尤推定値、$x$ に標本 $X$ を代入した $\hat{\theta}(X)$ を最尤推定量 (maximum likelihood estimator, MLE) という。

観測されたデータが最も起こりやすくなるパラメータを選ぶ、という考え方である。尤度は $\theta$ についての確率分布ではない（$\theta$ で積分しても $1$ になるとは限らない）。以下の 4 つの例では、候補が本当に最大を与えることまで確かめる。

例 3.10（ベルヌーイ分布・二項分布）$X_i \sim B(1, p)$、$\Theta = [0, 1]$、$s = \sum_i x_i$ とすると $L(p) = p^s(1-p)^{n-s}$。$0 < s < n$ なら $L(0) = L(1) = 0$ で、$0 < p < 1$ において

は $p < s/n$ で正、$p > s/n$ で負だから、$L$ は $p = s/n$ で最大になる。$s = 0$ なら $L = (1-p)^n$ は $p = 0$ で、$s = n$ なら $L = p^n$ は $p = 1$ で最大。いずれの場合も $\hat{p} = \bar{X}$（標本比率）である。$m$ を既知として $X_i \sim B(m, p)$ なら、尤度は定数倍を除いて $p^s(1-p)^{nm - s}$ なので $\hat{p} = \bar{X}/m$。

例 3.11（ポアソン分布）$X_i \sim \operatorname{Po}(\lambda)$、$\Theta = [0, \infty)$ とする（$\operatorname{Po}(0)$ は $0$ に確率 $1$ をもつ分布と約束する）。$s = \sum_i x_i > 0$ なら $L(0) = 0$ で、$\lambda > 0$ では $\ell'(\lambda) = s/\lambda - n$ が $\lambda = s/n$ の前後で正から負に変わる。$s = 0$ なら $L(\lambda) = e^{-n\lambda}$ は $\lambda = 0$ で最大。いずれの場合も $\hat{\lambda} = \bar{X}$。

例 3.12（指数分布）$X_i \sim \operatorname{Exp}(\lambda)$、$\Theta = (0, \infty)$、$s = \sum_i x_i > 0$ とすると、$\ell(\lambda) = n\log\lambda - \lambda s$ で $\ell'(\lambda) = n/\lambda - s$ は $\lambda = n/s$ の前後で正から負に変わるので、$\hat{\lambda} = 1/\bar{X}$。これは不偏ではなく、$n \geq 2$ なら $E_\lambda[1/\bar{X}] = \frac{n}{n-1}\lambda$ と過大に推定する（問題 3.3）。

例 3.13（正規分布）$\theta = (\mu, v)$, $v = \sigma^2$、$\Theta = \mathbb{R} \times (0, \infty)$ とし、観測値のすべてが等しくはないとする（$n \geq 2$ なら確率 $1$）。$Q = \sum_i (x_i - \bar{x})^2 > 0$ とおくと $\sum_i (x_i - \mu)^2 = Q + n(\bar{x} - \mu)^2$ だから

で、等号は $\mu = \bar{x}$ のときに限る。$g'(v) = (Q - nv)/(2v^2)$ は $v = Q/n$ の前後で正から負に変わる。よって最尤推定量は $\hat{\mu} = \bar{X}$, $\hat{\sigma}^2 = \frac{1}{n}\sum_i (X_i - \bar{X})^2$ で、$\hat{\sigma}^2$ は例 3.5 のとおりバイアスをもつ。すべての $x_i$ が等しいと $v \to 0$ で $\ell \to \infty$ となり、最尤推定値は存在しない。

命題 3.14（最尤推定量の不変性）$g\colon \Theta \to \Theta'$ を全単射とし、モデルを $\eta = g(\theta)$ で表し直す。$\hat{\theta}$ が $\theta$ の最尤推定量ならば、$g(\hat{\theta})$ は $\eta$ の最尤推定量である。

証明. $\eta$ で表した尤度は $L'(\eta) = L(g^{-1}(\eta))$ なので、任意の $\eta$ で $L'(\eta) \leq L(\hat{\theta}) = L'(g(\hat{\theta}))$。$\square$

$g$ が単射でなくても $g(\hat{\theta})$ を $g(\theta)$ の最尤推定量と定めるのが普通である（$\sup \lbrace L(\theta) \mid g(\theta) = \eta \rbrace$ を最大にするのが $\eta = g(\hat{\theta})$）。たとえば $\sigma$ の最尤推定量は $\sqrt{\hat{\sigma}^2}$、指数分布の平均 $1/\lambda$ の最尤推定量は $\bar{X}$ である。不偏性にはこの性質がない（注意 3.6）。

例 3.15（一様分布 $U(0, \theta)$）$f(x; \theta) = \frac{1}{\theta}\mathbf{1}_{[0, \theta]}(x)$ とし、観測値 $x_i \geq 0$ の最大値を $M$ とする。$L(\theta)$ は $\theta < M$ で $0$、$\theta \geq M$ で $\theta^{-n}$ なので、最尤推定量は $X_{(n)} = \max_i X_i$ である。$\theta > M$ で $\ell'(\theta) = -n/\theta \neq 0$ なので、尤度方程式 $\ell'(\theta) = 0$ を解いても見つからない。$0 \leq t \leq \theta$ で $P_\theta(X_{(n)} \leq t) = (t/\theta)^n$ だから、$X_{(n)}$ の密度は $nt^{n-1}/\theta^n$ で

最尤推定量はつねに過小評価し、平均二乗誤差は $\frac{2\theta^2}{(n+1)(n+2)}$ である。$\hat{\theta}_U = \frac{n+1}{n}X_{(n)}$ は不偏で、分散は $\frac{\theta^2}{n(n+2)}$。$cX_{(n)}$ の形では、平均二乗誤差 $\theta^2\bigl(\frac{n}{n+2}c^2 - \frac{2n}{n+1}c + 1\bigr)$ を最小にするのは $c = \frac{n+2}{n+1}$ で、最小値 $\frac{\theta^2}{(n+1)^2}$ は $\hat{\theta}_U$ の分散より小さい。いずれも、モーメント推定量 $2\bar{X}$ の分散 $\frac{\theta^2}{3n}$ と違い $1/n^2$ のオーダーで減る（$\theta = 1$, $n = 10$ で 10 万回シミュレーションすると、$2\bar{X}$, $X_{(n)}$, $\hat{\theta}_U$ の平均二乗誤差は $0.0333$, $0.0151$, $0.0083$ で、理論値 $1/30$, $1/66$, $1/120$ と一致した）。

注意 3.16 最尤推定量が閉じた式で書けるのはむしろ例外で、ガンマ分布の形状パラメータやロジスティック回帰（第6章）では数値最適化で求める。最大点が一意でないこともある（問題 3.2）。

3.4 十分統計量

例 3.10・3.11 の最尤推定量は和 $\sum_i x_i$ だけで決まった。データをある統計量に要約しても $\theta$ についての情報を失わない、ということを定式化する。

定義 3.17（十分統計量, sufficient statistic）標本 $X = (X_1, \dots, X_n)$ が離散分布に従う（可算集合に値をとる）とする。統計量 $T = T(X)$ が $\theta$ の十分統計量であるとは、$P_\theta(T = t) > 0$ となるすべての $\theta$, $t$ と、すべての $x$ について、$P_\theta(X = x \mid T = t)$ が $\theta$ によらないことをいう。

$T$ の値がわかれば、残りのばらつきは $\theta$ と無関係である。$T$ だけから、$\theta$ を知らなくても乱数で $X$ と同じ分布のデータを作り直せるので、$X$ でできる推測は $T$ でもできる。

例 3.18（ベルヌーイ分布）$0 < p < 1$、$T = \sum_i X_i$ とする。$\sum_i x_i = t$ となる $x \in \lbrace 0, 1 \rbrace^n$ について

であり、$\sum_i x_i \neq t$ なら $0$ である。どちらも $p$ によらないので $T$ は十分統計量である。不良品の個数がわかれば、何番目が不良だったかは $p$ について何も教えない。

定理 3.19（フィッシャー–ネイマンの分解定理, factorization theorem）離散の場合、$T$ が $\theta$ の十分統計量であるための必要十分条件は、関数 $g(t; \theta) \geq 0$ と $h(x) \geq 0$ があって、すべての $x$ と $\theta$ について

$$P_\theta(X = x) = g(T(x); \theta)\, h(x)$$

と書けることである。

証明. （必要性）$g(t; \theta) = P_\theta(T = t)$ とおく。各 $x$ について、$P_{\theta_0}(T = T(x)) > 0$ となる $\theta_0$ があれば $h(x) = P_{\theta_0}(X = x \mid T = T(x))$ とおき（十分性より $\theta_0$ の選び方によらない）、なければ $h(x) = 0$ とおく。$P_\theta(T = T(x)) > 0$ なら、$\lbrace X = x \rbrace \subset \lbrace T = T(x) \rbrace$ より $P_\theta(X = x) = P_\theta(T = T(x))P_\theta(X = x \mid T = T(x)) = g(T(x); \theta)h(x)$。$P_\theta(T = T(x)) = 0$ なら、$P_\theta(X = x) \leq P_\theta(T = T(x)) = 0$ で、右辺も $g(T(x); \theta) = 0$ より $0$ である。

（十分性）$P_\theta(T = t) > 0$ とし、$A_t = \lbrace y \mid T(y) = t \rbrace$ とおく。$P_\theta(T = t) = g(t; \theta)\sum_{y \in A_t}h(y) > 0$ なので、$g(t; \theta) > 0$ かつ $\sum_{y \in A_t}h(y) > 0$。$x \in A_t$ なら

で、$x \notin A_t$ なら $0$ である。いずれも $\theta$ によらない。$\square$

注意 3.20（密度の場合）同時密度 $f(x; \theta)$ をもつ場合も、$f(x; \theta) = g(T(x); \theta)h(x)$ と分解できることが十分性の必要十分条件である。ただし確率 $0$ の事象 $\lbrace T = t \rbrace$ のもとでの条件付き分布には測度論的な条件付き期待値（11 第5章）が要るので、証明は Lehmann–Romano に譲り、本科目ではこの分解を十分性の判定法として用いる。

例 3.21 (1) ポアソン分布：$\prod_i e^{-\lambda}\lambda^{x_i}/x_i! = e^{-n\lambda}\lambda^{\sum_i x_i} \cdot \prod_i (1/x_i!)$ より $\sum_i X_i$ は十分統計量である。(2) 正規分布：同時密度 $(2\pi\sigma^2)^{-n/2}\exp\bigl(-(\sum_i x_i^2 - 2\mu\sum_i x_i + n\mu^2)/(2\sigma^2)\bigr)$ より $(\sum_i X_i, \sum_i X_i^2)$、したがってそれと互いに他方の関数である $(\bar{X}, S^2)$ は $(\mu, \sigma^2)$ の十分統計量である。(3) $U(0, \theta)$：同時密度 $\theta^{-n}\mathbf{1}_{\lbrace \max_i x_i \leq \theta \rbrace} \cdot \mathbf{1}_{\lbrace \min_i x_i \geq 0 \rbrace}$ より $X_{(n)}$ は十分統計量である。

分解 $L(\theta) = g(T(x); \theta)h(x)$ から、尤度を最大にする $\theta$ は $T(x)$ だけで決まる。最尤推定量が一意なら、それは任意の十分統計量の関数である。

3.5 フィッシャー情報量とクラメール–ラオの不等式

不偏推定量どうしなら、平均二乗誤差は分散そのものである。分散はどこまで小さくできるのか。$\theta$ を少し動かしたときに分布が大きく変わるほど、データから $\theta$ を正確に見分けられるはずである。この節では $\Theta$ を開区間とし、$f(x; \theta)$ で標本全体 $x = (x_1, \dots, x_n)$ の同時確率関数または同時密度を表す。

定義 3.22（正則条件, regularity conditions）次の (R1)〜(R3) を正則条件という。

• (R1) 台 $\lbrace x \mid f(x; \theta) > 0 \rbrace$ が $\theta$ によらない。
• (R2) 台の各点 $x$ で、$\theta \mapsto f(x; \theta)$ は微分可能である。
• (R3) $\int f(x; \theta)\ dx = 1$ を積分記号下で微分できる。すなわち $\int \partial_\theta f(x; \theta)\ dx = 0$。

定義 3.23（スコア関数・フィッシャー情報量）台の上で定まる $s(x; \theta) = \partial_\theta \log f(x; \theta)$ をスコア関数 (score function)、$I(\theta) = E_\theta[s(X; \theta)^2]$ をフィッシャー情報量 (Fisher information) という。1 個の観測のものを $I_1(\theta)$、大きさ $n$ の標本全体のものを $I_n(\theta)$ と書く。

補題 3.24 正則条件のもとで次が成り立つ。

1. $E_\theta[s(X; \theta)] = 0$。したがって $I(\theta) = \operatorname{Var}_\theta(s(X; \theta))$。
2. $X_1, \dots, X_n$ が i.i.d. で、1 個の観測のモデルが正則条件を満たすならば、$I_n(\theta) = nI_1(\theta)$。
3. さらに $f$ が $\theta$ について 2 回微分可能で $\int \partial_\theta^2 f(x; \theta)\ dx = 0$ ならば、$I(\theta) = -E_\theta[\partial_\theta^2 \log f(X; \theta)]$。

証明. 1. (R1) より積分範囲は $\theta$ によらない台であり、(R3) より $E_\theta[s] = \int (\partial_\theta f/f)f\ dx = \int \partial_\theta f\ dx = 0$。2. 標本全体のスコアは i.i.d. な $s_1(X_i; \theta)$ の和であり、1 より各項は平均 $0$、分散 $I_1(\theta)$ である。3. $\partial_\theta^2 \log f = \partial_\theta^2 f/f - s^2$ の期待値をとり、$E_\theta[\partial_\theta^2 f/f] = \int \partial_\theta^2 f\ dx = 0$ を使う。$\square$

定理 3.25（クラメール–ラオの不等式, Cramér–Rao inequality）正則条件を仮定し、$0 < I_n(\theta) < \infty$ とする。統計量 $T$ が $E_\theta[T^2] < \infty$ を満たし、$\psi(\theta) = E_\theta[T]$ が積分記号下で微分できる、すなわち $\psi'(\theta) = \int T(x)\partial_\theta f(x; \theta)\ dx$ とする。このとき

$$\operatorname{Var}_\theta(T) \geq \frac{\psi'(\theta)^2}{I_n(\theta)}$$

特に i.i.d. の場合、$T$ が $\theta$ の不偏推定量なら $\operatorname{Var}_\theta(T) \geq 1/(nI_1(\theta))$。

証明. 仮定と補題 3.24 の 1 より

コーシー–シュワルツの不等式（第1章 命題 1.8 の 4 の $\lvert \rho \rvert \leq 1$）より $\psi'(\theta)^2 \leq \operatorname{Var}_\theta(T)\operatorname{Var}_\theta(s) = \operatorname{Var}_\theta(T)I_n(\theta)$。$\square$

注意 3.26 (1) 等号は $T - \psi(\theta) = c(\theta)s(X; \theta)$ が確率 $1$ で成り立つとき（$T$ がスコアの 1 次式のとき）に限る。(2) 不偏推定量で下界を達成するものを有効推定量 (efficient estimator)、すべての $\theta$ で分散が最小の不偏推定量を一様最小分散不偏推定量 (UMVU estimator) という。有効推定量は（定理 3.25 の仮定を満たす不偏推定量の中で）分散が最小だが、逆に UMVU が下界を達成するとは限らない（例 3.27）。(3) 正規・ポアソン・二項・指数分布などの指数型分布族（第6章）は、パラメータが開区間を動けばこれらの仮定を満たす（Lehmann–Romano）。(4) $\theta \in \mathbb{R}^k$ では、$s = \nabla_\theta \log f$ としてフィッシャー情報行列 $I(\theta) = E_\theta[ss^{\top}]$ を使う（$A^{\top}$ は転置で、02 線形代数の ${}^tA$ と同じ）。これが正則なら $\operatorname{Var}_\theta(T) \geq \nabla\psi^{\top}I_n^{-1}\nabla\psi$ が成り立つ（$a^{\top}s$ に 1 次元の議論を使い、$a$ について最大化する）。

例 3.27（フィッシャー情報量の計算）パラメータ空間はいずれも開区間とする。

$I_1$ はスコアの分散として計算でき、上の 3 つでは $\bar{X}$ が有効推定量である。指数分布では、不偏推定量 $\frac{n-1}{n\bar{X}}$（$n \geq 3$）の分散は $\frac{\lambda^2}{n-2}$ で下界に届かない（問題 3.3。これが UMVU であることは注意 3.31 で述べる）。一方、平均 $\psi(\lambda) = 1/\lambda$ に対する下界は $\psi'(\lambda)^2/(nI_1(\lambda)) = 1/(n\lambda^2) = \operatorname{Var}(\bar{X})$ で、$\bar{X}$ は有効である。何を推定するかで有効性は変わる。

例 3.28（正則条件が崩れる例：一様分布）$U(0, \theta)$ では台 $[0, \theta]$ が $\theta$ に依存し、(R1) が成り立たない。台の上では形式的に $s = \partial_\theta \log f_1(x; \theta) = -1/\theta$ なので、定義どおりの「情報量」は $E_\theta[s^2] = 1/\theta^2$、「下界」は $\theta^2/n$ になる。ところが例 3.15 の不偏推定量 $\hat{\theta}_U = \frac{n+1}{n}X_{(n)}$ の分散は $\frac{\theta^2}{n(n+2)} < \frac{\theta^2}{n}$ であり、しかも $1/n^2$ のオーダーで小さくなる。壊れたのは積分記号下の微分 (R3) で、補題 3.24 の 1 が成り立たず、実際 $E_\theta[s] = -1/\theta$ である（そのため $I_n = nI_1$ も成り立たない。標本全体の形式的なスコア $-n/\theta$ から「下界」を作っても $\theta^2/n^2$ で、$\hat{\theta}_U$ の分散はやはりそれを下回る）。積分の上端が $\theta$ に依存するので

となり、(R3) の積分記号下の微分ができない（差は上端から来る境界項 $f_1(\theta; \theta)$）。台の端 $\theta$ はデータの最大値にくっきり現れるので、密度のなめらかな変化から読み取るよりはるかに速く決まるのである。

3.6 ラオ–ブラックウェルの定理

十分統計量を使うと、与えられた推定量を改良できる。

定理 3.29（ラオ–ブラックウェルの定理, Rao–Blackwell theorem）$T$ を $\theta$ の十分統計量、$\delta$ をすべての $\theta$ で $E_\theta[\delta^2] < \infty$ を満たす推定量とし、$\delta^{\ast} = E[\delta \mid T]$ とおく。このとき

1. $\delta^{\ast}$ は $\theta$ によらない（統計量である）。
2. $E_\theta[\delta^{\ast}] = E_\theta[\delta]$。特に $\delta$ が $g(\theta)$ の不偏推定量なら $\delta^{\ast}$ もそうである。
3. $g(\theta)$ の推定量として $\operatorname{MSE}_\theta(\delta^{\ast}) \leq \operatorname{MSE}_\theta(\delta)$ であり、等号は $P_\theta(\delta = \delta^{\ast}) = 1$ のときに限る。

証明. 離散の場合に示す。1. $P_\theta(T = t) > 0$ となる $t$ について $\delta^{\ast}(t) = \sum_x \delta(x)P_\theta(X = x \mid T = t)$ であり、十分性より右辺は $\theta$ によらない。2. 第1章の全期待値の公式（命題 1.12）より $E_\theta[\delta^{\ast}] = E_\theta[E_\theta[\delta \mid T]] = E_\theta[\delta]$。3. 全分散の公式より