第8章実験計画・A/B テスト・因果推論

この章の目標

• 潜在結果モデルで因果効果を定義し、SUTVA などの仮定のもとで、無作為化により平均処置効果が識別されることを証明できる
• A/B テストの検出力と標本サイズの近似公式を導出し、何が近似なのかを説明できる
• ボンフェローニ法・ホルム法が FWER を、ベンジャミニ–ホッホベルク法が（独立な場合に）FDR を制御することを証明できる
• 途中で結果をのぞいて有意になったら止めると第 1 種の過誤が増えることを、数値実験と重複対数の法則で説明できる
• 交絡とシンプソンのパラドックスを数値例で説明し、傾向スコア・差の差法・回帰不連続デザインの考え方と仮定を述べられる

前提：第1章、第4章。8.5 節では 11 確率論 の重複対数の法則とマルチンゲールの不等式を引用する。8.6 節の傾向スコアの推定では第6章のロジスティック回帰を、8.7 節では第5章の線形回帰を使う。

あるアプリで、新機能を使ったユーザーは、使わなかったユーザーより翌月の利用時間が 30% 長かった。新機能が利用時間を延ばしたのだろうか。もともと熱心なユーザーほど新機能を試すのなら、この差は新機能の効果ではなく、使った人と使わなかった人の違いを映しているだけかもしれない。相関は因果を意味しない。では、因果効果とは数学的に何であり、どんな条件のもとでデータから推定できるのか。

本章では、因果効果を潜在結果で定義し、無作為化が因果効果の推定を可能にする理由を証明する。ウェブサービスで日常的に行われる A/B テスト（ユーザーを無作為に 2 群に分けて施策を比べる実験）は、その最も単純な応用である。続いて、実験の設計（標本サイズ）と解析の落とし穴（多重比較、途中でのぞき見ること）を扱い、最後に、無作為化できない観察データから因果効果に迫る方法（傾向スコア、差の差法、回帰不連続デザイン）を紹介する。

8.1 潜在結果モデル

定義 8.1（潜在結果・処置効果）各個体について、処置を受けた場合の結果 $Y(1)$ と受けなかった場合の結果 $Y(0)$ を考え、潜在結果 (potential outcomes) という。$Y(1) - Y(0)$ をその個体の処置効果という。処置の有無を $Z \in \lbrace 0, 1 \rbrace$ とし、個体ごとの $(Y(0), Y(1), Z)$ を確率ベクトルとみなして

$$\tau_{\mathrm{ATE}} = E[Y(1) - Y(0)], \qquad \tau_{\mathrm{ATT}} = E[Y(1) - Y(0) \mid Z = 1]$$

を平均処置効果 (average treatment effect, ATE)、処置群の平均処置効果 (average treatment effect on the treated, ATT) という。

この枠組みはネイマン（1923 年）が農事試験の解析のために導入し、ルービンが 1970 年代に観察研究を含む因果推論の一般的な枠組みに発展させた（ルービンの因果モデル）。1 つの個体については $Y(1)$ と $Y(0)$ の一方しか観測できないので、個体の処置効果は決して観測できない。これを因果推論の根本問題という。観測値と潜在結果を結びつけるのが次の仮定である。

定義 8.2（SUTVA）次の 2 つを合わせて SUTVA（stable unit treatment value assumption）という。(1) 干渉がない：各個体の潜在結果は、ほかの個体が処置を受けるかどうかによらない。(2) 処置は一通り：同じ「処置」の中に、結果に影響する別の版はない。

SUTVA のもとで、各個体の潜在結果は自分の処置だけで決まる 2 つの値として定義でき、観測される結果は

である。以下、この式を使うときは SUTVA を仮定している。

命題 8.3（単純比較の偏り）$0 < P(Z = 1) < 1$ とし、現れる期待値は存在するとする。SUTVA のもとで

$$E[Y \mid Z = 1] - E[Y \mid Z = 0] = \tau_{\mathrm{ATT}} + \bigl(E[Y(0) \mid Z = 1] - E[Y(0) \mid Z = 0]\bigr)$$

証明. $Z = 1$ なら $Y = Y(1)$、$Z = 0$ なら $Y = Y(0)$ なので、左辺は $E[Y(1) \mid Z = 1] - E[Y(0) \mid Z = 0]$ に等しい。これに $E[Y(0) \mid Z = 1]$ を引いて足せばよい。$\square$

右辺の第 2 項を選択バイアス (selection bias) という。処置を受けた個体が、処置がなくても結果のよい個体であれば正になる。冒頭の例では、熱心なユーザーほど新機能を使うなら、新機能がなくても利用時間は長いので、単純な比較は効果を過大に見せる。第1章 例 1.24 の後の TIP の、成績の悪かった店舗だけを選んで施策を評価すると平均への回帰が効果に見える例も、選び方による偏りである。

8.2 無作為化による識別

処置を無作為に割り付ければ、選択バイアスは消える。

定理 8.4（無作為化による識別） SUTVA を仮定し、$Z$ が $(Y(0), Y(1))$ と独立（無作為化）で、$0 < P(Z = 1) < 1$、$E[\lvert Y(0) \rvert], E[\lvert Y(1) \rvert] < \infty$ とする。このとき

$$E[Y \mid Z = 1] - E[Y \mid Z = 0] = \tau_{\mathrm{ATE}} = \tau_{\mathrm{ATT}}$$

である。特に、個体が i.i.d. のとき、処置群と対照群の標本平均の差 $\hat{\tau} = \bar{Y}_1 - \bar{Y}_0$ は、個体数 $N \to \infty$ で $\tau_{\mathrm{ATE}}$ に確率収束する。

証明. $z \in \lbrace 0, 1 \rbrace$ について、SUTVA より $Y\mathbf{1}_{\lbrace Z = z \rbrace} = Y(z)\mathbf{1}_{\lbrace Z = z \rbrace}$ である。独立な確率変数の積の期待値は期待値の積なので（第1章 命題 1.6 の 3）

よって左辺は $E[Y(1)] - E[Y(0)] = \tau_{\mathrm{ATE}}$ である。同様に、独立性から $E[Y(1) - Y(0) \mid Z = 1] = E[Y(1) - Y(0)]$。後半：$\bar{Y}_1$ は $\frac{1}{N}\sum_i Y_i\mathbf{1}_{\lbrace Z_i = 1 \rbrace}$ を $\frac{1}{N}\sum_i \mathbf{1}_{\lbrace Z_i = 1 \rbrace}$ で割ったもので、分子と分母は大数の法則（第1章 定理 1.27 の 2）によりそれぞれ $E[Y\mathbf{1}_{\lbrace Z = 1 \rbrace}]$ と $P(Z = 1) > 0$ に確率収束するから、$\bar{Y}_1$ は $E[Y \mid Z = 1]$ に確率収束する（第1章 定理 1.29 の連続写像定理）。$\bar{Y}_0$ も同様である。$\square$

観測できる $(Z, Y)$ の分布だけで目的の量が決まることを識別 (identification) という。定理 8.4 は、無作為化のもとで平均処置効果が識別されることを示している。母集団を考えず、実験に参加した個体だけについて述べることもできる。

定理 8.5（完全無作為化実験）$N$ 個の個体の潜在結果 $y_i(0), y_i(1)$（$i = 1, \dots, N$）を定数とし、$N$ 個体から $N_1$ 個体（$1 \leq N_1 \leq N - 1$）を、どの組合せも等確率になるように選んで処置群とする（$N_0 = N - N_1$）。SUTVA のもとで、処置群と対照群の観測値の平均の差 $\hat{\tau} = \bar{Y}_1 - \bar{Y}_0$ は

$$\tau_{\mathrm{fp}} = \frac{1}{N}\sum_{i=1}^{N}\bigl(y_i(1) - y_i(0)\bigr)$$

の不偏推定量である。

証明. 個体 $i$ が処置群に入るとき $Z_i = 1$ とすると、$P(Z_i = 1) = \binom{N-1}{N_1-1}/\binom{N}{N_1} = N_1/N$。SUTVA より $\bar{Y}_1 = \frac{1}{N_1}\sum_i Z_iy_i(1)$ なので、$E[\bar{Y}_1] = \frac{1}{N_1}\sum_i \frac{N_1}{N}y_i(1) = \frac{1}{N}\sum_i y_i(1)$。同様に $E[\bar{Y}_0] = \frac{1}{N}\sum_i y_i(0)$。$\square$

定理 8.5 では、確率は割り付けの無作為性だけから生じ、潜在結果の分布については何も仮定していない。$\hat{\tau}$ の分散は $S_1^2/N_1 + S_0^2/N_0 - S_\tau^2/N$ である。ここで $S_z^2$ は $y_1(z), \dots, y_N(z)$ の、$S_\tau^2$ は個体の処置効果 $y_i(1) - y_i(0)$ の、$N - 1$ で割った分散である（ネイマンの公式。主張のみ。Imbens–Rubin を参照）。$S_\tau^2$ は観測できないので、各群の不偏分散 $s_z^2$ による通常の推定量 $s_1^2/N_1 + s_0^2/N_0$ は、平均的に真の分散以上になる（保守的）。

8.3 A/B テストの検出力と標本サイズ

A/B テストでは、実験の前に「どれだけの差を、どれだけの確率で検出したいか」を決め、必要な人数を計算する。人数が少なすぎる実験は、効果があっても見逃しやすく（第4章 4.9 節）、有意になったときには効果を過大に推定しがちである（第7章の勝者の呪い）。

各群 $n$ 人とし、差の推定量を $D$（比率の差 $\hat{p}_B - \hat{p}_A$ や平均の差 $\bar{Y}_B - \bar{Y}_A$）、真の差を $\delta$ とする。中心極限定理により、$D$ は近似的に $N(\delta, \sigma_1^2/n)$ に従い、帰無仮説 $\delta = 0$ のもとでは $N(0, \sigma_0^2/n)$ に従う。両側有意水準 $\alpha$ の検定は $\lvert D \rvert \geq z_{\alpha/2}\sigma_0/\sqrt{n}$ のとき棄却する（$z_\alpha$ は上側 $\alpha$ 点）。まず、正規分布が厳密に成り立つとして計算する。

命題 8.6（検出力と標本サイズ）$D \sim N(\delta, s_1^2)$、$\delta > 0$ とし、$\lvert D \rvert \geq z_{\alpha/2}s_0$ のとき棄却する検定を考える（$s_0, s_1 > 0$）。この検定の検出力は

$$\Phi\left(\frac{\delta - z_{\alpha/2}s_0}{s_1}\right) + \Phi\left(\frac{-\delta - z_{\alpha/2}s_0}{s_1}\right)$$

であり、$0 < \beta < 1/2$ について、$\delta \geq z_{\alpha/2}s_0 + z_\beta s_1$ ならば検出力は $1 - \beta$ 以上である。$s_0 = \sigma_0/\sqrt{n}$、$s_1 = \sigma_1/\sqrt{n}$ のとき、この条件は次と同値である。

$$n \geq \frac{(z_{\alpha/2}\sigma_0 + z_\beta\sigma_1)^2}{\delta^2}$$

証明. $(D - \delta)/s_1 \sim N(0, 1)$ と $1 - \Phi(-u) = \Phi(u)$ より

であり、同様に $P(D \leq -z_{\alpha/2}s_0) = \Phi((-\delta - z_{\alpha/2}s_0)/s_1)$ で、この 2 つの和が検出力である。第 2 項は正なので、第 1 項が $1 - \beta = \Phi(z_\beta)$ 以上なら検出力は $1 - \beta$ 以上であり、$\Phi$ の単調性より、それは $(\delta - z_{\alpha/2}s_0)/s_1 \geq z_\beta$ と同値である。最後の同値は、両辺に $\sqrt{n}$ を掛けて整理すればよい（$z_\beta > 0$ に注意）。$\square$

命題 8.6 を A/B テストに使うときの近似は、(i) $D$ を正規分布で置き換えること（中心極限定理による。有限の $n$ での誤差は、分布の歪みや裾の重さとともに大きくなりやすい。第1章 1.7 節の WARNING）と、(ii) 実際の検定では分散を推定値で置き換えるのに、それを真の値とみなすことの 2 点である。第 2 項を無視するのは検出力を低めに見積もる側なので、それ自体は安全側である。

系 8.7（標本サイズの近似公式）両側有意水準 $\alpha$、検出力 $1 - \beta$ で差 $\delta \neq 0$ を検出するための 1 群あたりの人数は、近似的に次のとおりである。

1. （比率の差）購入率 $p_A$ と $p_B = p_A + \delta$ を、帰無仮説のもとでの分散にプールした比率を使う $z$ 検定で比べるなら、$\bar{p} = (p_A + p_B)/2$ として

$$n = \frac{\left(z_{\alpha/2}\sqrt{2\bar{p}(1 - \bar{p})} + z_\beta\sqrt{p_A(1 - p_A) + p_B(1 - p_B)}\right)^2}{\delta^2}$$

2. （平均の差）両群の標準偏差が共通の $\sigma$ なら、$n = 2\sigma^2(z_{\alpha/2} + z_\beta)^2/\delta^2$。

証明. 1. 各群 $n$ 人なら $\operatorname{Var}(\hat{p}_B - \hat{p}_A) = (p_A(1 - p_A) + p_B(1 - p_B))/n$ で、帰無仮説 $p_A = p_B = p$ のもとでは $2p(1 - p)/n$ である。プールした比率は $\bar{p}$ の近くの値をとるので、$\sigma_0^2 = 2\bar{p}(1 - \bar{p})$、$\sigma_1^2 = p_A(1 - p_A) + p_B(1 - p_B)$ として命題 8.6 を使う（$\delta < 0$ なら A と B を入れ替える）。2. $\sigma_0^2 = \sigma_1^2 = 2\sigma^2$ として命題 8.6 を使う。$\square$

$\alpha = 0.05$、検出力 $0.8$ では $z_{0.025} = 1.960$、$z_{0.2} = 0.842$ で、$2(z_{0.025} + z_{0.2})^2 = 15.7$ だから、平均の差では $n \approx 16\sigma^2/\delta^2$ と覚えておくと便利である。必要な人数は $\delta^2$ に反比例し、検出したい差を半分にすると約 4 倍になる。

例 8.8 購入率 $p_A = 0.10$ のページで $p_B = 0.11$（相対 10% の改善）を、両側 5%、検出力 80% で検出するには、系 8.7 の 1 より 1 群 $n = 14751$ 人が必要である。この $n$ で二項分布から 40 万回のシミュレーションを行うと、プールした比率の $z$ 検定の棄却率は $p_B = 0.11$ で $0.801$、$p_B = 0.10$ で $0.050$ であり（計算機による）、近似はよい。検出したい差を 2 倍の $p_B = 0.12$ にすると $n = 3841$ である。1 人あたり売上（標準偏差 $\sigma = 3000$ 円）で $\delta = 100$ 円の差を検出するには、系 8.7 の 2 より $n = 14128$ 人が必要である。売上のように裾の重い分布では中心極限定理による近似が遅く、少数の高額購入者が結果を左右することにも注意が要る。

8.4 多重比較

一つの実験で多数の指標を検定すると、すべての帰無仮説が正しくても、どれかが有意になる確率は大きくなる（独立な 20 個の検定なら $1 - 0.95^{20} = 0.64$。第4章 問題 4.7）。以下、$m$ 個の帰無仮説 $H_1, \dots, H_m$ とその $p$ 値 $p_1, \dots, p_m$ を考える。正しい帰無仮説の添字の集合を $I_0$、$m_0 = \lvert I_0 \rvert$ とし、$i \in I_0$ の $p$ 値はすべての $u \in [0, 1]$ で $P(p_i \leq u) \leq u$ をみたすとする（第4章 定理 4.10）。棄却した仮説の数を $R$、そのうち正しい帰無仮説の数を $V$ とする。

定義 8.9（FWER と FDR）$\mathrm{FWER} = P(V \geq 1)$ をファミリーワイズ・エラー率 (family-wise error rate)、$\mathrm{FDR} = E[V/\max(R, 1)]$ を偽発見率 (false discovery rate) という。

FWER は「一つでも誤って棄却する確率」、FDR は「棄却したもの（発見）のうち誤りの割合の期待値」である。$V/\max(R, 1) \leq \mathbf{1}_{\lbrace V \geq 1 \rbrace}$ なので $\mathrm{FDR} \leq \mathrm{FWER}$ である。

定理 8.10（ボンフェローニ法）$p$ 値が $\alpha/m$ 以下の仮説を棄却すると、$p$ 値の間の依存関係によらず $\mathrm{FWER} \leq m_0\alpha/m \leq \alpha$ である。

証明. $P(V \geq 1) = P\left(\bigcup_{i \in I_0}\lbrace p_i \leq \alpha/m \rbrace\right) \leq \sum_{i \in I_0}P(p_i \leq \alpha/m) \leq m_0\alpha/m$。$\square$

定理 8.11（ホルム法, Holm 1979）$p$ 値を小さい順に $p_{(1)} \leq \cdots \leq p_{(m)}$ と並べ、対応する仮説を $H_{(1)}, \dots, H_{(m)}$ とする（同じ値は任意の順に並べる）。$p_{(k)} > \alpha/(m - k + 1)$ となる最小の $k$ をとり、$H_{(1)}, \dots, H_{(k-1)}$ を棄却する（そのような $k$ がなければすべて棄却する）。このとき、$p$ 値の間の依存関係によらず $\mathrm{FWER} \leq \alpha$ である。

証明. $m_0 \geq 1$ としてよい。並べた順で最初に現れる正しい帰無仮説を $j$ 番目とすると、それより前の $j - 1$ 個はすべて誤った帰無仮説なので $j - 1 \leq m - m_0$、すなわち $m - j + 1 \geq m_0$ である。ホルム法は並べた順で先頭から続けて棄却するので、正しい帰無仮説が一つでも棄却されるなら $H_{(j)}$ も棄却されており、そのためには $p_{(j)} \leq \alpha/(m - j + 1) \leq \alpha/m_0$ でなければならない。$p_{(j)} = \min_{i \in I_0}p_i$ だから

ボンフェローニ法が棄却する仮説はホルム法でも棄却されるので（$k \leq m$ で $\alpha/m \leq \alpha/(m - k + 1)$）、ホルム法は同じ保証のもとで、つねに同じかそれ以上の数を棄却する。

何千もの候補（商品、広告のセグメント、遺伝子）から「さらに調べる価値のあるもの」を選ぶ場面では、一つの誤りも許さない FWER の制御は厳しすぎ、発見のうち誤りの割合を抑えれば十分なことが多い。第4章 4.3 節の WARNING（$p$ 値の誤解）の例で、有意になった施策の 36% が実は効果のないものだったのは、この割合が大きい状況である。

定理 8.12（ベンジャミニ–ホッホベルク法, Benjamini–Hochberg 1995）$R = \max\lbrace k \mid p_{(k)} \leq k\alpha/m \rbrace$（そのような $k$ がなければ $R = 0$）とし、$H_{(1)}, \dots, H_{(R)}$ を棄却する（BH 法）。各 $i \in I_0$ について、$p_i$ がほかの $p$ 値の組 $(p_j)_{j \neq i}$ と独立ならば、$\mathrm{FDR} \leq m_0\alpha/m \leq \alpha$ である。$i \in I_0$ の $p_i$ が一様分布に従うなら、等号 $\mathrm{FDR} = m_0\alpha/m$ が成り立つ。

証明. $c(k) = \lvert \lbrace j \mid p_j \leq k\alpha/m \rbrace \rvert$（$k = 0, 1, \dots, m$）とおくと、$p_{(k)} \leq k\alpha/m \iff c(k) \geq k$ なので、$R = \max\lbrace k \mid c(k) \geq k \rbrace$ である（$k = 0$ はつねに条件をみたす）。

(a) 棄却されるのは、ちょうど $p_j \leq R\alpha/m$ となる $H_j$ である。実際、$c(R) > R$ なら、$c$ は単調増加だから $c(c(R)) \geq c(R)$ となり、$R$ の最大性に反する。よって $c(R) = R$ で、$p_j \leq R\alpha/m$ となる $j$ はちょうど $R$ 個、すなわち $p$ 値の小さい方から $R$ 個である。

(b) $i \in I_0$ を固定し、$p_i$ を $0$ に置き換えた組で計算した $c, R$ を $\tilde{c}, R_i$ とする。$R_i$ は $(p_j)_{j \neq i}$ だけの関数で、$\tilde{c}(1) \geq 1$ より $R_i \geq 1$ である。$k \geq 1$ について

を示す。$\tilde{c}(l) = c(l) + \mathbf{1}_{\lbrace p_i > l\alpha/m \rbrace}$ なので、$p_i \leq k\alpha/m$ なら $l \geq k$ で $\tilde{c}(l) = c(l)$ である。よって $p_i \leq k\alpha/m$ のもとで、「$c(k) \geq k$ かつ $l > k$ では $c(l) < l$」（$R = k$）と「$\tilde{c}(k) \geq k$ かつ $l > k$ では $\tilde{c}(l) < l$」（$R_i = k$）は同値である。

(c) $H_i$ を棄却する事象を $A_i$ とすると $V = \sum_{i \in I_0}\mathbf{1}_{A_i}$ で、(a) より $A_i = \lbrace p_i \leq R\alpha/m,\ R \geq 1 \rbrace$ である。よって $V/\max(R, 1) = \sum_{i \in I_0}\sum_{k=1}^{m}\frac{1}{k}\mathbf{1}_{\lbrace p_i \leq k\alpha/m,\ R = k \rbrace}$ であり、期待値をとって (b) と、$p_i$ と $R_i$ の独立性、$P(p_i \leq u) \leq u$ を使うと

最後の等号は、$R_i \geq 1$ より $\sum_{k=1}^{m}P(R_i = k) = 1$ となることによる。$p_i$ が一様分布なら、不等号は等号になる。$\square$

例 8.13 $m = 10$、$\alpha = 0.05$ で、$p$ 値を小さい順に並べたものと、ホルム法・BH 法の閾値が次のとおりだったとする。

ボンフェローニ法（閾値 $0.005$）は 2 個、ホルム法は $k = 4$ で $0.012 > 0.00714$ となって止まるので 3 個、BH 法は $p_{(k)} \leq k\alpha/m$ となる最大の $k$ が $5$ なので 5 個を棄却する。

注意 8.14 BH 法は、$p$ 値の組が、正しい帰無仮説の各 $p$ 値に対してある種の正の依存をもつ場合（PRDS と呼ばれる条件。片側検定の検定統計量が、相関がすべて非負の多変量正規分布に従う場合など）にも FDR を $m_0\alpha/m$ 以下に制御し、任意の依存関係のもとでも $\alpha$ を $\alpha/\sum_{j=1}^{m}(1/j)$ に置き換えれば制御できる（ベンジャミニとイェクティエリ、2001 年。主張のみ。後者は Wasserman の All of Statistics の多重検定の節にもある）。どちらの誤りの指標を制御すべきかは、誤りの重さで決まる（問題 8.5）。

8.5 途中でのぞき見ることと $p$ ハッキング

A/B テストの結果は、ダッシュボードで毎日見られることが多い。「毎日検定し、$p$ 値が $0.05$ を下回った時点で実験を止めて B の勝ちとする」運用は、第 1 種の過誤の確率を $\alpha$ よりずっと大きくする。次のコードは、購入率がともに 10% の 2 群（A/A テスト：真の差は $0$）で、1 日に各群 500 人ずつデータが増える状況を 10 万回繰り返し、1 日目から $k$ 日目まで毎日行う $z$ 検定（両側 5%）で一度でも有意になる割合を数える。

import numpy as np

rng = np.random.default_rng(0)
sims, looks, batch, p = 100000, 20, 500, 0.10   # A/A テスト：両群とも購入率 10%
xa = rng.binomial(batch, p, size=(sims, looks)).cumsum(axis=1)   # A の累積購入数
xb = rng.binomial(batch, p, size=(sims, looks)).cumsum(axis=1)   # B の累積購入数
n = batch * np.arange(1, looks + 1)                               # 各群の累積人数
pool = (xa + xb) / (2 * n)
z = (xb - xa) / n / np.sqrt(pool * (1 - pool) * 2 / n)           # 比率の差の z 統計量
sig = np.abs(z) > 1.96                                            # 両側 5% で有意か
print(f"最後に 1 回だけ検定する      : {sig[:, -1].mean():.3f}")
for k in (2, 5, 10, 20):
    print(f"{k:2d} 回のぞき、一度でも有意 : {sig[:, :k].any(axis=1).mean():.3f}")

最後に 1 回だけ検定する      : 0.051
 2 回のぞき、一度でも有意 : 0.084
 5 回のぞき、一度でも有意 : 0.142
10 回のぞき、一度でも有意 : 0.195
20 回のぞき、一度でも有意 : 0.250

20 日目に 1 回だけ検定すれば有意になる割合は 5% のままだが、毎日のぞけば 20 日で 25% になる。データを正規分布で近似した同じ計算を 200 万回繰り返すと、2・5・10・20・50・100 回のぞいた場合の割合は $0.083, 0.142, 0.193, 0.248, 0.320, 0.373$ で（計算機による）、のぞく回数とともに増え続ける。実際、のぞく回数に上限がなければ、いつかは必ず有意になる。

命題 8.15（のぞき続ければいつかは有意になる）$D_1, D_2, \dots$ を i.i.d. で $E[D_1] = 0$、$\operatorname{Var}(D_1) = \sigma^2 \in (0, \infty)$ とし（帰無仮説のもとでの、1 組ずつのデータの差など）、$Z_n = (D_1 + \cdots + D_n)/(\sigma\sqrt{n})$ とする。任意の $c > 0$ について、確率 1 で $\lvert Z_n \rvert > c$ となる $n$ が存在する。

証明. 重複対数の法則（11 確率論 第4章 定理 4.26。証明は同章でも省略されている）を $D_k/\sigma$ に使うと、確率 1 で $\limsup_{n}Z_n/\sqrt{2\log\log n} = 1$ である。$\sqrt{2\log\log n} \to \infty$ なので、確率 1 で $\limsup_n Z_n = \infty$ となる。$\square$

止めるかどうかをデータを見て決めると、最後に計算した $p$ 値は、もはや第4章 定義 4.9 の意味での $p$ 値ではない。のぞき見ること自体ではなく、のぞいた結果で止めるかどうかを決めることが問題なのである。

注意 8.16（のぞいても妥当な方法）(1) 群逐次デザイン (group sequential design)：のぞく回数と時期を事前に決め、各回の棄却値を大きくして、全体の第 1 種の過誤を $\alpha$ に保つ。たとえば等間隔に 5 回のぞくなら、各回 $\lvert z \rvert > 2.41$ で棄却すれば全体で 5% になる（正規近似のもとで計算機により求めた値。20 回なら約 $2.67$）。初めは厳しく後になるほど緩い棄却値を使う方法（オブライエン–フレミング型）もある。(2) 尤度比のマルチンゲール：帰無仮説のもとで $D_1, D_2, \dots$ が i.i.d. で密度 $f_0 > 0$ に従う（帰無仮説が一つの分布に決まる）とし、対立仮説の密度を $f_1$ とする。尤度比 $\Lambda_n = \prod_{k=1}^{n}f_1(D_k)/f_0(D_k)$ は、帰無仮説のもとで平均 $1$ の非負のマルチンゲールである（$E[f_1(D)/f_0(D)] = \int f_1 = 1$）。ドゥーブの最大不等式（11 確率論 第5章 定理 5.15）より $P(\max_{k \leq n}\Lambda_k \geq 1/\alpha) \leq \alpha E[\Lambda_n] = \alpha$ で、$n \to \infty$ とすると、$\Lambda_n$ が一度でも $1/\alpha$ 以上になる確率は $\alpha$ 以下である。よって「$\Lambda_n \geq 1/\alpha$ になったら止めて棄却する」検定は、何度のぞいても第 1 種の過誤が $\alpha$ 以下である（A/B テストの「両群の購入率が等しい」のように、帰無仮説が未知のパラメータ（共通の購入率）を含む場合には、この議論はそのままでは使えず、工夫が要る）。$f_1$ のパラメータを事前分布で平均した尤度比、すなわち第7章 定義 7.28 のベイズファクター $B_{10}$ も同じ性質をもつ。

のぞき見を含め、分析の選択肢（指標、対象期間、セグメント、外れ値の除外規則、共変量）を試して有意になったものだけを報告することを $p$ ハッキング ($p$-hacking) という。これは報告されない多重比較であり、報告された $p$ 値の保証は失われる。対策は、主要な指標・分析方法・標本の大きさを事前に決めて記録しておくこと（事前登録）、試したすべての分析を報告すること、探索的に見つけた結果は別の実験で確かめることである。

8.6 交絡とシンプソンのパラドックス

無作為化できないデータでは、処置を受けるかどうかが、結果に関係する性質に左右される。処置と結果の両方に影響する変数を交絡因子 (confounder) という（第1章 問題 1.4 の、気温がアイスクリームの売上と熱中症の救急搬送の両方を増やす例では、気温が見かけの相関を生む共通の原因である）。

例 8.17（シンプソンのパラドックス）新規顧客の獲得のために、クーポンを主に新規顧客に配った。購入者数と対象人数は次のとおりである。

どちらの顧客層でもクーポンありの購入率のほうが高い（$+2$ ポイントと $+5$ ポイント）のに、合計ではクーポンありのほうが $17.5$ ポイントも低い。これをシンプソンのパラドックス (Simpson's paradox) という。顧客層は、クーポンを受け取るかどうかと購入率の両方に関係する交絡因子であり、合計の比較は「新規顧客と既存顧客の比較」を大きく含んでしまう。クーポンの配布が顧客層だけで決まったのなら、層ごとの購入率を全体の人数の比（新規 $1200$ 人、既存 $1200$ 人）で平均した

が、クーポンの平均処置効果の推定値になる（標準化）。その根拠が次の定理である。

定理 8.18（調整化公式）有限個の値をとる共変量 $X$ について、SUTVA と次の 2 つを仮定する。(1) 条件付き無視可能性：各 $x$ について、$X = x$ のもとで $Z$ と $(Y(0), Y(1))$ は条件付き独立である。(2) 正値性：$P(X = x) > 0$ となるすべての $x$ で $0 < e(x) < 1$。ここで $e(x) = P(Z = 1 \mid X = x)$ である。$E[\lvert Y(0) \rvert], E[\lvert Y(1) \rvert] < \infty$ ならば、$z = 0, 1$ について

$$E[Y(z)] = \sum_x E[Y \mid Z = z, X = x]P(X = x)$$

であり、さらに $E[Y(1)] = E[ZY/e(X)]$、$E[Y(0)] = E[(1 - Z)Y/(1 - e(X))]$ が成り立つ。

証明. SUTVA と (1) より、$E[Y \mid Z = z, X = x] = E[Y(z) \mid Z = z, X = x] = E[Y(z) \mid X = x]$ である（(2) より条件の確率は正）。これに $P(X = x)$ を掛けて足すと、全期待値の公式より $E[Y(z)]$ になる。後半：$ZY = ZY(1)$ と (1) より $E[ZY \mid X = x] = e(x)E[Y(1) \mid X = x]$ なので

$Y(0)$ も同様である。$\square$

後半の式による推定を逆確率重み付け (inverse probability weighting, IPW) という。処置群の各個体を、処置を受ける確率の逆数 $1/e(x)$ 倍に数えることで、処置群を全体の代表に作り直している（問題 8.8）。(1) は「$X$ のほかに交絡因子がない」という仮定であり、データから検証することはできない。

定理 8.19（傾向スコア, Rosenbaum–Rubin 1983）$e(X) = P(Z = 1 \mid X)$ を傾向スコア (propensity score) という。(1) $X$ と $Z$ は、$e(X)$ を与えたもとで条件付き独立である（バランス性）。(2) 定理 8.18 の (1) と (2) が成り立つなら、$e(X)$ を与えたもとでも $Z$ と $(Y(0), Y(1))$ は条件付き独立である。（主張のみ。Imbens–Rubin、星野『調査観察データの統計科学』を参照。）

共変量が多いと、$X$ の値ごとの層には少数の個体しかいなくなるが、定理 8.19 より、1 次元の $e(X)$ で層別・マッチング・重み付けをすれば足りる。実際には $e(x)$ は未知なので、ロジスティック回帰（第6章）などで推定し、推定した傾向スコアで重み付けした後に各共変量の分布が群の間でそろったかを確かめる。$e(x)$ が $0$ や $1$ に近い個体があると重み $1/e(x)$ が極端に大きくなり、推定が不安定になる（正値性がほとんど破れている状態である）。

8.7 差の差法と回帰不連続デザイン（紹介）

差の差法 (difference-in-differences, DiD)：ある地域 T でだけ施策（送料無料など）を導入し、導入しなかった地域 C と比べる。T の導入前後の差には、施策の効果と、季節などによる時間の変化が混ざっているので、C の前後の差で時間の変化を見積もって引く。期間 $t \in \lbrace \mathrm{pre}, \mathrm{post} \rbrace$ の潜在結果を $Y_t(0), Y_t(1)$、群を $G \in \lbrace T, C \rbrace$ とする。T は post にだけ処置を受け、C はどちらの期間にも受けず、施策の前には効果がない（両群で $Y_{\mathrm{pre}} = Y_{\mathrm{pre}}(0)$）とする。

命題 8.20（差の差法）平行トレンドの仮定 $E[Y_{\mathrm{post}}(0) - Y_{\mathrm{pre}}(0) \mid G = T] = E[Y_{\mathrm{post}}(0) - Y_{\mathrm{pre}}(0) \mid G = C]$ のもとで、

$$\bigl(E[Y_{\mathrm{post}} \mid T] - E[Y_{\mathrm{pre}} \mid T]\bigr) - \bigl(E[Y_{\mathrm{post}} \mid C] - E[Y_{\mathrm{pre}} \mid C]\bigr) = E[Y_{\mathrm{post}}(1) - Y_{\mathrm{post}}(0) \mid G = T]$$

である（$\mid T$ は $\mid G = T$ の略）。

証明. T では $Y_{\mathrm{post}} = Y_{\mathrm{post}}(1)$、C では $Y_{\mathrm{post}} = Y_{\mathrm{post}}(0)$ なので、T の前後差は $E[Y_{\mathrm{post}}(1) - Y_{\mathrm{post}}(0) \mid T] + E[Y_{\mathrm{post}}(0) - Y_{\mathrm{pre}}(0) \mid T]$、C の前後差は $E[Y_{\mathrm{post}}(0) - Y_{\mathrm{pre}}(0) \mid C]$ である。平行トレンドの仮定より、第 2 項どうしが打ち消し合う。$\square$

たとえば 1 店舗あたりの週の売上（万円）が、T で導入前 $100$ から導入後 $130$、C で $80$ から $95$ になったなら、推定値は $(130 - 100) - (95 - 80) = 15$ である。群の水準の違い（$100$ と $80$）は許されるが、「施策がなければ両群は同じだけ変化したはずだ」という仮定は直接は検証できないので、導入前の複数の期間で両群の推移が平行だったかを確かめる。回帰の言葉では、$Y = \beta_0 + \beta_1\mathbf{1}_T + \beta_2\mathbf{1}_{\mathrm{post}} + \beta_3\mathbf{1}_T\mathbf{1}_{\mathrm{post}} + \varepsilon$ の交互作用の係数 $\beta_3$ の最小二乗推定値が、差の差の推定値になる（第5章 5.8 節）。

回帰不連続デザイン (regression discontinuity design, RDD)：処置が、連続な変数 $X$（割り当て変数）が閾値 $c$ 以上かどうかで決まる場合を考える。たとえば前年の購入額が 5 万円以上の顧客を優待会員にする場合で、$Z = \mathbf{1}_{\lbrace X \geq c \rbrace}$ である。$c$ のすぐ上と下の顧客は、処置の有無を除けばよく似ているはずである。