第5章ニューラルネットワーク

この章の目標

• 多層パーセプトロンを行列の式で書き、非線形な活性化関数が必要な理由を説明できる
• 連鎖律から誤差逆伝播法を導き、誤差 $\delta^{(l)}$ の漸化式と勾配の式を証明できる
• 自動微分の前向きモードと後ろ向きモードの違いを説明し、スカラー値関数の勾配が関数の評価の定数倍の手間で求まることを証明できる
• 勾配消失・爆発を活性化関数の微分と重みの大きさで説明し、Xavier・He の初期化の分散の条件を導ける
• 万能近似定理を仮定まで正確に述べ、1 次元では ReLU による折れ線近似で構成的に証明できる
• 畳み込み層と注意機構の式を読み、パラメータの共有や並べ替えに対する性質を説明できる

前提：第2章（ロジスティック回帰・ソフトマックスと交差エントロピー）、01-calculus 第7章（連鎖律）。5.7 節では 01-calculus 第3章 のハイネ–カントールの定理を使う。学習に使う勾配法と確率的勾配降下法は 23-optimization 第5章・23-optimization 第7章 で扱う。

製品の画像から傷を見つける、文章の続きを予測する――入力が画素や単語の列のような生の高次元データのとき、第2章の線形モデルに入れる特徴量を人が設計するのは難しい。ニューラルネットワーク (neural network) は特徴量を作る部分までパラメータで表し、予測と一緒にデータから学習する。式の上での線形モデルとの違いは、1 次式と非線形な関数を交互に何度も合成することだけである。

本章では、多層パーセプトロン（5.1 節）、勾配を求める誤差逆伝播法と自動微分（5.2・5.3 節）、勾配消失・爆発とその対策（5.4〜5.6 節）、万能近似定理（5.7 節）を扱い、畳み込み層と注意機構の式の読み方を紹介する（5.8・5.9 節）。学習は凸でない最適化問題で、勾配法がなぜうまくいくのか、なぜ汎化するのかの理論は発展の途中にある。本章では確かに言えることを証明し、経験則は経験則として述べる。汎化の理論は第6章で扱う。

5.1 多層パーセプトロン

定義 5.1（多層パーセプトロン, multilayer perceptron）正の整数 $L$, $d_0, d_1, \dots, d_L$ と関数 $\phi\colon \mathbb{R} \to \mathbb{R}$ を定める。パラメータ $\theta = (W^{(1)}, b^{(1)}, \dots, W^{(L)}, b^{(L)})$（$W^{(l)} \in \mathbb{R}^{d_l \times d_{l-1}}$, $b^{(l)} \in \mathbb{R}^{d_l}$）に対し、入力 $x \in \mathbb{R}^{d_0}$ から

$$h^{(0)} = x, \qquad z^{(l)} = W^{(l)}h^{(l-1)} + b^{(l)}, \qquad h^{(l)} = \phi(z^{(l)}) \quad (l = 1, \dots, L - 1), \qquad z^{(L)} = W^{(L)}h^{(L-1)} + b^{(L)}$$

によって $f_\theta(x) = z^{(L)} \in \mathbb{R}^{d_L}$ を計算する関数 $f_\theta$ を、$L$ 層の多層パーセプトロン (MLP) という。$\phi(z)$ はベクトル $z$ の各成分に $\phi$ を施したものである。$\phi$ を活性化関数 (activation function)、$z^{(l)}$ を前活性 (pre-activation)、$h^{(1)}, \dots, h^{(L-1)}$ を隠れ層 (hidden layer)、$d_l$ を層の幅、$L$ を深さ、$W^{(l)}$ を重み (weight)、$b^{(l)}$ をバイアス (bias) という。

出力 $z^{(L)}$ は損失に渡す（回帰なら二乗損失、$K$ クラスの分類なら $d_L = K$ として第2章の交差エントロピー損失 $-\log\operatorname{softmax}(z)_y$）。$L = 1$ なら第2章の線形モデルそのもので、多層パーセプトロンは「学習した特徴量 $h^{(L-1)}$ の上の線形モデル」とみることができる。パラメータの個数は $\sum_{l=1}^{L}d_l(d_{l-1} + 1)$ である（層の数え方は文献によって異なる）。

例 5.2（活性化関数）ロジスティック関数 $\sigma(t) = 1/(1 + e^{-t})$（シグモイド関数ともいう。$\sigma' = \sigma(1 - \sigma)$）、$\tanh t = 2\sigma(2t) - 1$（$\tanh' = 1 - \tanh^2$）、ReLU $\operatorname{ReLU}(t) = \max(t, 0)$（微分は $t > 0$ で $1$、$t < 0$ で $0$ で、$t = 0$ では微分できない）。ReLU は計算が軽く、正の側で微分が $0$ に近づかない（飽和しない）ので、現在の深いネットワークの多くは ReLU やその変種を使う。

活性化関数が 1 次式 $\phi(t) = \alpha t + \beta$ なら、$h^{(l-1)} = Ax + c$ のとき $h^{(l)} = \alpha W^{(l)}Ax + \alpha(W^{(l)}c + b^{(l)}) + \beta\mathbf{1}$（$\mathbf{1}$ は成分がすべて $1$ のベクトル）なので、帰納法で $f_\theta$ は $x$ の 1 次式になり、層を重ねる意味がない。表現力を生むのは非線形な $\phi$ である。

例 5.3（排他的論理和）$x \in \lbrace 0, 1 \rbrace^2$ で、$x_1 \neq x_2$ のときだけ $y = 1$ とする（XOR）。1 次式 $g(x) = w_1x_1 + w_2x_2 + b$ で「$g(x) > 0$ なら $1$」と分類できたとすると $g(1, 0) + g(0, 1) > 0 \geq g(0, 0) + g(1, 1)$ だが、両辺はともに $w_1 + w_2 + 2b$ で矛盾する。一方、隠れユニット 2 個のネットワーク $f(x) = \operatorname{ReLU}(x_1 + x_2) - 2\operatorname{ReLU}(x_1 + x_2 - 1)$ は $(0, 0), (1, 0), (0, 1), (1, 1)$ で $0, 1, 1, 0$ をとり、XOR を正確に表す。隠れ層が入力を線形分離できる特徴量に変換しているのである。

学習では、経験リスク（第1章 定義 1.2）に多くの場合重み減衰 (weight decay) $\frac{\lambda}{2}\sum_l\lVert W^{(l)} \rVert_F^2$（$\lVert \cdot \rVert_F$ は成分の 2 乗和の平方根）を加えたものを、ランダムに選んだ少数のデータ（ミニバッチ）での勾配の平均 $g$ による更新 $\theta \leftarrow \theta - \eta g$（確率的勾配降下法。23-optimization 第7章）などで小さくする。必要なのは 1 つのデータでの損失の勾配で、それを求めるのが次節の誤差逆伝播法である。

例 5.4（凸でないこと）$f(x) = awx$（活性化関数は恒等写像）に、データ 1 点 $(x, y) = (1, 1)$ と損失 $(f(x) - y)^2$ を使うと、$J(a, w) = (aw - 1)^2$ は $(1, 1)$ と $(-1, -1)$ で最小値 $0$ をとるが中点 $(0, 0)$ では $1$ で、凸でない。隠れユニットを重みごと入れ替えても $f_\theta$ は変わらないので、最小点は対称な組で現れる。経験リスクは一般に凸でなく、勾配法が大域的な最小点に達する保証はないが、多くの応用で訓練誤差を十分小さくできることが経験的に知られている。

5.2 誤差逆伝播法

1 つのデータ $(x, y)$ での損失 $J(\theta) = \ell(y, f_\theta(x))$ の勾配を求める。数値微分では全成分にパラメータの数に比例する回数の前向きの計算が要るが、連鎖律を後ろの層から使えば前向きの計算の数倍で済む。$\partial J/\partial W$ は $W$ と同じ形で $(j, k)$ 成分が $\partial J/\partial W_{jk}$ の行列、勾配は縦ベクトル、$u \odot v$ は成分ごとの積、$\phi'(z)$ は $z$ の各成分に $\phi'$ を施したベクトルとする。

定理 5.5（誤差逆伝播法, backpropagation）入力 $x$ と正解 $y$ を固定する。損失 $\ell(y, \cdot)\colon \mathbb{R}^{d_L} \to \mathbb{R}$ は $z^{(L)}$ で微分可能、$\phi$ は前活性の各成分 $z^{(l)}_j$（$1 \leq l \leq L - 1$）で微分可能とする。ベクトル $\delta^{(L)}, \dots, \delta^{(1)}$ を

$$\delta^{(L)} = \nabla_z\ell(y, z^{(L)}), \qquad \delta^{(l)} = \phi'(z^{(l)}) \odot \left(W^{(l+1)\top}\delta^{(l+1)}\right) \quad (l = L - 1, \dots, 1)$$

で定めると、$J$ は $\theta$ で微分可能で、$l = 1, \dots, L$ について

$$\frac{\partial J}{\partial W^{(l)}} = \delta^{(l)}h^{(l-1)\top}, \qquad \frac{\partial J}{\partial b^{(l)}} = \delta^{(l)}$$

すなわち $\partial J/\partial W^{(l)}_{jk} = \delta^{(l)}_jh^{(l-1)}_k$ である。$\delta^{(l)}$ は、第 $l$ 層の前活性を変数とみて残りの層を計算した損失の、$z^{(l)}$ での勾配に等しい。$\delta^{(l)}$ を第 $l$ 層の誤差 (error) という。

証明. パラメータを固定し、$G_L(z) = \ell(y, z)$、$G_l(z) = G_{l+1}(W^{(l+1)}\phi(z) + b^{(l+1)})$（$l < L$）で $G_l\colon \mathbb{R}^{d_l} \to \mathbb{R}$ を定める。$G_l(z)$ は第 $l$ 層の前活性を $z$ に置き換えて残りの層を計算した損失で、どの $l$ でも $J = G_l(z^{(l)})$ である。

(1) $\nabla G_l(z^{(l)}) = \delta^{(l)}$ を $l$ について下向きの帰納法で示す。$l = L$ では定義そのものである。成分ごとに $\phi$ を施す写像 $\Phi$ は、$\phi(z_j + u_j) = \phi(z_j) + \phi'(z_j)u_j + r_j$、$r_j = o(\lvert u_j \rvert)$ と $\lvert u_j \rvert \leq \lVert u \rVert$ より、$z^{(l)}$ で微分可能でヤコビ行列は $\operatorname{diag}(\phi'(z^{(l)}))$ である。アフィン写像 $h \mapsto W^{(l+1)}h + b^{(l+1)}$ のヤコビ行列は $W^{(l+1)}$ で、この 2 つの合成は $z^{(l)}$ を $z^{(l+1)}$ に写す。連鎖律（01-calculus 第7章 定理 7.14）と帰納法の仮定より、$G_l$ は $z^{(l)}$ で微分可能で $DG_l(z^{(l)}) = DG_{l+1}(z^{(l+1)})W^{(l+1)}\operatorname{diag}(\phi'(z^{(l)}))$。転置して $\nabla G_l(z^{(l)}) = \operatorname{diag}(\phi'(z^{(l)}))W^{(l+1)\top}\delta^{(l+1)} = \delta^{(l)}$。

(2) $(\theta, h) \mapsto W^{(l)}h + b^{(l)}$ の成分は多項式で $C^1$ 級なので微分可能であり（01-calculus 第7章 の定理 7.13）、これと $\Phi$ の合成を繰り返した $\theta \mapsto z^{(L)}$ は連鎖律により微分可能で、$J$ も微分可能である。

(3) $W^{(l)}, b^{(l)}$ 以外を固定すると、$h^{(l-1)}$ は第 $l - 1$ 層までのパラメータで決まるので定数であり、$G_l$ は第 $l + 1$ 層以降のパラメータで決まる。$J = G_l(W^{(l)}h^{(l-1)} + b^{(l)})$ で、$\partial z^{(l)}_i/\partial W^{(l)}_{jk} = \mathbf{1}\lbrace i = j \rbrace h^{(l-1)}_k$、$\partial z^{(l)}_i/\partial b^{(l)}_j = \mathbf{1}\lbrace i = j \rbrace$ だから、連鎖律と (1) より $\partial J/\partial W^{(l)}_{jk} = \sum_i\delta^{(l)}_i\mathbf{1}\lbrace i = j \rbrace h^{(l-1)}_k = \delta^{(l)}_jh^{(l-1)}_k$、$\partial J/\partial b^{(l)}_j = \delta^{(l)}_j$ である。$\square$

定理 5.5 により、(i) 前向きに $z^{(l)}, h^{(l)}$ を計算して保存し、(ii) 後ろ向きに $\delta^{(L)}, \dots, \delta^{(1)}$ を求め、(iii) 外積 $\delta^{(l)}h^{(l-1)\top}$ を作れば勾配が得られる。誤差が出力側から入力側へ逆向きに伝わるので誤差逆伝播法という（ラメルハート・ヒントン・ウィリアムズの 1986 年の論文で広く知られた）。乗算は前向きが $\sum_ld_ld_{l-1}$ 回、後ろ向きがその約 2 倍なので、勾配の全成分が前向き計算の約 3 倍の手間で求まる。$\delta^{(L)}$ は、二乗損失 $\frac{1}{2}\lVert z - y \rVert^2$ なら $z^{(L)} - y$、交差エントロピー損失なら $\operatorname{softmax}(z^{(L)}) - e_y$ である（第2章の命題 2.20）。ミニバッチでは勾配を平均する。

例 5.6（手計算）$d_0 = d_1 = 2$、$d_2 = 1$、$\phi = \operatorname{ReLU}$、$J = \frac{1}{2}(z^{(2)} - y)^2$ とし、

とする。前向き計算は $z^{(1)} = (-0.5, 1.5)^{\top}$、$h^{(1)} = (0, 1.5)^{\top}$、$z^{(2)} = -1$、$J = 2$。後ろ向き計算は $\delta^{(2)} = z^{(2)} - y = -2$、$W^{(2)\top}\delta^{(2)} = (-4, 2)^{\top}$、$\phi'(z^{(1)}) = (0, 1)^{\top}$ より $\delta^{(1)} = (0, 2)^{\top}$ で、

前活性に $0$ がないので定理 5.5 の仮定は満たされ、中心差分による数値微分とも一致する（計算機で確かめた）。第 1 隠れユニットは前活性が負なので、入る重みの勾配は $0$ である（すべての訓練データでこうなると更新されない。いわゆる「死んだ」ReLU）。

実装した逆伝播は数値微分と比べて確かめる（勾配確認）。$J$ が $C^3$ 級なら、テイラーの定理より中心差分 $(J(\theta + he_k) - J(\theta - he_k))/(2h)$ と $\partial J/\partial\theta_k$ の差は $O(h^2)$ で、これに丸め誤差（倍精度でおよそ $10^{-16}\lvert J \rvert/h$）が加わる。次のコードは、$\tanh$ の隠れ層 2 つとソフトマックスの出力をもつネットワーク（パラメータ 51 個）で両者を比べる。

import numpy as np

rng = np.random.default_rng(0)
sizes = [3, 4, 4, 3]                            # d_0, d_1, d_2, d_3（3 クラス）
Ws = [rng.normal(0, 1, (m, k)) for k, m in zip(sizes[:-1], sizes[1:])]
bs = [rng.normal(0, 1, m) for m in sizes[1:]]
x, y = rng.normal(0, 1, 3), 2                   # 入力と正解のクラス

def loss_and_grads(Ws, bs):
    hs, z = [x], None                           # hs[l] = h^(l)
    for l, (W, b) in enumerate(zip(Ws, bs)):
        z = W @ hs[-1] + b
        if l < len(Ws) - 1:
            hs.append(np.tanh(z))
    p = np.exp(z - z.max()); p /= p.sum()       # softmax(z^(L))
    J = -np.log(p[y])                           # 交差エントロピー損失
    delta = p.copy(); delta[y] -= 1             # δ^(L) = p - e_y
    gWs, gbs = [], []
    for l in reversed(range(len(Ws))):          # 後ろの層から
        gWs.insert(0, np.outer(delta, hs[l])); gbs.insert(0, delta)
        if l > 0:                               # tanh' = 1 - tanh^2
            delta = (1 - hs[l] ** 2) * (Ws[l].T @ delta)
    return J, gWs, gbs

J, gWs, gbs = loss_and_grads(Ws, bs)
err, h = 0.0, 1e-6
for P, G in zip(Ws + bs, gWs + gbs):            # 中心差分と比べる
    for idx in np.ndindex(P.shape):
        old = P[idx]
        P[idx] = old + h; Jp = loss_and_grads(Ws, bs)[0]
        P[idx] = old - h; Jm = loss_and_grads(Ws, bs)[0]
        P[idx] = old
        err = max(err, abs((Jp - Jm) / (2 * h) - G[idx]))
print(f"J = {J:.4f}, 勾配の成分の最大の差 = {err:.1e}")

J = 1.0232, 勾配の成分の最大の差 = 2.1e-10

勾配の成分は絶対値が最大で約 $0.64$ で、差は打ち切り誤差と丸め誤差で説明できる大きさである。

5.3 計算グラフと自動微分

計算の手順を基本演算に分解し、各演算の局所的な微分を連鎖律でつなぐ方法を自動微分 (automatic differentiation) という。数値微分と違って丸め誤差を除けば正確で、記号的な微分のように式が膨れ上がることもない。誤差逆伝播法はその特別な場合である。

定義 5.7（計算グラフ, computational graph）関数 $f\colon \mathbb{R}^n \to \mathbb{R}$ の計算グラフとは、変数の列 $v_1, \dots, v_N$ で、$v_1, \dots, v_n$ は入力 $x_1, \dots, x_n$ であり、$i = n + 1, \dots, N$ については $v_i = g_i((v_j)_{j \in \operatorname{pa}(i)})$（$\operatorname{pa}(i) \subset \lbrace 1, \dots, i - 1 \rbrace$）と前の変数から基本演算 $g_i$ で計算され、$f(x) = v_N$ となるものをいう。基本演算は 2 変数の四則演算と、1 変数の $\exp, \log, \sin, \cos, \sigma, \tanh$ などとする。$j \in \operatorname{pa}(i)$ のとき $j$ から $i$ へ辺を引くと有向非巡回グラフができる。$g_i$ の $v_j$ についての偏微分を実際の値で評価したものを $\partial_jg_i$ と書く（局所的な偏微分）。

命題 5.8（前向きモード, forward mode）方向 $u \in \mathbb{R}^n$ について $\dot{v}_k = u_k$（$k \leq n$）とし、$i = n + 1, \dots, N$ の順に $\dot{v}_i = \sum_{j \in \operatorname{pa}(i)}\partial_jg_i\dot{v}_j$ と定める。各 $g_i$ がその点で微分可能ならば $\dot{v}_N = \nabla f(x)^{\top}u$ である。

証明. 各 $v_i$ を $x$ の関数とみて、$v_i$ が微分可能で $\dot{v}_i = Dv_i(x)u$ であることを $i$ についての帰納法で示す。$i \leq n$ では $v_i = x_i$ なので正しい。$i > n$ では連鎖律より $Dv_i(x)u = \sum_{j \in \operatorname{pa}(i)}\partial_jg_iDv_j(x)u = \sum_j\partial_jg_i\dot{v}_j = \dot{v}_i$。$\square$

命題 5.9（後ろ向きモード, reverse mode）$\bar{v}_N = 1$、それ以外の $\bar{v}_j = 0$ から始め、$i = N, N - 1, \dots, n + 1$ の順に、各 $j \in \operatorname{pa}(i)$ について $\bar{v}_j \leftarrow \bar{v}_j + \bar{v}_i\partial_jg_i$ と更新する。各 $g_i$ がその点で微分可能ならば、終わったときの $\bar{v}_k$ は $\partial f/\partial x_k(x)$ に等しい（$k = 1, \dots, n$）。

証明. $k = n, \dots, N$ について、$v_1, \dots, v_k$ に任意の値を与えて $v_{k+1}, \dots, v_N$ を手順どおり計算し $v_N$ を返す関数を $F_k\colon \mathbb{R}^k \to \mathbb{R}$ とする。$F_N(v_1, \dots, v_N) = v_N$、$F_n = f$、$F_{k-1}(v_1, \dots, v_{k-1}) = F_k(v_1, \dots, v_{k-1}, g_k((v_j)_{j \in \operatorname{pa}(k)}))$ である。下向きの帰納法と連鎖律により、各 $F_k$ は実際の値で微分可能で、$j \leq k - 1$ について（$j \notin \operatorname{pa}(k)$ なら $\partial_jg_k = 0$ とする）

が成り立つ。「$i = k$ の更新の直前に、すべての $j \leq k$ で $\bar{v}_j = \partial F_k/\partial v_j$」を $k$ について下向きの帰納法で示す。$k = N$ では $\bar{v}_j = \mathbf{1}\lbrace j = N \rbrace = \partial F_N/\partial v_j$。$k$ で成り立てば、$i = k$ の更新で各 $j \in \operatorname{pa}(k)$ に $\bar{v}_k\partial_jg_k$ が加わるので、上の式より $j \leq k - 1$ で $\bar{v}_j = \partial F_{k-1}/\partial v_j$ となる。$i = n + 1$ の更新を終えると $\bar{v}_j = \partial F_n/\partial v_j = \partial f/\partial x_j$ である。$\square$

例 5.10 $f(x_1, x_2) = x_1x_2 + \exp(x_1 - x_2)$ を $v_3 = v_1v_2$、$v_4 = v_1 - v_2$、$v_5 = \exp(v_4)$、$v_6 = v_3 + v_5$ と計算する。$(x_1, x_2) = (1, 1)$ では $v_3 = 1$、$v_4 = 0$、$v_5 = 1$、$v_6 = 2$。後ろ向きモードは、$i = 6$ で $\bar{v}_3 = \bar{v}_5 = 1$、$i = 5$ で $\bar{v}_4 = \bar{v}_5e^{v_4} = 1$、$i = 4$ で $\bar{v}_1 = 1$、$\bar{v}_2 = -1$、$i = 3$ で $\bar{v}_1 = 1 + \bar{v}_3v_2 = 2$、$\bar{v}_2 = -1 + \bar{v}_3v_1 = 0$ となり、直接微分した $\nabla f = (x_2 + e^{x_1 - x_2}, x_1 - e^{x_1 - x_2}) = (2, 0)$ と一致する。前向きモードで勾配を求めるには $u = (1, 0), (0, 1)$ の 2 回の計算が要る。

定理 5.11（勾配の計算量）定義 5.7 の計算グラフで、各基本演算の引数は 2 個以下、局所的な偏微分 $\partial_jg_i$ は演算の引数と結果 $v_i$ から高々 $c$ 回の基本演算（定数との四則演算も 1 回と数える）で計算できるとし、$f(x)$ を計算する基本演算の回数を $N_f = N - n$ とする。

1. 前向きモードは $f(x)$ と 1 つの方向微分を高々 $(2c + 4)N_f$ 回の基本演算で求める。勾配の全成分には $n$ 方向が要り、高々 $(2c + 4)nN_f$ 回である。
2. 後ろ向きモードは $f(x)$ と $\nabla f(x)$ の全成分を高々 $(2c + 5)N_f$ 回の基本演算で求める。この上界は入力の次元 $n$ によらない。

証明. 各 $i$（$n < i \leq N$）ごとに数える。前向きモードでは、$v_i$ に 1 回、局所的な偏微分（高々 2 個）に高々 $2c$ 回、$\dot{v}_i$ に高々 3 回（乗算 2 回と加算 1 回）である。後ろ向きモードでは、まず $v_1, \dots, v_N$ を前向きに計算して保存し（$N_f$ 回）、後ろ向きの各 $i$ で局所的な偏微分に高々 $2c$ 回、各 $j \in \operatorname{pa}(i)$ の更新に 2 回ずつ高々 4 回を使う。合計は高々 $N_f + (2c + 4)N_f$ 回である。$\square$

四則演算と $\exp, \log, \sin, \cos, \sigma, \tanh$ なら $c = 2$ でよい（例：$\partial(u/w)/\partial w = -v_i/w$、$\sigma'(u) = v_i(1 - v_i)$）ので、勾配の手間は関数の評価の高々 9 倍で、入力の次元によらない（勾配は安い, cheap gradient principle）。前向きモードと数値微分の手間は $n$ に比例する。パラメータが非常に多いモデルを勾配法で学習できるのはこのためである。代わりに後ろ向きモードは途中の値をすべて保存するので、記憶領域が $N_f$ に比例する。多層パーセプトロンを基本演算に分解すれば $z^{(l)}$ の成分の $\bar{v}$ が $\delta^{(l)}$ で、誤差逆伝播法は後ろ向きモードを層ごとの行列演算にまとめたものである。

例 5.12（積の勾配）$f(x) = x_1x_2\cdots x_n$ を $p_1 = x_1$、$p_k = p_{k-1}x_k$ と計算すると（$N_f = n - 1$）、後ろ向きモードは $\bar{p}_n = 1$ から $k = n, \dots, 2$ の順に $\bar{x}_k = \bar{p}_kp_{k-1}$、$\bar{p}_{k-1} = \bar{p}_kx_k$ を計算し（最後に $\bar{x}_1 = \bar{p}_1$）、$\partial f/\partial x_k = (x_1\cdots x_{k-1})(x_{k+1}\cdots x_n)$ を乗算 $2(n - 1)$ 回ですべて求める。前向きモードでは手間が $n^2$ に比例する。

5.4 勾配消失と勾配爆発

定理 5.5 の漸化式をほどくと、$D^{(k)} = \operatorname{diag}(\phi'(z^{(k)}))$ として

である。入力に近い層の勾配は $L - l$ 個の行列の積で決まり、各因子がベクトルを縮めるなら層の数について指数的に小さく（勾配消失）、伸ばすなら指数的に大きく（勾配爆発）なりうる。

命題 5.13（勾配の大きさの上界）$\lVert A \rVert$ を作用素ノルム（最大特異値。02-linear-algebra 第8章 命題 8.21）とすると

$$\lVert \delta^{(l)} \rVert \leq \left(\prod_{k=l}^{L-1}\max_j\lvert \phi'(z^{(k)}_j) \rvert\,\lVert W^{(k+1)} \rVert\right)\lVert \delta^{(L)} \rVert, \qquad \left\lVert \frac{\partial J}{\partial W^{(l)}} \right\rVert_F = \lVert \delta^{(l)} \rVert\,\lVert h^{(l-1)} \rVert$$

特に $0 < \sigma'(t) \leq 1/4$（等号は $t = 0$ のときに限る）なので、$\phi = \sigma$ ですべての $k$ で $\lVert W^{(k)} \rVert \leq c$ ならば $\lVert \delta^{(l)} \rVert \leq (c/4)^{L-l}\lVert \delta^{(L)} \rVert$ である。

証明. 対角行列の作用素ノルムは対角成分の絶対値の最大値で、$A^{\top}$ と $A$ の特異値は同じなので $\lVert A^{\top} \rVert = \lVert A \rVert$。$\lVert Au \rVert \leq \lVert A \rVert\lVert u \rVert$ を繰り返せば第 1 式を得る。第 2 式は $\lVert uv^{\top} \rVert_F^2 = \sum_{j,k}u_j^2v_k^2 = \lVert u \rVert^2\lVert v \rVert^2$ による。$p = \sigma(t) \in (0, 1)$ とすると $\sigma'(t) = p(1 - p) = \frac{1}{4} - (p - \frac{1}{2})^2$ で、等号は $p = 1/2$、すなわち $t = 0$ のときに限る。$\square$

シグモイドを 10 層重ねて $\lVert W^{(k)} \rVert \leq 1$ なら、第 1 層の誤差は出力の誤差の $4^{-10} \approx 9.5 \times 10^{-7}$ 倍以下である。前活性の絶対値が大きいと微分はさらに小さい（$\sigma'(5) \approx 0.0066$。ユニットの飽和）。ただし命題 5.13 は上界であり、重みが大きければ因子は $1$ を超えうる。

例 5.14（勾配爆発）活性化関数を恒等写像、$W^{(k)} = aI$ とすると $\delta^{(l)} = a^{L-l}\delta^{(L)}$ で、$L - l = 50$ なら $a = 1.1$ で約 $117$ 倍、$a = 0.9$ で約 $0.0052$ 倍になる。同じ重み行列を時刻ごとに使う再帰型ニューラルネットワーク (RNN) では行列の累乗が現れるので、長い系列で消失・爆発が起こりやすい。

対策には、(1) 正の側で微分が $1$ の ReLU、(2) 分散を保つ初期化（5.5 節）、(3) 正規化（5.6 節）、(4) 残差接続 (residual connection) $h^{(l)} = h^{(l-1)} + F_l(h^{(l-1)})$、(5) 勾配のノルムが閾値を超えたら縮める勾配クリッピング、などがある。(4) では $\partial J/\partial h^{(l-1)} = (I + DF_l(h^{(l-1)}))^{\top}\partial J/\partial h^{(l)}$ で、恒等写像を通る経路があるので勾配が消えにくい（残差接続を使ったネットワーク（He ら 2016）で、100 層を超えるネットワークの学習が実用になった）。

5.5 初期化

すべての重みを同じ値で初期化してはいけない。

命題 5.15（対称性は保たれる）ある隠れ層の 2 つのユニット $j, j'$ について、入る重みとバイアスが等しく（$W^{(l)}$ の第 $j, j'$ 行、$b^{(l)}_j, b^{(l)}_{j'}$）、出る重みも等しい（$W^{(l+1)}$ の第 $j, j'$ 列）とする。このとき、どのデータについても損失の勾配のこれらに対応する部分は等しい。したがって勾配降下法で（確率的でも）何回更新しても等しいままで、2 つのユニットは同じ特徴量しか表さない。

証明. $z^{(l)}_j = z^{(l)}_{j'}$、$h^{(l)}_j = h^{(l)}_{j'}$ で、$\delta^{(l)}_j = \phi'(z^{(l)}_j)\sum_iW^{(l+1)}_{ij}\delta^{(l+1)}_i$ も出る重みが等しいので $\delta^{(l)}_{j'}$ に等しい。よって定理 5.5 より、$W^{(l)}$ の第 $j, j'$ 行の勾配 $\delta^{(l)}_jh^{(l-1)\top}$、$b^{(l)}_j, b^{(l)}_{j'}$ の勾配、$W^{(l+1)}$ の第 $j, j'$ 列の勾配 $h^{(l)}_j\delta^{(l+1)}$ はそれぞれ等しく、更新後も仮定が成り立つ。$\square$

そこで重みは乱数で初期化する（バイアスは $0$ でよい）。問題はその分散である。

命題 5.16（初期化での分散の伝播）入力 $x$ を固定し、バイアスを $0$ とする。重みの成分はすべて独立で、第 $l$ 層の成分 $W^{(l)}_{jk}$ は同じ分布に従い、その分布は $0$ について対称（$W^{(l)}_{jk}$ と $-W^{(l)}_{jk}$ が同じ分布）で分散 $v_l$ をもつとする（現れる期待値は有限とする）。このとき $E[z^{(l)}_j] = 0$ で、$q_l = E[(z^{(l)}_j)^2]$ は $j$ によらず、

1. $q_1 = v_1\lVert x \rVert^2$、$l \geq 2$ では $q_l = d_{l-1}v_lE[\phi(z^{(l-1)}_1)^2]$。
2. $\phi = \operatorname{ReLU}$ ならば $q_l = \frac{1}{2}d_{l-1}v_lq_{l-1}$（$l \geq 2$）。したがって $v_l = 2/d_{l-1}$ ならばすべての $l$ で $q_l = q_1$ である。

証明. $h^{(l-1)}$ は $x$ と $W^{(1)}, \dots, W^{(l-1)}$ の関数なので $W^{(l)}$ と独立である（22-statistics 第1章 命題 1.4）。対称性より $E[W^{(l)}_{jk}] = 0$ なので $E[z^{(l)}_j] = \sum_kE[W^{(l)}_{jk}]E[h^{(l-1)}_k] = 0$、