二次形式と特異値分解

この章の目標

• 双線形形式・二次形式・エルミート形式を行列で表し、基底変換による合同変換を扱える
• シルベスターの慣性法則を証明し、符号数を計算できる
• 正定値性を固有値と主小行列式で判定でき、その証明ができる
• 二次曲線・二次曲面を回転と平行移動で標準形に直し、分類できる
• 特異値分解を証明・計算し、極分解・ムーア–ペンローズ擬逆行列・低ランク近似に応用できる
• レイリー商とクーラント–フィッシャーのミニマックス原理を証明し、固有値の評価に使える

前提：第3章（双対空間）、第7章（スペクトル定理）

8.1 動機：同じ行列、異なる変換規則

$q(x, y) = 5x^2 + 4xy + 2y^2$ のような二次の同次多項式（二次形式）は、至るところに現れる。等高線 $q = 1$ は二次曲線であり、多変数関数の極値はヘッセ行列の二次形式の符号で判定され、力学ではエネルギーが速度や変位の二次形式で表される。二次形式は対称行列で表せる：

ここで注意すべきことがある。座標を $x = Px'$ と取り替えると、二次形式の行列は ${}^t PAP$ に変わる。一方、同じ行列 $A$ を線形変換の表現行列とみれば、基底変換で $P^{-1}AP$ に変わるのだった（第3章）。同じ正方行列でも、それが線形写像の座標表示なのか、双線形形式の座標表示なのかによって、変換規則が異なる。$P$ が直交行列（${}^t P = P^{-1}$）なら二つの規則は一致するので、スペクトル定理（第7章）はそのまま二次形式の理論にも使える。

本章の後半では、異なる二つの内積空間の間の線形写像 $f\colon V \to W$ を考える。定義域と値域で正規直交基底を独立に選べるとき、表現行列はどこまで簡単になるか——その答えが特異値分解である。第3章の階数標準形（基底を自由に選べば $I_r$ と $O$ だけのブロック行列になる）の「計量つき版」とみることができる。

8.2 双線形形式・二次形式・エルミート形式

以下、$V$ は体 $K$ 上の $n$ 次元ベクトル空間とする（8.4 節以降は $K = \mathbb{R}$ または $\mathbb{C}$）。

定義 8.1（双線形形式, bilinear form）写像 $B\colon V \times V \to K$ が各変数について線形であるとき、双線形形式という。$B(u, v) = B(v, u)$ を満たすとき対称、$B(v, v) = 0$ がすべての $v$ で成り立つとき交代的という。

定義 8.2（表現行列）$V$ の基底 $\mathcal{B} = (v_1, \dots, v_n)$ に対し、$G = (B(v_i, v_j))_{i,j}$ を $B$ の表現行列（グラム行列）という。$u, v$ の座標を $x = [u]_{\mathcal{B}}$、$y = [v]_{\mathcal{B}}$ とすると

$$B(u, v) = \sum_{i,j} x_i y_j B(v_i, v_j) = {}^t x\, G\, y$$

$B$ が対称であることと $G$ が対称行列であることは同値である。逆に任意の $G \in \operatorname{M}_n(K)$ は ${}^t x G y$ により双線形形式を定める。

命題 8.3（基底変換）新しい基底 $\mathcal{B}' = (v_1', \dots, v_n')$ を $v_j' = \sum_i p_{ij} v_i$、$P = (p_{ij})$ で与えると、$B$ の表現行列は $G' = {}^t P G P$ に変わる。

証明. $B(v_i', v_j') = \sum_{k,l} p_{ki} p_{lj} B(v_k, v_l) = \sum_{k,l} ({}^t P)_{ik} g_{kl} p_{lj} = ({}^t PGP)_{ij}$。$\square$

定義 8.4（合同）$A, A' \in \operatorname{M}_n(K)$ について、$A' = {}^t PAP$ となる $P \in \operatorname{GL}_n(K)$ が存在するとき、$A$ と $A'$ は合同 (congruent) であるという。

合同な行列の階数は等しい（系 3.30）ので、$B$ の階数 $\operatorname{rank} B := \operatorname{rank} G$ が定まる。$G$ が正則なとき $B$ は非退化であるという。これは、線形写像 $V \to V^{\ast}$, $v \mapsto B(\cdot, v)$ が同型であることと同値である（$B(\cdot, v_j) = \sum_i B(v_i, v_j) v_i^{\ast}$ なので、この写像の基底 $\mathcal{B}$ と双対基底に関する表現行列は $G$ である）。

注意 8.5 線形変換の表現行列は $P^{-1}AP$ と、双線形形式の表現行列は ${}^t PAP$ と変換される。例えば「行列式」は相似では不変だが、合同では $\det({}^t PAP) = (\det P)^2 \det A$ と変わる。逆に「符号数」（8.3 節）は合同で不変だが相似では意味をもたない。第9章の添字記法では、前者は $A^i{}_j$（上下一つずつの添字）、後者は $g_{ij}$（下の添字二つ）と書き分けられ、変換規則の違いが添字の位置で表される。

定義 8.6（二次形式）$K$ の標数が 2 でないとする。対称双線形形式 $B$ に対し $q(v) = B(v, v)$ を二次形式 (quadratic form) という。座標では、対称行列 $A$ を用いて

$$q(x) = {}^t x A x = \sum_{i} a_{ii} x_i^2 + 2\sum_{i<j} a_{ij} x_i x_j$$

と書ける。

偏極：$B(u, v) = \frac{1}{2}\left(q(u + v) - q(u) - q(v)\right)$ なので、二次形式から対称双線形形式が復元できる。したがって、対称双線形形式・二次形式・対称行列は一対一に対応する。二次形式から行列を作るときは、$x_ix_j$ $(i \neq j)$ の係数の半分を $(i, j)$ 成分と $(j, i)$ 成分に入れる。例えば

複素ベクトル空間では、内積と同様に第 2 変数について共役線形な形式を使う。

定義 8.7（エルミート形式）$K = \mathbb{C}$ とする。$H\colon V \times V \to \mathbb{C}$ が第 1 変数について線形で $H(v, u) = \overline{H(u, v)}$ を満たすとき、エルミート形式という。基底 $(v_i)$ に対し $a_{ij} = H(v_j, v_i)$ とおくと、$A = (a_{ij})$ はエルミート行列で、座標 $x, y$ について

$$H(u, v) = y^{\ast} A x$$

となる。基底変換 $v_j' = \sum_i p_{ij}v_i$ で $A$ は $P^{\ast}AP$ に変わる。

添字の順序 $a_{ij} = H(v_j, v_i)$ は、第 1 変数について線形という本教材の約束に合わせたものである（計算は命題 8.3 と同様）。$H(v, v)$ は常に実数である。内積とは正定値なエルミート形式（実なら正定値な対称双線形形式）にほかならない。

8.3 対角化とシルベスターの慣性法則

定理 8.8（直交基底の存在）$K$ の標数が 2 でないとする。$V$ 上の対称双線形形式 $B$ に対し、$B(v_i, v_j) = 0$ $(i \neq j)$ を満たす基底（$B$ に関する直交基底）が存在する。すなわち、任意の対称行列は対角行列と合同である。

証明. $n$ に関する帰納法。$B = 0$ なら任意の基底でよい。$B \neq 0$ なら、偏極の式から $q(v) = B(v, v) \neq 0$ となる $v$ がある（$q \equiv 0$ なら $B \equiv 0$ になる）。線形形式 $u \mapsto B(u, v)$ は $v$ で 0 でないので、その核 $W$ は $n - 1$ 次元で $v \notin W$、よって $V = Kv \oplus W$。$B$ を $W$ に制限したものに帰納法の仮定を適用して得られる直交基底に $v$ を加えればよい。$\square$

実際の計算には、平方完成（ラグランジュの方法）が便利である。

例 8.9 $q = x^2 + 4xy + 2y^2 - 6yz + z^2$ を平方完成する。

新しい座標 $X = x + 2y$、$Y = y + \frac{3}{2}z$、$Z = z$ で $q = X^2 - 2Y^2 + \frac{11}{2}Z^2$ となる。（展開して検算せよ。）正の係数が 2 個、負の係数が 1 個である。座標変換の行列は対角成分 1 の上三角行列なので行列式は保たれ、$1 \cdot (-2) \cdot \frac{11}{2} = -11$ が上の対称行列の行列式 $1 \cdot (2 - 9) - 2 \cdot (2 - 0) = -11$ と一致する。

実対称行列については、スペクトル定理により直交行列で対角化でき、対角成分は固有値である（定理 7.32、${}^t Q = Q^{-1}$ なので相似と合同が一致する）。さらに各基底ベクトルを $\lvert \lambda_i \rvert^{-1/2}$ 倍すれば、対角成分を $1, -1, 0$ にできる。

定理 8.10（シルベスターの慣性法則, Sylvester's law of inertia）実対称行列 $A$（あるいは実ベクトル空間上の対称双線形形式）を合同変換で対角行列にしたとき、対角成分のうち正のものの個数 $p$ と負のものの個数 $q$ は、対角化の方法によらず一定である。$(p, q)$ を $A$ の符号数 (signature) という。$p + q = \operatorname{rank} A$ であり、$p$ は $A$ の正の固有値の個数、$q$ は負の固有値の個数に等しい（重複度込み）。

証明. 基底 $v_1, \dots, v_n$ に関して $B$ が対角形で、$d_i = B(v_i, v_i)$ が $i \leq p$ で正、$p < i \leq p + q$ で負、それ以外で 0 とする。次を示す：

右辺は対角化の方法によらないので、$p$ も一定である。$W_+ = \operatorname{span}(v_1, \dots, v_p)$ 上では $B(\sum c_iv_i, \sum c_iv_i) = \sum_{i \leq p} d_ic_i^2 > 0$（$c \neq 0$）なので、右辺 $\geq p$。逆に $W$ が $B(w, w) > 0$ $(w \neq 0)$ を満たす部分空間なら、$U = \operatorname{span}(v_{p+1}, \dots, v_n)$ 上では $B(u, u) = \sum_{i > p} d_ic_i^2 \leq 0$ なので $W \cap U = \lbrace 0 \rbrace$ であり、$\dim W + (n - p) \leq n$、すなわち $\dim W \leq p$。$q$ については $-B$ に同じ議論を適用する。$p + q$ は対角行列の階数だから $\operatorname{rank} A$ に等しい。最後の主張は、直交行列による対角化の対角成分が固有値であることから従う。$\square$

エルミート行列についても、$P^{\ast}AP$ による対角化で同じ主張が同じ証明で成り立つ。

系 8.11 二つの実対称行列が合同であるための必要十分条件は、階数と符号数が等しいこと、すなわち $(p, q)$ が等しいことである。符号数 $(p, q)$ の実対称行列は $\operatorname{diag}(I_p, -I_q, O)$ と合同である。

証明. 必要性は定理 8.10。十分性は、両者がともに $\operatorname{diag}(I_p, -I_q, O)$ と合同であることから。$\square$

例 8.9 の二次形式の符号数は $(2, 1)$ である。なお、$\mathbb{C}$ 上の対称双線形形式（エルミート形式ではない）では、基底ベクトルを $d_i^{-1/2}$ 倍（$\mathbb{C}$ では常に平方根がとれる）すれば対角成分をすべて 1 か 0 にできるので、不変量は階数だけである。

8.4 正定値性

以下、$K = \mathbb{R}$ または $\mathbb{C}$ とし、エルミート行列（実対称行列を含む）$A \in \operatorname{M}_n(K)$ を考える。

定義 8.12（正定値）すべての $x \neq 0$ で $x^{\ast}Ax > 0$ のとき $A$ は正定値 (positive definite)、$x^{\ast}Ax \geq 0$ のとき半正定値 (positive semidefinite) という。$-A$ が正定値のとき負定値、正負両方の値をとるとき不定値という。

$A$ の左上の $k \times k$ 部分を $A_k$ と書き、$\det A_k$ を首座小行列式（先頭主小行列式, leading principal minor）という。

定理 8.13（正定値性の判定）エルミート行列 $A \in \operatorname{M}_n(K)$ について、次は同値である。

1. $A$ は正定値である。
2. $A$ の固有値はすべて正である。
3. $\det A_k > 0$ $(k = 1, \dots, n)$（シルベスターの判定法）。
4. $A = B^{\ast}B$ となる正則行列 $B$ が存在する。

証明. (1 ⇒ 2)：$Av = \lambda v$、$v \neq 0$ なら $\lambda\lVert v \rVert^2 = v^{\ast}Av > 0$。

(2 ⇒ 1)：$A = UDU^{\ast}$（$U$ はユニタリ、$D = \operatorname{diag}(\lambda_i)$。$K = \mathbb{R}$ なら定理 7.32 により $U$ は実の直交行列にとれる）とすると、$y = U^{\ast}x$ として $x^{\ast}Ax = y^{\ast}Dy = \sum_i \lambda_i \lvert y_i \rvert^2$。$x \neq 0$ なら $y \neq 0$ なので正。

(1 ⇒ 3)：$x' \in K^k$ に対し $x = {}^t(x', 0, \dots, 0)$ とおくと $x'^{\ast}A_kx' = x^{\ast}Ax$ なので $A_k$ も正定値である。(1 ⇒ 2) より $A_k$ の固有値は正で、$\det A_k$ はその積なので正。

(3 ⇒ 1)：$n$ に関する帰納法。$n = 1$ は明らか。$A_{n-1}$ の首座小行列式は $A$ のそれと同じなので、帰納法の仮定より $A_{n-1}$ は正定値であり、特に正則である。

と書くと、ブロック積により（$A_{n-1}^{-1}$ もエルミートであることに注意）

となる。$\det P = 1$ より $\det A = \det A_{n-1} \cdot s$ で、$\det A > 0$、$\det A_{n-1} > 0$ から $s > 0$。$y = P^{-1}x = {}^t(y', y_n)$ とおくと $x^{\ast}Ax = y^{\ast}(P^{\ast}AP)y = y'^{\ast}A_{n-1}y' + s\lvert y_n \rvert^2$ で、$x \neq 0$ なら $y \neq 0$ なので正である。

(1 ⇒ 4)：$A = UDU^{\ast}$ で固有値は正（(1 ⇒ 2)）なので、$D^{1/2} = \operatorname{diag}(\sqrt{\lambda_i})$ として $B = D^{1/2}U^{\ast}$ とおけば $B^{\ast}B = UDU^{\ast} = A$、$B$ は正則。

(4 ⇒ 1)：$x^{\ast}B^{\ast}Bx = \lVert Bx \rVert^2$ で、$B$ は正則なので $x \neq 0$ なら $Bx \neq 0$。$\square$

4 の $B$ に QR 分解（定理 7.13）$B = QR$ を施すと $A = R^{\ast}Q^{\ast}QR = R^{\ast}R$ となる。つまり正定値行列は、対角成分が正の上三角行列 $R$ によって $A = R^{\ast}R$ と分解できる（コレスキー分解）。

例 8.14 次の行列は、首座小行列式が $2$、$4 - 1 = 3$、$2 \cdot 3 - (-1)(-2) = 4$ でいずれも正なので正定値である。

実際、固有値は $2 - \sqrt{2}, 2, 2 + \sqrt{2}$ で、すべて正である（$(A - 2I)$ の固有値を考えると確かめやすい）。この行列は、差分法で $-d^2/dx^2$ を近似したときに現れる。

正定値性の応用として、2 回微分可能な関数の極値判定がある：勾配が 0 の点でヘッセ行列が正定値なら極小、負定値なら極大、不定値なら極値でない（微分積分学 第7章）。

命題 8.15（正の平方根）半正定値エルミート行列 $A$ に対し、$B^2 = A$ を満たす半正定値エルミート行列 $B$ がただ一つ存在する。これを $\sqrt{A}$ あるいは $A^{1/2}$ と書く。

証明. 存在：スペクトル分解 $A = \sum_i \lambda_i P_i$（$\lambda_i \geq 0$ は相異なる固有値、定理 7.34）に対し $B = \sum_i \sqrt{\lambda_i}P_i$ とおけばよい。一意性：$B$ を条件を満たす行列とすると、$B$ は $B^2 = A$ と可換なので $A$ の固有空間 $V(\lambda_i)$ を保つ（$Av = \lambda_iv$ なら $A(Bv) = BAv = \lambda_iBv$）。$B$ の $V(\lambda_i)$ への制限 $B_i$ は自己随伴で固有値は 0 以上、かつ $B_i^2 = \lambda_i \mathrm{id}$ なので、$B_i$ の固有値 $\mu$ は $\mu^2 = \lambda_i$、$\mu \geq 0$ より $\mu = \sqrt{\lambda_i}$。$B_i$ は対角化可能なので $B_i = \sqrt{\lambda_i}\mathrm{id}$。よって $B = \sum_i \sqrt{\lambda_i}P_i$ と一意に決まる。$\square$

8.5 二次曲線と二次曲面

$\mathbb{R}^n$ の二次超曲面とは、対称行列 $A \neq O$、$b \in \mathbb{R}^n$、$c \in \mathbb{R}$ を用いて

と表される図形である（$n = 2$ なら二次曲線、$n = 3$ なら二次曲面）。回転（直交変換）と平行移動で座標を取り替えて、式をできるだけ簡単にしたい。これらの変換は距離を保つので、図形の形（合同類）は変わらない。

定理 8.16（二次曲線の分類）平面の二次曲線は、回転と平行移動によって、次のいずれかの形に変換される（$a, b > 0$）。

• 楕円 $\dfrac{x^2}{a^2} + \dfrac{y^2}{b^2} = 1$、双曲線 $\dfrac{x^2}{a^2} - \dfrac{y^2}{b^2} = 1$、放物線 $y = ax^2$
• 退化した場合：空集合、1 点、交わる 2 直線、平行な 2 直線、1 直線

証明. 定理 7.32 により、回転行列 $Q$（必要なら列の符号を変えて $\det Q = 1$ にする）で $x = Qx'$ とすると ${}^t QAQ = \operatorname{diag}(\lambda_1, \lambda_2)$ となり、式は $\lambda_1x'^2 + \lambda_2y'^2 + 2b_1'x' + 2b_2'y' + c = 0$ の形になる。

$\operatorname{rank} A = 2$（$\lambda_1\lambda_2 \neq 0$）のとき：$x' + b_1'/\lambda_1$、$y' + b_2'/\lambda_2$ を新しい座標とする平行移動（平方完成）で $\lambda_1X^2 + \lambda_2Y^2 = c'$ となる。$\lambda_1, \lambda_2$ が同符号なら、$c'$ がそれと同符号のとき楕円、$c' = 0$ のとき 1 点、逆符号のとき空集合。異符号なら、$c' \neq 0$ のとき双曲線（必要なら $X, Y$ の役割を入れ替える）、$c' = 0$ のとき交わる 2 直線。

$\operatorname{rank} A = 1$（$\lambda_1 \neq 0 = \lambda_2$ としてよい）のとき：$x'$ について平方完成して $\lambda_1X^2 + 2b_2'y' + c'' = 0$。$b_2' \neq 0$ なら $y'$ 方向の平行移動で定数項を消して放物線（必要なら 180° 回転で係数の符号を調整する）。$b_2' = 0$ なら $X^2 = -c''/\lambda_1$ で、平行な 2 直線、1 直線、空集合のいずれかである。$\square$

例 8.17 $5x^2 + 4xy + 2y^2 = 1$ の行列は第 1 行 $(5, 2)$、第 2 行 $(2, 2)$ で、$\Phi(t) = t^2 - 7t + 6 = (t - 6)(t - 1)$。固有ベクトルは ${}^t(2, 1)$（固有値 6）、${}^t(1, -2)$（固有値 1）で、これらを正規化した座標軸で式は $6X^2 + Y^2 = 1$ となる。これは半軸の長さ $1/\sqrt{6}$ と $1$ の楕円で、長軸は ${}^t(1, -2)$ 方向である。

例 8.18 $x^2 - 2xy + y^2 - \sqrt{2}(x + y) = 0$ で、$45°$ の回転 $u = (x - y)/\sqrt{2}$、$v = (x + y)/\sqrt{2}$ を行うと、$x^2 - 2xy + y^2 = (x - y)^2 = 2u^2$、$\sqrt{2}(x + y) = 2v$ より、式は $v = u^2$ となる。これは放物線である。

3 次元でも同じ手順により、二次曲面は次の標準形（とその退化した場合）に分類される（$a, b, c > 0$）。

このほか、柱面（楕円柱面・双曲柱面・放物柱面）や平面の組などの退化した場合がある。二次曲面は曲面の微分幾何の基本的な例である（多様体 第1章）。

8.6 特異値分解

以下 $K = \mathbb{R}$ または $\mathbb{C}$、$K^m, K^n$ には標準内積を入れる。$A^{\ast}A$ は半正定値エルミート行列で、$\operatorname{rank}(A^{\ast}A) = \operatorname{rank} A$ である（問題 7.8）。

定理 8.19（特異値分解, singular value decomposition）$A \in \operatorname{M}_{m,n}(K)$、$r = \operatorname{rank} A$ とする。ユニタリ行列（$K = \mathbb{R}$ なら直交行列）$U \in \operatorname{M}_m(K)$、$V \in \operatorname{M}_n(K)$ と実数 $\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_r > 0$ が存在して

$$A = U\Sigma V^{\ast}, \qquad \Sigma = \begin{pmatrix} D & O \\ O & O \end{pmatrix} \in \operatorname{M}_{m,n}(\mathbb{R}), \quad D = \operatorname{diag}(\sigma_1, \dots, \sigma_r)$$

と書ける。$\sigma_1^2, \dots, \sigma_r^2$ は $A^{\ast}A$ の 0 でない固有値（重複度込み）なので、$\sigma_i$ は $A$ から一意に定まる。$\sigma_i$ を $A$ の特異値 (singular value) という。

証明. $A^{\ast}A$ にスペクトル定理（系 7.31。$K = \mathbb{R}$ なら ${}^t AA$ は実対称なので定理 7.32）を適用し、固有ベクトルからなる $K^n$ の正規直交基底 $v_1, \dots, v_n$ を、固有値が $\lambda_1 \geq \cdots \geq \lambda_n$ となる順にとる。固有値は 0 以上で、0 でないものはちょうど $r$ 個（$\operatorname{rank} A^{\ast}A = r$）なので、$\lambda_1 \geq \cdots \geq \lambda_r > 0 = \lambda_{r+1} = \cdots = \lambda_n$。$\sigma_i = \sqrt{\lambda_i}$、$u_i = Av_i/\sigma_i$ $(i \leq r)$ とおくと

なので $u_1, \dots, u_r$ は正規直交系であり、これを $K^m$ の正規直交基底 $u_1, \dots, u_m$ に延長する（系 7.10）。$i > r$ なら $\lVert Av_i \rVert^2 = \langle A^{\ast}Av_i, v_i \rangle = 0$ より $Av_i = 0$。よって $Av_i = \sigma_iu_i$ $(i \leq r)$、$Av_i = 0$ $(i > r)$ であり、$U = (u_1 \ \cdots \ u_m)$、$V = (v_1 \ \cdots \ v_n)$ とおくと $AV = U\Sigma$、すなわち $A = U\Sigma V^{\ast}$。一意性：$A^{\ast}A = V\Sigma^{\ast}\Sigma V^{\ast}$ なので、$\Sigma^{\ast}\Sigma = \operatorname{diag}(\sigma_1^2, \dots, \sigma_r^2, 0, \dots)$ の対角成分は $A^{\ast}A$ の固有値である。$\square$

特異値分解は次のようにも書ける：

$v_i$ を右特異ベクトル、$u_i$ を左特異ベクトルという。抽象的には：有限次元内積空間の間の線形写像 $f\colon V \to W$ に対し、$V$ と $W$ の正規直交基底 $(v_j), (u_i)$ をうまく選べば、$f(v_i) = \sigma_iu_i$ $(i \leq r)$、$f(v_i) = 0$ $(i > r)$ となる。表現行列は「対角」行列 $\Sigma$ である。幾何学的には、$L_A$ は $\operatorname{span}(v_1, \dots, v_r)$ の単位球面を、半軸が $\sigma_1u_1, \dots, \sigma_ru_r$ の楕円体に写す。

例 8.20 次の行列の特異値分解を求める。

${}^t AA$ の固有値は $45, 5$、固有ベクトルは $v_1 = {}^t(1, 1)/\sqrt{2}$、$v_2 = {}^t(1, -1)/\sqrt{2}$。$\sigma_1 = 3\sqrt{5}$、$\sigma_2 = \sqrt{5}$。$u_1 = Av_1/\sigma_1 = {}^t(3, 9)/(\sqrt{2} \cdot 3\sqrt{5}) = {}^t(1, 3)/\sqrt{10}$、$u_2 = Av_2/\sigma_2 = {}^t(3, -1)/\sqrt{10}$。よって

検算：左の二つの積は $\frac{1}{\sqrt{2}}$ に第 1 行 $(3, 3)$、第 2 行 $(9, -1)$ を掛けたもので、右の行列を掛けると $\frac{1}{2}$ に第 1 行 $(6, 0)$、第 2 行 $(8, 10)$ を掛けたもの、すなわち $A$ に戻る。$\det A = 15 = \sigma_1\sigma_2$ も確かめられる。

命題 8.21（作用素ノルムとフロベニウスノルム）$A \in \operatorname{M}_{m,n}(K)$ の特異値を $\sigma_1 \geq \cdots \geq \sigma_r$ とすると

$$\lVert A \rVert := \max_{\lVert x \rVert = 1} \lVert Ax \rVert = \sigma_1, \qquad \lVert A \rVert_F := \sqrt{\operatorname{tr}(A^{\ast}A)} = \sqrt{\sum_{i,j} \lvert a_{ij} \rvert^2} = \sqrt{\sigma_1^2 + \cdots + \sigma_r^2}$$

証明. $U$ はノルムを保つので $\lVert Ax \rVert = \lVert \Sigma V^{\ast}x \rVert$ であり、$y = V^{\ast}x$ は $x$ とともにすべての単位ベクトルを動く。$\lVert \Sigma y \rVert^2 = \sum_{i \leq r} \sigma_i^2\lvert y_i \rvert^2 \leq \sigma_1^2\lVert y \rVert^2$ で、$y = e_1$ で等号が成り立つので、最大値は存在して $\sigma_1$ に等しい。後半は $\operatorname{tr}(A^{\ast}A) = \operatorname{tr}(V\Sigma^{\ast}\Sigma V^{\ast}) = \operatorname{tr}(\Sigma^{\ast}\Sigma) = \sum \sigma_i^2$（トレースの相似不変性）。$\square$

$\lVert A \rVert$ を作用素ノルム（スペクトルノルム）、$\lVert A \rVert_F$ をフロベニウスノルムという。作用素ノルムについて $\lVert A + B \rVert \leq \lVert A \rVert + \lVert B \rVert$（三角不等式）が成り立つことは定義から明らかである。

8.7 極分解

定理 8.22（極分解, polar decomposition）任意の $A \in \operatorname{M}_n(K)$ は、ユニタリ行列 $W$ と半正定値エルミート行列 $P$ を用いて $A = WP$ と書ける。$P = \sqrt{A^{\ast}A}$ は一意に定まり、$A$ が正則なら $W$ も一意に定まる。

証明. 特異値分解 $A = U\Sigma V^{\ast}$（正方なので $\Sigma$ は対角行列）から $A = (UV^{\ast})(V\Sigma V^{\ast})$ とし、$W = UV^{\ast}$、$P = V\Sigma V^{\ast}$ とおく。$W$ はユニタリ、$P$ は固有値 $\sigma_i \geq 0$ の半正定値エルミート行列である。$A = WP$ なら $A^{\ast}A = PW^{\ast}WP = P^2$ なので、命題 8.15 より $P = \sqrt{A^{\ast}A}$ は一意。$A$ が正則なら $P$ も正則で $W = AP^{-1}$。$\square$

これは複素数の極形式 $z = e^{i\theta}\lvert z \rvert$ の類似である：ユニタリ行列 $W$ が「偏角」、$P$ が「絶対値」にあたる。幾何学的には、任意の線形変換は、直交する軸に沿った伸縮 $P$ に回転（または鏡映）$W$ を合成したものである。

例 8.23 例 8.20 の $A$ では

であり、$W$ は回転行列（$\det W = 1$）である。検算：$WP$ は第 1 行 $(4 - 1, 2 - 2)$、第 2 行 $(2 + 2, 1 + 4)$ で $A$ に一致する。また $P^2$ は第 1 行 $(5, 4)$、第 2 行 $(4, 5)$ の行列の 5 倍であり、${}^t AA$ に等しい。

8.8 ムーア–ペンローズ擬逆行列

正則でない行列や長方行列にも「逆行列の代わり」を定義したい。

定義 8.24（擬逆行列）$A = U\Sigma V^{\ast}$ を特異値分解とし、$\Sigma^{+} \in \operatorname{M}_{n,m}(\mathbb{R})$ を、左上に $D^{-1} = \operatorname{diag}(\sigma_1^{-1}, \dots, \sigma_r^{-1})$ を置き他を 0 とした行列とする。$A^{+} = V\Sigma^{+}U^{\ast}$ を $A$ のムーア–ペンローズ擬逆行列 (Moore–Penrose pseudoinverse) という。

定理 8.25（ペンローズの条件）$A^{+}$ は、次の 4 条件を満たすただ一つの行列 $X \in \operatorname{M}_{n,m}(K)$ である。

$$AXA = A, \qquad XAX = X, \qquad (AX)^{\ast} = AX, \qquad (XA)^{\ast} = XA$$

特に $A^{+}$ は特異値分解の選び方によらない。$A$ が正則なら $A^{+} = A^{-1}$ である。

証明. $X = A^{+}$ が満たすこと：$\Sigma\Sigma^{+}\Sigma = \Sigma$、$\Sigma^{+}\Sigma\Sigma^{+} = \Sigma^{+}$ で、$\Sigma\Sigma^{+}$、$\Sigma^{+}\Sigma$ はそれぞれ左上が $I_r$ で他が 0 の実対角行列である。例えば $AA^{+} = U\Sigma\Sigma^{+}U^{\ast}$ はエルミートである。他も同様。

一意性：$X, Y$ がともに 4 条件を満たすとすると

よって $X = Y$。正則なら $A^{-1}$ が 4 条件を満たす。$\square$

定理 8.26（最小ノルム最小二乗解）$b \in K^m$ に対し、$\lVert Ax - b \rVert$ を最小にする $x$ のうち、ノルム $\lVert x \rVert$ が最小のものがただ一つ存在し、それは $A^{+}b$ である。

証明. $AA^{+} = U\Sigma\Sigma^{+}U^{\ast} = \sum_{i \leq r} u_iu_i^{\ast}$ は $\operatorname{Im} A = \operatorname{span}(u_1, \dots, u_r)$ への直交射影なので、$A(A^{+}b)$ は $b$ の $\operatorname{Im} A$ への射影であり、$A^{+}b$ は最小二乗解である（定理 7.19 の証明）。最小二乗解の全体は $A^{+}b + \operatorname{Ker} A$ である。$A^{+}b \in \operatorname{span}(v_1, \dots, v_r) = (\operatorname{Ker} A)^{\perp}$（$\operatorname{Ker} A = \operatorname{span}(v_{r+1}, \dots, v_n)$）なので、$k \in \operatorname{Ker} A$ について $\lVert A^{+}b + k \rVert^2 = \lVert A^{+}b \rVert^2 + \lVert k \rVert^2$ であり、最小は $k = 0$ のときに限る。$\square$