第7章内積空間とスペクトル定理（線形代数）

この章の目標

実・複素内積とノルムを扱い、コーシー–シュワルツの不等式と三角不等式を証明できる

グラム–シュミットの直交化で正規直交基底を作り、QR 分解・直交射影・最小二乗法を計算できる

随伴写像を定義し、正規・自己随伴（エルミート）・ユニタリ（直交）写像の性質を説明できる

シューア分解と正規行列のスペクトル定理を証明し、実対称行列を直交行列で対角化できる

スペクトル分解（直交射影の和による表示）を理解し、行列の関数に応用できる

前提：第1章〜第5章（特に三角化定理 5.19）

7.1 動機：長さと角度のある空間

ここまでのベクトル空間には「長さ」や「角度」の概念がなかった。そのため、どの基底も対等であり、対角化で使う基底も斜交していてかまわなかった。しかし平面や空間の幾何学では、互いに直交する単位ベクトルからなる座標系（正規直交基底）が特別な役割を果たす。そのような座標系では、座標が内積で計算でき、長さや角度が座標変換で変わらない。

内積を導入すると、次のような問いが立てられる。

行列を対角化するとき、座標系を回転（正規直交基底の取り替え）だけで済ませられるのはいつか。答えは「正規行列のとき」であり（スペクトル定理）、特に実対称行列は回転で対角化できる。楕円の主軸を求める問題はこの典型例である（第8章）。
与えられた部分空間の中で、あるベクトルに最も近いものは何か。答えは直交射影であり、最小二乗法やフーリエ級数の基礎になる。

「行列は線形写像の座標表示」という視点では、内積空間では正規直交基底という特別な座標系だけを使うことになり、基底変換はユニタリ行列（直交行列）に限られる。その制限のもとでどこまで行列を簡単にできるかが本章の主題である。

本章では $K = \mathbb{R}$ または $\mathbb{C}$ とし、 $c \in K$ の複素共役を $\bar{c}$ と書く（ $K = \mathbb{R}$ なら $\bar{c} = c$ ）。行列 $A$ に対し、各成分の複素共役をとって転置した行列を $A^{\ast} = {}^t\bar{A}$ と書き、 $A$ の随伴行列（共役転置）という。 $(AB)^{\ast} = B^{\ast}A^{\ast}$ 、 $(A^{\ast})^{\ast} = A$ である。

7.2 内積とノルム

定義 7.1（内積, inner product） $K$ 上のベクトル空間 $V$ 上の関数 $\langle \cdot, \cdot \rangle\colon V \times V \to K$ が、任意の $u, v, w \in V$ 、 $c \in K$ について

$\langle u + v, w \rangle = \langle u, w \rangle + \langle v, w \rangle$ 、 $\langle cu, w \rangle = c \langle u, w \rangle$ （第 1 変数について線形）

$\langle v, u \rangle = \overline{\langle u, v \rangle}$ （エルミート対称性）

$v \neq 0$ ならば $\langle v, v \rangle > 0$ （正定値性）

を満たすとき、内積という。内積の与えられたベクトル空間を内積空間（計量ベクトル空間）という。

1 と 2 から、第 2 変数については $\langle u, cw \rangle = \bar{c}\langle u, w \rangle$ （共役線形）である。実内積空間では内積は対称な双線形形式である。2 から $\langle v, v \rangle$ は常に実数であり、3 はそれが正であることを要求している。なお、第 1 変数と第 2 変数のどちらを線形とするかは分野によって流儀が異なる（記法を参照）。

例 7.2

$K^n$ の標準内積 $\langle x, y \rangle = \sum_{i=1}^n x_i \bar{y}_i = y^{\ast}x$ 。 $K = \mathbb{R}$ なら通常のドット積である。
正の実数 $w_1, \dots, w_n$ による重みつき内積 $\langle x, y \rangle = \sum_i w_i x_i \bar{y}_i$ 。
$C([a, b])$ （複素数値連続関数でもよい）上の $\langle f, g \rangle = \int_a^b f(x)\overline{g(x)}\ dx$ 。正定値性には連続性が効いている： $f \neq 0$ なら $\lvert f \rvert^2$ はある点の近くで正なので積分は正である。
$\operatorname{M}_{m,n}(K)$ 上の $\langle A, B \rangle = \operatorname{tr}(B^{\ast}A) = \sum_{i,j} a_{ij}\bar{b}_{ij}$ （フロベニウス内積）。
$\mathbb{R}^2$ 上の $x_1y_1 - x_2y_2$ は、 $\langle e_2, e_2 \rangle = -1$ なので内積ではない。

定義 7.3（ノルム・直交） $\lVert v \rVert = \sqrt{\langle v, v \rangle}$ を $v$ のノルム（長さ）という。 $\lVert v \rVert = 1$ のとき $v$ を単位ベクトルという。 $\langle u, v \rangle = 0$ のとき $u$ と $v$ は直交するといい、 $u \perp v$ と書く。

命題 7.4

$\lVert cv \rVert = \lvert c \rvert \lVert v \rVert$ 。

（ピタゴラスの定理） $u \perp v$ ならば $\lVert u + v \rVert^2 = \lVert u \rVert^2 + \lVert v \rVert^2$ 。

（中線定理） $\lVert u + v \rVert^2 + \lVert u - v \rVert^2 = 2\lVert u \rVert^2 + 2\lVert v \rVert^2$ 。

（偏極恒等式）実内積なら $\langle u, v \rangle = \frac{1}{4}\left(\lVert u + v \rVert^2 - \lVert u - v \rVert^2\right)$ 、複素内積なら $\langle u, v \rangle = \frac{1}{4}\sum_{k=0}^{3} i^k \lVert u + i^k v \rVert^2$ 。

証明. いずれも $\lVert u + cv \rVert^2 = \lVert u \rVert^2 + \bar{c}\langle u, v \rangle + c\langle v, u \rangle + \lvert c \rvert^2\lVert v \rVert^2$ から従う。例えば複素の偏極恒等式では、 $c = i^k$ として $i^k$ を掛けると $i^k(\lVert u \rVert^2 + \lVert v \rVert^2) + \langle u, v \rangle + (-1)^k\langle v, u \rangle$ となり、 $k = 0, 1, 2, 3$ について足すと $\sum_k i^k = \sum_k (-1)^k = 0$ より $4\langle u, v \rangle$ が残る。 $\square$

偏極恒等式は、内積がノルムだけから復元できることを示している。

定理 7.5（コーシー–シュワルツの不等式, Cauchy–Schwarz inequality）任意の $u, v \in V$ について
$\lvert \langle u, v \rangle \rvert \leq \lVert u \rVert \lVert v \rVert$
等号成立は $u, v$ が一次従属のときに限る。

証明. $v = 0$ なら両辺 0 で、 $u, v$ は一次従属である。 $v \neq 0$ とし、 $c = \langle u, v \rangle / \lVert v \rVert^2$ 、 $w = u - cv$ とおく。 $\langle w, v \rangle = \langle u, v \rangle - c\lVert v \rVert^2 = 0$ なので、ピタゴラスの定理より

\lVert u \rVert^2 = \lVert w + cv \rVert^2 = \lVert w \rVert^2 + \lvert c \rvert^2\lVert v \rVert^2 \geq \lvert c \rvert^2 \lVert v \rVert^2 = \frac{\lvert \langle u, v \rangle \rvert^2}{\lVert v \rVert^2}

等号は $w = 0$ 、すなわち $u = cv$ のときに限る。逆に $u, v$ が一次従属で $v \neq 0$ なら $u = dv$ と書け、両辺とも $\lvert d \rvert \lVert v \rVert^2$ となる。 $\square$

証明中の $cv$ は、 $u$ の $v$ 方向への正射影である（7.4 節）。

系 7.6（三角不等式） $\lVert u + v \rVert \leq \lVert u \rVert + \lVert v \rVert$ 。

証明. $\lVert u + v \rVert^2 = \lVert u \rVert^2 + 2\operatorname{Re}\langle u, v \rangle + \lVert v \rVert^2 \leq \lVert u \rVert^2 + 2\lVert u \rVert\lVert v \rVert + \lVert v \rVert^2 = (\lVert u \rVert + \lVert v \rVert)^2$ 。 $\square$

実内積空間では、コーシー–シュワルツの不等式により $\langle u, v \rangle / (\lVert u \rVert\lVert v \rVert) \in [-1, 1]$ なので、 $u, v \neq 0$ のなす角 $\theta \in [0, \pi]$ を $\cos\theta = \langle u, v \rangle/(\lVert u \rVert\lVert v \rVert)$ で定義できる。例 7.2 の 3 に適用すると $\left(\int_a^b fg\right)^2 \leq \int_a^b f^2 \int_a^b g^2$ という積分の不等式が得られる。ノルムの一般論は関数解析第1章で扱う。

7.3 正規直交基底とグラム–シュミットの直交化

定義 7.7（正規直交系） $e_1, \dots, e_k \in V$ が $\langle e_i, e_j \rangle = \delta_{ij}$ を満たすとき正規直交系という。基底であるものを正規直交基底 (orthonormal basis) という。

命題 7.8 正規直交系は一次独立である。 $(e_1, \dots, e_n)$ が $V$ の正規直交基底ならば、任意の $u, v \in V$ について
$v = \sum_{i=1}^n \langle v, e_i \rangle e_i, \qquad \langle u, v \rangle = \sum_{i=1}^n \langle u, e_i \rangle\overline{\langle v, e_i \rangle}, \qquad \lVert v \rVert^2 = \sum_{i=1}^n \lvert \langle v, e_i \rangle \rvert^2$

証明. $\sum_j c_j e_j = 0$ と $e_i$ の内積をとると $c_i = 0$ 。 $v = \sum_j c_j e_j$ なら同様に $\langle v, e_i \rangle = c_i$ 。第 2 式は $u = \sum_i a_i e_i$ 、 $v = \sum_j b_j e_j$ を代入して $\langle u, v \rangle = \sum_{i,j} a_i \bar{b}_j \delta_{ij}$ 。第 3 式は $u = v$ の場合（パーセバルの等式）。 $\square$

つまり、正規直交基底に関する座標は内積をとるだけで求まり、座標に移すと内積は $K^n$ の標準内積になる。一般の基底では座標を求めるのに連立方程式を解く必要があったこと（第2章）と比べると、正規直交基底の便利さがわかる。

定理 7.9（グラム–シュミットの直交化, Gram–Schmidt process） $v_1, \dots, v_k \in V$ が一次独立ならば、
$w_j = v_j - \sum_{i=1}^{j-1} \langle v_j, e_i \rangle e_i, \qquad e_j = \frac{w_j}{\lVert w_j \rVert} \qquad (j = 1, 2, \dots, k)$
によって順に定まる $e_1, \dots, e_k$ は正規直交系であり、各 $j$ について $\operatorname{span}(e_1, \dots, e_j) = \operatorname{span}(v_1, \dots, v_j)$ が成り立つ。

証明. $j$ に関する帰納法。 $j - 1$ まで主張が成り立つとする。 $w_j \neq 0$ である： $w_j = 0$ なら $v_j \in \operatorname{span}(e_1, \dots, e_{j-1}) = \operatorname{span}(v_1, \dots, v_{j-1})$ となり一次独立性に反する。よって $e_j$ が定義でき、 $i < j$ について $\langle w_j, e_i \rangle = \langle v_j, e_i \rangle - \langle v_j, e_i \rangle = 0$ なので $e_j \perp e_i$ 。 $w_j$ は $v_j$ と $e_1, \dots, e_{j-1}$ の一次結合、逆に $v_j = w_j + \sum_{i< j}\langle v_j, e_i \rangle e_i$ なので、張る空間も等しい。 $\square$

$w_j$ は、 $v_j$ から $e_1, \dots, e_{j-1}$ 方向の成分（正射影）を取り除いたものである。

系 7.10 有限次元内積空間は正規直交基底をもつ。任意の正規直交系は正規直交基底に延長できる。

証明. 任意の基底にグラム–シュミットを適用すればよい。後半は、正規直交系を基底に延長（定理 2.31）してからグラム–シュミットを適用すると、最初の正規直交系は変わらない（ $\langle v_j, e_i \rangle$ の項が消える）ことから従う。 $\square$

例 7.11 $\mathbb{R}^3$ の $v_1 = {}^t(1, 1, 0)$ 、 $v_2 = {}^t(1, 0, 1)$ 、 $v_3 = {}^t(0, 1, 1)$ を標準内積で直交化する。

$e_1 = v_1/\sqrt{2} = {}^t(1, 1, 0)/\sqrt{2}$ 。
$\langle v_2, e_1 \rangle = 1/\sqrt{2}$ 、 $w_2 = v_2 - \frac{1}{2}{}^t(1, 1, 0) = {}^t(1/2, -1/2, 1)$ 、 $\lVert w_2 \rVert^2 = 3/2$ 、 $e_2 = {}^t(1, -1, 2)/\sqrt{6}$ 。
$\langle v_3, e_1 \rangle = 1/\sqrt{2}$ 、 $\langle v_3, e_2 \rangle = (0 - 1 + 2)/\sqrt{6} = 1/\sqrt{6}$ 、 $w_3 = v_3 - \frac{1}{2}{}^t(1, 1, 0) - \frac{1}{6}{}^t(1, -1, 2) = {}^t(-2/3, 2/3, 2/3)$ 、 $e_3 = {}^t(-1, 1, 1)/\sqrt{3}$ 。

検算： $e_1 \cdot e_2 \propto 1 - 1 + 0 = 0$ 、 $e_1 \cdot e_3 \propto -1 + 1 + 0 = 0$ 、 $e_2 \cdot e_3 \propto -1 - 1 + 2 = 0$ 。

例 7.12（ルジャンドル多項式） $\mathbb{R}[x]_{\leq 2}$ に内積 $\langle f, g \rangle = \int_{-1}^{1} f(x)g(x)\ dx$ を入れ、 $1, x, x^2$ を直交化する（正規化は後回しにする）。 $\langle x, 1 \rangle = 0$ なので $x$ はそのまま。 $\langle x^2, 1 \rangle = 2/3$ 、 $\langle 1, 1 \rangle = 2$ 、 $\langle x^2, x \rangle = 0$ なので、 $x^2 - \frac{2/3}{2} = x^2 - \frac{1}{3}$ 。直交系 $1, x, x^2 - \frac{1}{3}$ の定数倍がルジャンドル多項式 $P_0 = 1$ 、 $P_1 = x$ 、 $P_2 = \frac{1}{2}(3x^2 - 1)$ である。ノルムは $\lVert 1 \rVert^2 = 2$ 、 $\lVert x \rVert^2 = 2/3$ 、 $\lVert x^2 - 1/3 \rVert^2 = 2/5 - 4/9 + 2/9 = 8/45$ 。このような直交多項式は微分方程式の固有関数として現れる（微分方程式第5章）。

QR 分解

グラム–シュミットの直交化を行列の言葉で書くと、次の分解になる。

定理 7.13（QR 分解） $A \in \operatorname{M}_{m,n}(K)$ の列 $a_1, \dots, a_n$ が一次独立ならば、 $A = QR$ となる $Q \in \operatorname{M}_{m,n}(K)$ （列が $K^m$ の正規直交系）と、対角成分が正の実数である上三角行列 $R \in \operatorname{M}_n(K)$ が存在する。この分解は一意である。

証明. 存在： $a_1, \dots, a_n$ にグラム–シュミットを適用して $e_1, \dots, e_n$ を得る。 $a_j \in \operatorname{span}(e_1, \dots, e_j)$ なので $a_j = \sum_{i \leq j} \langle a_j, e_i \rangle e_i$ であり、 $\langle a_j, e_j \rangle = \langle w_j, e_j \rangle = \lVert w_j \rVert > 0$ 。 $Q = (e_1 \ \cdots \ e_n)$ 、 $R = (r_{ij})$ 、 $r_{ij} = \langle a_j, e_i \rangle$ $(i \leq j)$ 、 $r_{ij} = 0$ $(i > j)$ とすればよい。

一意性： $QR = Q'R'$ とする。 $Q^{\ast}Q = I_n$ などに注意すると、 $R$ は正則で $Q = Q'T$ 、 $T = R'R^{-1}$ は対角成分が正の上三角行列である（上三角行列の逆行列・積は上三角）。 $I = Q^{\ast}Q = T^{\ast}Q'^{\ast}Q'T = T^{\ast}T$ より $T^{\ast} = T^{-1}$ 。左辺は下三角、右辺は上三角なので $T$ は対角行列で、対角成分 $t$ は $\bar{t}t = 1$ 、 $t > 0$ より $t = 1$ 。よって $T = I$ 。 $\square$

例 7.11 の $v_1, v_2, v_3$ を並べた行列 $A$ では、 $r_{ij} = \langle v_j, e_i \rangle$ を計算して

A = \begin{pmatrix} 1 & 1 & 0 \\ 1 & 0 & 1 \\ 0 & 1 & 1 \end{pmatrix} = \begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{6} & -1/\sqrt{3} \\ 1/\sqrt{2} & -1/\sqrt{6} & 1/\sqrt{3} \\ 0 & 2/\sqrt{6} & 1/\sqrt{3} \end{pmatrix} \begin{pmatrix} \sqrt{2} & 1/\sqrt{2} & 1/\sqrt{2} \\ 0 & \sqrt{3/2} & 1/\sqrt{6} \\ 0 & 0 & 2/\sqrt{3} \end{pmatrix}

となる（例えば第 3 列： $\frac{1}{2}{}^t(1, 1, 0) + \frac{1}{6}{}^t(1, -1, 2) + \frac{2}{3}{}^t(-1, 1, 1) = {}^t(0, 1, 1)$ ）。QR 分解は、連立方程式や固有値の数値計算で基本的な役割を果たす。

7.4 直交補空間と直交射影

定義 7.14（直交補空間）部分集合 $S \subset V$ に対し、 $S^{\perp} = \lbrace v \in V \mid \text{すべての } s \in S \text{ で } \langle v, s \rangle = 0 \rbrace$ を $S$ の直交補空間という。これは部分空間である。

定理 7.15（直交分解） $W$ を内積空間 $V$ の有限次元部分空間とし、 $(e_1, \dots, e_k)$ を $W$ の正規直交基底とする。 $v \in V$ に対し
$P_W(v) = \sum_{i=1}^{k} \langle v, e_i \rangle e_i$
とおくと、 $v - P_W(v) \in W^{\perp}$ であり、 $V = W \oplus W^{\perp}$ が成り立つ。さらに $V$ が有限次元なら $\dim W^{\perp} = \dim V - \dim W$ 、 $(W^{\perp})^{\perp} = W$ 。

証明. $\langle v - P_W(v), e_j \rangle = \langle v, e_j \rangle - \langle v, e_j \rangle = 0$ なので、 $v - P_W(v)$ は $W$ の基底と直交し、したがって $W$ と直交する。よって $v = P_W(v) + (v - P_W(v)) \in W + W^{\perp}$ 。 $w \in W \cap W^{\perp}$ なら $\langle w, w \rangle = 0$ で $w = 0$ 。有限次元の場合、直和の次元から $\dim W^{\perp} = \dim V - \dim W$ 。 $W \subset (W^{\perp})^{\perp}$ は定義から明らかで、次元がともに $\dim W$ なので等しい。 $\square$

定義 7.16（直交射影）定理 7.15 の $P_W\colon V \to V$ を、 $W$ への直交射影 (orthogonal projection) という。 $P_W(v)$ は $W$ の正規直交基底の取り方によらない（直和分解 $V = W \oplus W^{\perp}$ に関する $W$ 成分だから）。

定理 7.17（最良近似） $W$ を有限次元部分空間とすると、任意の $v \in V$ と $w \in W$ について $\lVert v - P_W(v) \rVert \leq \lVert v - w \rVert$ であり、等号は $w = P_W(v)$ のときに限る。すなわち $P_W(v)$ は $W$ の中で $v$ に最も近い点である。

証明. $v - w = (v - P_W(v)) + (P_W(v) - w)$ で、第 1 項は $W^{\perp}$ 、第 2 項は $W$ に属する。ピタゴラスの定理より $\lVert v - w \rVert^2 = \lVert v - P_W(v) \rVert^2 + \lVert P_W(v) - w \rVert^2$ 。 $\square$

例 7.18 例 7.11 の $e_1, e_2$ が張る平面 $W$ と $v = {}^t(1, 2, 3)$ について、 $\langle v, e_1 \rangle = 3/\sqrt{2}$ 、 $\langle v, e_2 \rangle = (1 - 2 + 6)/\sqrt{6} = 5/\sqrt{6}$ より

P_W(v) = \frac{3}{2}\begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} + \frac{5}{6}\begin{pmatrix} 1 \\ -1 \\ 2 \end{pmatrix} = \frac{1}{3}\begin{pmatrix} 7 \\ 2 \\ 5 \end{pmatrix}, \qquad v - P_W(v) = \frac{4}{3}\begin{pmatrix} -1 \\ 1 \\ 1 \end{pmatrix}

であり、 $v$ と $W$ の距離は $\lVert v - P_W(v) \rVert = 4/\sqrt{3}$ である。検算： $v - P_W(v)$ は $e_3$ の定数倍で、 $\langle v, e_3 \rangle = (-1 + 2 + 3)/\sqrt{3} = 4/\sqrt{3}$ と一致する。

注意

無限次元の部分空間 $W$ では $V = W \oplus W^{\perp}$ が成り立たないことがある。例えば $C([-1, 1])$ に例 7.2 の 3 の内積を入れ、 $W$ を多項式関数全体とすると、ワイエルシュトラスの近似定理により $W^{\perp} = \lbrace 0 \rbrace$ となるが、 $W \neq V$ （例えば $\lvert x \rvert \notin W$ ）である。無限次元では部分空間が「閉じている」ことと空間の「完備性」が必要になる（関数解析第2章）。

7.5 最小二乗法

連立方程式 $Ax = b$ に解がないとき（データが誤差を含む場合など）、「最も近い」解を求めたい。すなわち $\lVert Ax - b \rVert$ を最小にする $x$ を探す。

定理 7.19（最小二乗法） $A \in \operatorname{M}_{m,n}(K)$ 、 $b \in K^m$ とし、 $K^m$ に標準内積を入れる。 $\hat{x} \in K^n$ が $\lVert Ax - b \rVert$ を最小にするための必要十分条件は、正規方程式
$A^{\ast}A\hat{x} = A^{\ast}b$
を満たすことである。正規方程式は常に解をもつ。 $\operatorname{rank} A = n$ なら $A^{\ast}A$ は正則で、解は $\hat{x} = (A^{\ast}A)^{-1}A^{\ast}b$ にただ一つ定まる。

証明. $W = \operatorname{Im} L_A$ とすると、 $\lVert Ax - b \rVert$ の最小値は $b$ と $W$ の距離であり、定理 7.17 より $A\hat{x} = P_W(b)$ となる $\hat{x}$ で（しかもそのときに限り）達成される。 $P_W(b) \in W$ なのでそのような $\hat{x}$ は存在する。 $A\hat{x} = P_W(b) \iff A\hat{x} - b \in W^{\perp}$ （ $A\hat{x} \in W$ だから） $\iff$ すべての $y$ で $\langle A\hat{x} - b, Ay \rangle = y^{\ast}A^{\ast}(A\hat{x} - b) = 0$ $\iff A^{\ast}(A\hat{x} - b) = 0$ 。最後に、 $A^{\ast}Ax = 0$ なら $0 = x^{\ast}A^{\ast}Ax = \lVert Ax \rVert^2$ より $Ax = 0$ なので $\operatorname{Ker}(A^{\ast}A) = \operatorname{Ker} A$ 。 $\operatorname{rank} A = n$ ならこれは $\lbrace 0 \rbrace$ で、正方行列 $A^{\ast}A$ は正則である。 $\square$

QR 分解 $A = QR$ があれば、 $A^{\ast}A = R^{\ast}R$ 、 $A^{\ast}b = R^{\ast}Q^{\ast}b$ なので正規方程式は $R\hat{x} = Q^{\ast}b$ となり、後退代入で解ける（数値的にはこの方が安定である）。

例 7.20（直線のあてはめ）4 点 $(0, 1), (1, 2), (2, 2), (3, 4)$ に直線 $y = \alpha + \beta x$ をあてはめる。 $\alpha + \beta x_i = y_i$ を連立方程式とみると

A = \begin{pmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{pmatrix}, \quad b = \begin{pmatrix} 1 \\ 2 \\ 2 \\ 4 \end{pmatrix}, \quad {}^t A A = \begin{pmatrix} 4 & 6 \\ 6 & 14 \end{pmatrix}, \quad {}^t A b = \begin{pmatrix} 9 \\ 18 \end{pmatrix}

であり、正規方程式を解いて $\alpha = (9 \cdot 14 - 6 \cdot 18)/20 = 0.9$ 、 $\beta = (4 \cdot 18 - 6 \cdot 9)/20 = 0.9$ 。残差 $b - A\hat{x} = {}^t(0.1, 0.2, -0.7, 0.4)$ は、 $A$ の列 ${}^t(1, 1, 1, 1)$ と ${}^t(0, 1, 2, 3)$ の両方と直交する（ $0.1 + 0.2 - 0.7 + 0.4 = 0$ 、 $0 + 0.2 - 1.4 + 1.2 = 0$ ）。これが正規方程式の幾何学的な意味である。

7.6 随伴写像

以下、 $V, W$ は有限次元内積空間とする。

定理 7.21（リースの表現定理, 有限次元）任意の $\varphi \in V^{\ast}$ に対し、すべての $v \in V$ で $\varphi(v) = \langle v, w \rangle$ となる $w \in V$ がただ一つ存在する。

証明. 正規直交基底 $(e_i)$ をとり $w = \sum_i \overline{\varphi(e_i)}\ e_i$ とおくと、 $\langle v, w \rangle = \sum_i \varphi(e_i)\langle v, e_i \rangle = \varphi\left(\sum_i \langle v, e_i \rangle e_i\right) = \varphi(v)$ 。一意性： $\langle v, w - w' \rangle = 0$ がすべての $v$ で成り立てば、 $v = w - w'$ として $w = w'$ 。 $\square$

$w \mapsto \langle \cdot, w \rangle$ は $V$ から $V^{\ast}$ への全単射だが、複素の場合は共役線形である。内積があれば、双対空間を $V$ 自身と（共役線形に）同一視できる。

定理 7.22（随伴写像, adjoint）線形写像 $f\colon V \to W$ に対し、
$\langle f(v), w \rangle = \langle v, f^{\ast}(w) \rangle \qquad (v \in V,\ w \in W)$
を満たす写像 $f^{\ast}\colon W \to V$ がただ一つ存在し、線形である。 $f^{\ast}$ を $f$ の随伴写像という。

証明. $w$ を固定すると $v \mapsto \langle f(v), w \rangle$ は $V^{\ast}$ の元なので、定理 7.21 によりある $f^{\ast}(w) \in V$ がただ一つ存在する。線形性： $\langle v, f^{\ast}(w + cw') \rangle = \langle f(v), w \rangle + \bar{c}\langle f(v), w' \rangle = \langle v, f^{\ast}(w) + cf^{\ast}(w') \rangle$ と一意性から。 $\square$

命題 7.23

$(f + g)^{\ast} = f^{\ast} + g^{\ast}$ 、 $(cf)^{\ast} = \bar{c}f^{\ast}$ 、 $(g \circ f)^{\ast} = f^{\ast} \circ g^{\ast}$ 、 $(f^{\ast})^{\ast} = f$ 。

$\mathcal{B}, \mathcal{C}$ を $V, W$ の正規直交基底とすると $[f^{\ast}]_{\mathcal{B} \leftarrow \mathcal{C}} = ([f]_{\mathcal{C} \leftarrow \mathcal{B}})^{\ast}$ 。特に、 $K^n$ の標準内積について $(L_A)^{\ast} = L_{A^{\ast}}$ 。

$\operatorname{Ker} f^{\ast} = (\operatorname{Im} f)^{\perp}$ 、 $\operatorname{Im} f^{\ast} = (\operatorname{Ker} f)^{\perp}$ 。

証明. 1 は定義と一意性から直ちに従う。2： $\mathcal{B} = (v_j)$ 、 $\mathcal{C} = (w_i)$ とすると、命題 7.8 より $[f]$ の $(i, j)$ 成分は $a_{ij} = \langle f(v_j), w_i \rangle$ 、 $[f^{\ast}]$ の $(i, j)$ 成分は $\langle f^{\ast}(w_j), v_i \rangle = \overline{\langle v_i, f^{\ast}(w_j) \rangle} = \overline{\langle f(v_i), w_j \rangle} = \overline{a_{ji}}$ 。3： $w \in \operatorname{Ker} f^{\ast} \iff$ すべての $v$ で $\langle v, f^{\ast}(w) \rangle = 0 \iff$ すべての $v$ で $\langle f(v), w \rangle = 0 \iff w \in (\operatorname{Im} f)^{\perp}$ 。これを $f^{\ast}$ に適用し、定理 7.15 で $\perp$ をとると後半を得る。 $\square$

注意

命題 7.23 の 2 は正規直交基底についての主張である。一般の基底では、随伴写像の表現行列は表現行列の共役転置にならない。また実内積空間では $f^{\ast}$ は第3章の転置写像 ${}^t f$ を定理 7.21 の同一視 $V \cong V^{\ast}$ で読み替えたものであり、複素の場合はこの同一視が共役線形であることに注意が必要である。

命題 7.24（直交射影の特徴づけ）線形変換 $P\colon V \to V$ が部分空間への直交射影であるための必要十分条件は、 $P^2 = P$ かつ $P^{\ast} = P$ である。

証明. $P = P_W$ なら $P^2 = P$ は明らか。 $u, v \in V$ について $u - Pu, v - Pv \in W^{\perp}$ なので $\langle Pu, v \rangle = \langle Pu, Pv \rangle = \langle u, Pv \rangle$ となり $P^{\ast} = P$ 。逆に $P^2 = P = P^{\ast}$ なら $V = \operatorname{Ker} P \oplus \operatorname{Im} P$ （問題 3.4）で、 $\operatorname{Ker} P = \operatorname{Ker} P^{\ast} = (\operatorname{Im} P)^{\perp}$ （命題 7.23 の 3）なので、 $P$ は $\operatorname{Im} P$ への直交射影である。 $\square$

7.7 正規・自己随伴・ユニタリ変換

定義 7.25 有限次元内積空間 $V$ の線形変換 $f$ について

$f^{\ast} = f$ のとき自己随伴 (self-adjoint)、あるいはエルミートであるという。

$f^{\ast}f = \mathrm{id}_V$ のときユニタリ (unitary) であるという（ $K = \mathbb{R}$ のときは直交変換 (orthogonal) という）。

$ff^{\ast} = f^{\ast}f$ のとき正規 (normal) であるという。

行列については、 $A^{\ast} = A$ のときエルミート行列（実なら実対称行列）、 $U^{\ast}U = I$ のときユニタリ行列（実なら直交行列、 ${}^t QQ = I$ ）、 $AA^{\ast} = A^{\ast}A$ のとき正規行列という。 $n$ 次ユニタリ行列全体を $\operatorname{U}(n)$ 、直交行列全体を $\operatorname{O}(n)$ と書く。

自己随伴変換やユニタリ変換は正規である。 $A^{\ast} = -A$ （歪エルミート）の行列も正規である。 $\operatorname{U}(n)$ と $\operatorname{O}(n)$ は積について群をなし、リー群の代表例である（リー群と表現論第2章）。

命題 7.26（ユニタリ変換の特徴づけ）線形変換 $f\colon V \to V$ について次は同値である。

$f$ はユニタリ（ $f^{\ast}f = \mathrm{id}$ ）。

$f$ は内積を保つ： $\langle f(u), f(v) \rangle = \langle u, v \rangle$ 。

$f$ はノルムを保つ： $\lVert f(v) \rVert = \lVert v \rVert$ 。

$f$ は正規直交基底を正規直交基底に写す。

このとき $f$ は可逆で $f^{-1} = f^{\ast}$ 、したがって $ff^{\ast} = \mathrm{id}$ でもある。行列 $U$ がユニタリであることは、 $U$ の列が $K^n$ の正規直交基底をなすことと同値である。

証明. (1 ⇔ 2)： $\langle f(u), f(v) \rangle = \langle u, f^{\ast}f(v) \rangle$ であり、これがすべての $u, v$ で $\langle u, v \rangle$ に等しいことは $f^{\ast}f = \mathrm{id}$ と同値。(2 ⇒ 3) は明らか。(3 ⇒ 2) は偏極恒等式から。(2 ⇒ 4) は明らか。(4 ⇒ 2)：正規直交基底 $(e_i)$ が正規直交基底 $(f(e_i))$ に写るなら、命題 7.8 の第 2 式により $\langle f(u), f(v) \rangle = \langle u, v \rangle$ 。 $f^{\ast}f = \mathrm{id}$ なら $f$ は単射なので有限次元では可逆で、 $f^{-1} = f^{\ast}$ 。行列の主張は $U^{\ast}U$ の $(i, j)$ 成分が第 $j$ 列と第 $i$ 列の標準内積であることから。 $\square$

例 7.27 回転行列 $R(\theta)$ と置換行列（ $I_n$ の列を並べ替えた行列）は直交行列である。 $\operatorname{diag}(e^{i\theta_1}, \dots, e^{i\theta_n})$ はユニタリ行列である。 $\det U^{\ast}U = \lvert \det U \rvert^2 = 1$ より、ユニタリ行列の行列式の絶対値は 1、直交行列の行列式は $\pm 1$ である。

命題 7.28（固有値の性質） $f$ を線形変換とする。

$f$ が自己随伴なら、固有値はすべて実数である。

$f$ がユニタリなら、固有値の絶対値はすべて 1 である。

$f$ が正規なら、すべての $v$ で $\lVert f(v) \rVert = \lVert f^{\ast}(v) \rVert$ であり、 $f(v) = \lambda v \iff f^{\ast}(v) = \bar{\lambda}v$ 。さらに、相異なる固有値に属する固有ベクトルは直交する。

証明. 1： $f(v) = \lambda v$ 、 $v \neq 0$ なら $\lambda\lVert v \rVert^2 = \langle f(v), v \rangle = \langle v, f(v) \rangle = \bar{\lambda}\lVert v \rVert^2$ より $\lambda = \bar{\lambda}$ 。2： $\lVert v \rVert = \lVert f(v) \rVert = \lvert \lambda \rvert \lVert v \rVert$ 。3： $\lVert f(v) \rVert^2 = \langle f^{\ast}f(v), v \rangle = \langle ff^{\ast}(v), v \rangle = \lVert f^{\ast}(v) \rVert^2$ 。 $f - \lambda$ も正規（ $(f - \lambda)^{\ast} = f^{\ast} - \bar{\lambda}$ は $f - \lambda$ と可換）なので、 $\lVert (f - \lambda)v \rVert = \lVert (f^{\ast} - \bar{\lambda})v \rVert$ から同値性が従う。 $f(v) = \lambda v$ 、 $f(w) = \mu w$ 、 $\lambda \neq \mu$ なら $\lambda\langle v, w \rangle = \langle f(v), w \rangle = \langle v, f^{\ast}(w) \rangle = \langle v, \bar{\mu}w \rangle = \mu\langle v, w \rangle$ より $\langle v, w \rangle = 0$ 。 $\square$

実対称行列は複素エルミート行列でもあるので、実対称行列の固有値はすべて実数である。これは次節の実スペクトル定理の出発点になる。

7.8 シューア分解

三角化定理（定理 5.19）を、正規直交基底で行えることを示す。

定理 7.29（シューア分解, Schur decomposition）任意の $A \in \operatorname{M}_n(\mathbb{C})$ について、 $U^{\ast}AU$ が上三角行列となるユニタリ行列 $U$ が存在する。 $A \in \operatorname{M}_n(\mathbb{R})$ の固有値がすべて実数なら、 ${}^t QAQ$ が上三角行列となる直交行列 $Q$ が存在する。

証明. 定理 5.19 より、 $P^{-1}AP$ が上三角となる正則行列 $P$ がある。 $P$ の列を $v_1, \dots, v_n$ とすると、上三角であることは、各 $j$ について $V_j := \operatorname{span}(v_1, \dots, v_j)$ が $L_A$ -不変であることと同値である（ $Av_j \in V_j$ ）。 $v_1, \dots, v_n$ にグラム–シュミットを適用して正規直交基底 $e_1, \dots, e_n$ を得ると、定理 7.9 より $\operatorname{span}(e_1, \dots, e_j) = V_j$ である。よって $Ae_j \in V_j = \operatorname{span}(e_1, \dots, e_j)$ となり、 $U = (e_1 \ \cdots \ e_n)$ について $U^{-1}AU = U^{\ast}AU$ は上三角である。実の場合は、固有値がすべて実数なら定理 5.19 を $\mathbb{R}$ 上で適用でき、グラム–シュミットも実数の範囲で行えるので、 $U$ は実の直交行列にとれる。 $\square$

7.9 スペクトル定理

定理 7.30（スペクトル定理, spectral theorem） $A \in \operatorname{M}_n(\mathbb{C})$ について次は同値である。

$A$ は正規行列である。

$U^{\ast}AU$ が対角行列となるユニタリ行列 $U$ が存在する（ $A$ はユニタリ対角化可能）。

抽象的には：有限次元複素内積空間の線形変換 $f$ について、 $f$ の固有ベクトルからなる正規直交基底が存在する $\iff$ $f$ は正規。

証明. (2 ⇒ 1)： $A = UDU^{\ast}$ （ $D$ は対角）なら $A^{\ast}A = UD^{\ast}DU^{\ast}$ 、 $AA^{\ast} = UDD^{\ast}U^{\ast}$ で、対角行列どうしは可換なので等しい。

(1 ⇒ 2)：シューア分解で $T = U^{\ast}AU$ を上三角とする。 $T^{\ast}T = U^{\ast}A^{\ast}AU = U^{\ast}AA^{\ast}U = TT^{\ast}$ なので $T$ も正規である。正規な上三角行列は対角行列であることを $n$ に関する帰納法で示す。 $(1, 1)$ 成分を比べると、 $T$ の第 1 列は $t_{11}e_1$ なので

(T^{\ast}T)_{11} = \sum_{i} \lvert t_{i1} \rvert^2 = \lvert t_{11} \rvert^2, \qquad (TT^{\ast})_{11} = \sum_{j} \lvert t_{1j} \rvert^2

これらが等しいので $t_{1j} = 0$ $(j \geq 2)$ 。すると $T$ はブロック対角 $\operatorname{diag}(t_{11}, T_1)$ で、ブロック積から $T_1$ も正規な上三角行列である。帰納法の仮定により $T_1$ は対角行列であり、 $T$ も対角行列である。 $\square$

系 7.31 エルミート行列 $A$ は、ユニタリ行列 $U$ によって実数を対角成分とする対角行列 $U^{\ast}AU$ に対角化される。ユニタリ行列は、絶対値 1 の複素数を対角成分とする対角行列にユニタリ対角化される。

証明. 正規なので定理 7.30 が使え、対角成分は固有値なので命題 7.28 から従う。 $\square$

定理 7.32（実対称行列の直交対角化） $A \in \operatorname{M}_n(\mathbb{R})$ が対称行列ならば、 ${}^t QAQ$ が（実数を成分とする）対角行列となる直交行列 $Q$ が存在する。逆に、直交行列で対角化できる実行列は対称である。抽象的には：有限次元実内積空間の自己随伴変換は、固有ベクトルからなる正規直交基底をもつ。

証明. $A$ をエルミート行列とみなすと、固有値はすべて実数である（命題 7.28）。よって定理 7.29 の実の場合が適用でき、 ${}^t QAQ = T$ は上三角である。 ${}^t T = {}^t Q\ {}^t A\ Q = T$ なので $T$ は対称な上三角行列、すなわち対角行列である。逆： $A = QD\ {}^t Q$ なら ${}^t A = Q\ {}^t D\ {}^t Q = A$ 。 $\square$

注意

実の正規行列でも、実数の範囲では対角化できないことがある。回転行列 $R(\theta)$ （ $\theta \notin \pi\mathbb{Z}$ ）は直交行列なので正規だが、実固有値をもたない。 $\mathbb{C}$ 上では、正規直交な固有ベクトル ${}^t(1, -i)/\sqrt{2}$ 、 ${}^t(1, i)/\sqrt{2}$ （固有値 $e^{i\theta}$ 、 $e^{-i\theta}$ 、例 5.16）によってユニタリ対角化される。逆に、対角化可能でも正規でない行列（例えば第 1 行 $(1, 1)$ 、第 2 行 $(0, 2)$ の行列。固有ベクトル ${}^t(1, 0)$ と ${}^t(1, 1)$ は直交しない）は、ユニタリ行列では対角化できない。

例 7.33 次の実対称行列を直交行列で対角化する。

A = \begin{pmatrix} 2 & 1 & 1 \\ 1 & 2 & 1 \\ 1 & 1 & 2 \end{pmatrix}

$A = I + J$ （ $J$ は全成分 1）なので、固有値は $4$ （固有ベクトル ${}^t(1, 1, 1)$ ）と $1$ （固有空間 $\lbrace x_1 + x_2 + x_3 = 0 \rbrace$ 、2 次元）である。固有値 1 の固有空間から 2 本とった ${}^t(1, -1, 0)$ , ${}^t(1, 0, -1)$ は直交していないので、グラム–シュミットで ${}^t(1, -1, 0)/\sqrt{2}$ 、 ${}^t(1, 1, -2)/\sqrt{6}$ に直す（ ${}^t(1, 0, -1) - \frac{1}{2}{}^t(1, -1, 0) = {}^t(1/2, 1/2, -1)$ ）。異なる固有値の固有空間は自動的に直交する（命題 7.28）ので、

Q = \begin{pmatrix} 1/\sqrt{3} & 1/\sqrt{2} & 1/\sqrt{6} \\ 1/\sqrt{3} & -1/\sqrt{2} & 1/\sqrt{6} \\ 1/\sqrt{3} & 0 & -2/\sqrt{6} \end{pmatrix}, \qquad {}^t QAQ = \begin{pmatrix} 4 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}

となる。検算： $A\ {}^t(1, 1, -2) = {}^t(2 + 1 - 2,\ 1 + 2 - 2,\ 1 + 1 - 4) = {}^t(1, 1, -2)$ 。

7.10 スペクトル分解

スペクトル定理を、基底を使わずに「射影の和」として書き直す。

定理 7.34（スペクトル分解, spectral decomposition） $f$ を有限次元複素内積空間 $V$ の正規変換（あるいは有限次元実内積空間の自己随伴変換）とし、相異なる固有値を $\lambda_1, \dots, \lambda_k$ 、固有空間 $V(\lambda_i)$ への直交射影を $P_i$ とする。このとき

$V = V(\lambda_1) \oplus \cdots \oplus V(\lambda_k)$ で、 $V(\lambda_i)$ たちは互いに直交する。

$P_iP_j = \delta_{ij}P_i$ 、 $P_i^{\ast} = P_i$ 、 $P_1 + \cdots + P_k = \mathrm{id}_V$ 。

$f = \lambda_1 P_1 + \cdots + \lambda_k P_k$ 。

任意の多項式 $p$ について $p(f) = \sum_i p(\lambda_i)P_i$ 。特に $P_i = \prod_{j \neq i} \dfrac{f - \lambda_j}{\lambda_i - \lambda_j}$ は $f$ の多項式である。

証明. 1：固有ベクトルからなる正規直交基底（定理 7.30、7.32）を固有値ごとにまとめればよい。直交性は命題 7.28 の 3。2：1 より $V(\lambda_i)^{\perp} = \bigoplus_{j \neq i} V(\lambda_j)$ なので、 $P_i$ は $v = \sum_j v_j$ （ $v_j \in V(\lambda_j)$ ）に $v_i$ を対応させる写像である。これから主張は明らか（ $P_i^{\ast} = P_i$ は命題 7.24）。3： $f(v) = \sum_j \lambda_j v_j = \sum_j \lambda_j P_j(v)$ 。4：2 と 3 から $f^m = \sum_i \lambda_i^m P_i$ が帰納的に従い、線形結合をとればよい。ラグランジュ多項式 $L_i(t) = \prod_{j \neq i}(t - \lambda_j)/(\lambda_i - \lambda_j)$ は $L_i(\lambda_j) = \delta_{ij}$ を満たすので、 $L_i(f) = P_i$ 。 $\square$

定理 7.34 の 4 に基づき、固有値の上で定義された任意の関数 $\varphi$ に対して

\varphi(f) := \sum_{i=1}^k \varphi(\lambda_i) P_i

と定義できる（関数計算, functional calculus）。例えば $\varphi(t) = e^t$ とすれば第6章の $e^f$ と一致し、固有値がすべて 0 以上のエルミート変換に対しては $\varphi(t) = \sqrt{t}$ として平方根が定義できる（第8章）。

例 7.35 例 7.33 の $A = I + J$ では、 $V(4) = \operatorname{span}({}^t(1, 1, 1))$ への直交射影は $P_4 = \frac{1}{3}J$ 、 $V(1)$ への直交射影は $P_1 = I - \frac{1}{3}J$ であり、

A = 4 \cdot \frac{1}{3}J + 1 \cdot \left(I - \frac{1}{3}J\right), \qquad \sqrt{A} = 2 \cdot \frac{1}{3}J + \left(I - \frac{1}{3}J\right) = I + \frac{1}{3}J

となる。実際 $\left(I + \frac{1}{3}J\right)^2 = I + \frac{2}{3}J + \frac{1}{9}J^2 = I + J$ （ $J^2 = 3J$ ）。

スペクトル分解は、無限次元のヒルベルト空間上の自己随伴作用素へと一般化され（関数解析第6章）、量子力学の数学的基礎となっている。また、フーリエ級数は微分作用素 $-d^2/dx^2$ の固有関数展開とみることができる。

まとめ

内積は第 1 変数について線形・エルミート対称・正定値な関数であり、ノルム $\lVert v \rVert = \sqrt{\langle v, v \rangle}$ を定める。コーシー–シュワルツの不等式 $\lvert \langle u, v \rangle \rvert \leq \lVert u \rVert\lVert v \rVert$ と三角不等式が成り立ち、内積は偏極恒等式でノルムから復元できる。
正規直交基底では座標が内積で求まり、内積は標準内積になる。グラム–シュミットの直交化で正規直交基底が作れ、行列の言葉では QR 分解になる。
有限次元部分空間 $W$ について $V = W \oplus W^{\perp}$ であり、直交射影 $P_W(v)$ は $W$ の中で $v$ に最も近い点である。最小二乗解は正規方程式 $A^{\ast}A\hat{x} = A^{\ast}b$ で特徴づけられる。
随伴写像 $f^{\ast}$ は $\langle f(v), w \rangle = \langle v, f^{\ast}(w) \rangle$ で定まり、正規直交基底に関する表現行列は共役転置 $A^{\ast}$ である。
自己随伴変換の固有値は実数、ユニタリ変換の固有値は絶対値 1、正規変換の相異なる固有値の固有ベクトルは直交する。
シューア分解：任意の複素行列はユニタリ行列で上三角化できる。スペクトル定理：ユニタリ対角化可能 $\iff$ 正規。実対称行列は直交行列で実対角化できる。
正規変換は直交射影の一次結合 $f = \sum \lambda_i P_i$ に分解され（スペクトル分解）、これにより行列の関数が定義できる。

演習問題

問題 7.1 ★ $\mathbb{R}[x]_{\leq 2}$ に内積 $\langle f, g \rangle = \int_0^1 f(x)g(x)\ dx$ を入れる。 $1, x, x^2$ にグラム–シュミットの直交化を施して正規直交基底を求めよ。

解答

$\lVert 1 \rVert = 1$ なので $e_1 = 1$ 。 $\langle x, 1 \rangle = 1/2$ より $w_2 = x - 1/2$ 、 $\lVert w_2 \rVert^2 = \int_0^1 (x - 1/2)^2\ dx = 1/12$ 、 $e_2 = 2\sqrt{3}(x - 1/2)$ 。 $\langle x^2, e_1 \rangle = 1/3$ 、 $\langle x^2, e_2 \rangle = 2\sqrt{3}\left(\frac{1}{4} - \frac{1}{6}\right) = \frac{\sqrt{3}}{6}$ より

w_3 = x^2 - \frac{1}{3} - \frac{\sqrt{3}}{6} \cdot 2\sqrt{3}\left(x - \frac{1}{2}\right) = x^2 - x + \frac{1}{6}

$\lVert w_3 \rVert^2 = \int_0^1 \left(x^4 - 2x^3 + \frac{4}{3}x^2 - \frac{1}{3}x + \frac{1}{36}\right)dx = \frac{1}{5} - \frac{1}{2} + \frac{4}{9} - \frac{1}{6} + \frac{1}{36} = \frac{1}{180}$ なので、 $e_3 = 6\sqrt{5}\left(x^2 - x + \frac{1}{6}\right)$ 。

問題 7.2 ★ $\mathbb{R}^3$ の平面 $W = \lbrace x \mid x_1 + x_2 + x_3 = 0 \rbrace$ への直交射影による $v = {}^t(1, 2, 3)$ の像と、 $v$ と $W$ の距離を求めよ。

解答

$W^{\perp} = \operatorname{span}(n)$ 、 $n = {}^t(1, 1, 1)$ である。 $v$ の $n$ 方向の成分は $\frac{\langle v, n \rangle}{\lVert n \rVert^2}n = \frac{6}{3}n = {}^t(2, 2, 2)$ なので、 $P_W(v) = v - {}^t(2, 2, 2) = {}^t(-1, 0, 1)$ 、距離は $\lVert {}^t(2, 2, 2) \rVert = 2\sqrt{3}$ 。

問題 7.3 ★ 3 点 $(-1, 0), (0, 1), (1, 3)$ に最小二乗法で直線 $y = \alpha + \beta x$ をあてはめよ。

解答

$A$ の列は ${}^t(1, 1, 1)$ と ${}^t(-1, 0, 1)$ 、 $b = {}^t(0, 1, 3)$ 。 ${}^t AA = \operatorname{diag}(3, 2)$ 、 ${}^t Ab = {}^t(4, 3)$ より $\alpha = 4/3$ 、 $\beta = 3/2$ 。残差 $b - A\hat{x} = {}^t(1/6, -1/3, 1/6)$ は $A$ の両方の列と直交する。

問題 7.4 ★★ $\mathbb{R}^2$ の $\lVert x \rVert_1 = \lvert x_1 \rvert + \lvert x_2 \rvert$ は、どんな内積からも $\sqrt{\langle x, x \rangle}$ として得られないことを示せ。

解答

内積から得られるノルムは中線定理を満たす（命題 7.4）。 $u = e_1$ 、 $v = e_2$ とすると $\lVert u + v \rVert_1^2 + \lVert u - v \rVert_1^2 = 4 + 4 = 8$ だが $2\lVert u \rVert_1^2 + 2\lVert v \rVert_1^2 = 4$ なので満たさない。（逆に、中線定理を満たすノルムは偏極恒等式で定義した内積から得られることが知られている。）

問題 7.5 ★★ 次のエルミート行列をユニタリ行列で対角化せよ。

A = \begin{pmatrix} 2 & i \\ -i & 2 \end{pmatrix}

解答

$\Phi_A = (t - 2)^2 - i \cdot (-i) = (t - 2)^2 - 1$ より固有値は $1, 3$ （実数）。 $\lambda = 3$ ： $-x_1 + ix_2 = 0$ より ${}^t(i, 1)$ 。 $\lambda = 1$ ： $x_1 + ix_2 = 0$ より ${}^t(-i, 1)$ 。標準内積 $\langle {}^t(i, 1), {}^t(-i, 1) \rangle = i \cdot \overline{(-i)} + 1 = i \cdot i + 1 = 0$ で直交している。正規化して

U = \frac{1}{\sqrt{2}}\begin{pmatrix} i & -i \\ 1 & 1 \end{pmatrix}, \qquad U^{\ast}AU = \begin{pmatrix} 3 & 0 \\ 0 & 1 \end{pmatrix}

検算： $A\ {}^t(i, 1) = {}^t(2i + i,\ 1 + 2) = 3\ {}^t(i, 1)$ 。

問題 7.6 ★★ $A \in \operatorname{M}_n(\mathbb{C})$ を正規行列とする。

$A$ が冪零なら $A = O$ であることを示せ。
$A$ の固有値がすべて実数なら $A$ はエルミートであることを示せ。
$A$ の固有値の絶対値がすべて 1 なら $A$ はユニタリであることを示せ。

解答

$A = UDU^{\ast}$ （ $D$ は対角、 $U$ はユニタリ）と書く。1：固有値はすべて 0 なので $D = O$ 、 $A = O$ 。2： $D$ は実対角なので $D^{\ast} = D$ 、 $A^{\ast} = UD^{\ast}U^{\ast} = A$ 。3： $D^{\ast}D = I$ なので $A^{\ast}A = UD^{\ast}DU^{\ast} = I$ 。（正規性が本質的：第 1 行 $(0, 1)$ 、第 2 行 $(0, 0)$ の行列は冪零だが 0 でない。）

問題 7.7 ★★ 2 次の直交行列は、回転行列 $R(\theta)$ （行列式 1）か、 $R(\theta)\operatorname{diag}(1, -1)$ （行列式 $-1$ ）のいずれかであることを示せ。後者は直線に関する鏡映であることを示せ。

解答

第 1 列は単位ベクトルなので ${}^t(\cos\theta, \sin\theta)$ と書ける。第 2 列はこれと直交する単位ベクトルなので $\pm{}^t(-\sin\theta, \cos\theta)$ 。 $+$ なら $R(\theta)$ 、 $-$ なら第 1 行 $(\cos\theta, \sin\theta)$ 、第 2 行 $(\sin\theta, -\cos\theta)$ の行列 $S$ で、これは $R(\theta)\operatorname{diag}(1, -1)$ に等しい。 $S$ は対称で $\operatorname{tr} S = 0$ 、 $\det S = -1$ なので固有値は $1, -1$ 。直交する固有ベクトル ${}^t(\cos(\theta/2), \sin(\theta/2))$ （固有値 1）と ${}^t(-\sin(\theta/2), \cos(\theta/2))$ （固有値 $-1$ ）をもつので、 $S$ は角 $\theta/2$ の直線に関する鏡映である（倍角の公式で確かめられる）。

問題 7.8 ★★ $A \in \operatorname{M}_{m,n}(\mathbb{C})$ について、 $A^{\ast}A$ はエルミートで固有値がすべて 0 以上であること、および $\operatorname{rank}(A^{\ast}A) = \operatorname{rank} A$ を示せ。

解答

$(A^{\ast}A)^{\ast} = A^{\ast}A$ 。 $A^{\ast}Ax = \lambda x$ 、 $x \neq 0$ なら $\lambda\lVert x \rVert^2 = \langle A^{\ast}Ax, x \rangle = \lVert Ax \rVert^2 \geq 0$ より $\lambda \geq 0$ 。定理 7.19 の証明で示したように $\operatorname{Ker}(A^{\ast}A) = \operatorname{Ker} A$ なので、次元定理より階数も等しい。

問題 7.9 ★★★ $A, B \in \operatorname{M}_n(\mathbb{C})$ が正規で $AB = BA$ ならば、同じユニタリ行列で同時に対角化できることを示せ。

解答

$A$ のスペクトル分解 $A = \sum_i \lambda_i P_i$ をとる。 $P_i$ は $A$ の多項式（定理 7.34 の 4）なので、 $B$ は $P_i$ と可換である。よって $B$ は $V(\lambda_i) = \operatorname{Im} P_i$ を保つ（ $v = P_iv$ なら $Bv = BP_iv = P_iBv$ ）。また $B^{\ast}$ も $P_i^{\ast} = P_i$ と可換（ $B^{\ast}P_i = (P_iB)^{\ast} = (BP_i)^{\ast} = P_iB^{\ast}$ ）なので $V(\lambda_i)$ を保つ。したがって $B\vert_{V(\lambda_i)}$ の随伴は $B^{\ast}\vert_{V(\lambda_i)}$ であり、 $B\vert_{V(\lambda_i)}$ は正規である。スペクトル定理により各 $V(\lambda_i)$ は $B$ の固有ベクトルからなる正規直交基底をもち、それらは $A$ の固有ベクトルでもある。 $V(\lambda_i)$ たちは互いに直交するので、合わせて $\mathbb{C}^n$ の正規直交基底が得られる。

問題 7.10 ★★★（アダマールの不等式） $A \in \operatorname{M}_n(\mathbb{C})$ の列を $a_1, \dots, a_n$ とすると $\lvert \det A \rvert \leq \prod_{j=1}^n \lVert a_j \rVert$ であることを示せ。等号はいつ成り立つか。

解答

列が一次従属なら $\det A = 0$ で成り立つ。一次独立なら QR 分解 $A = QR$ で $Q$ はユニタリ（正方で列が正規直交）なので $\lvert \det Q \rvert = 1$ 、 $\lvert \det A \rvert = \det R = \prod_j r_{jj}$ 。 $r_{jj} = \lVert w_j \rVert$ であり、 $a_j$ は $w_j$ と $\operatorname{span}(e_1, \dots, e_{j-1})$ の元（ $w_j$ に直交する）の和なので、ピタゴラスの定理より $\lVert w_j \rVert \leq \lVert a_j \rVert$ 。よって主張が従う。等号は、ある列が 0 であるか、各 $j$ で $w_j = a_j$ 、すなわち列が互いに直交するときに限る。幾何学的には「平行体の体積は辺の長さの積以下で、等号は直方体のとき」という意味である。