第5章 線形空間論の基礎
これまでは縦横に数字を並べたものとして行列を定義した。行列積が数ベクトルに対して作用すると， 数ベクトルを変換するように働く。例えば，\(A = [a_{i,j}] \in \mathbb R^{m \times n}\) が \(x = [x_1, \dots, x_n]^\top \in \mathbb R^n\) に作用すると \[ Ax = \begin{bmatrix} \sum_{j = 1}^n a_{1, j} x_j \\ \vdots \\ \sum_{j = 1}^n a_{m, j} x_j \end{bmatrix} \in \mathbb R^m \] という \(\mathbb R^m\) に属する数ベクトルに変換される。写像（mapping），あるいは関数（function）の記法を採用すれば次のように書くことができるだろう20。 \[ \begin{aligned} f :\ & \mathbb R^n \to \mathbb R^m\\ & x \mapsto Ax \end{aligned} \]
行列積の定義により，写像 \(f\) は次の性質を持つ。任意の \(x_1, x_2 \in \mathbb R^n\) と \(\alpha \in \mathbb R\) に対して \[ \begin{aligned} f(x_1 + x_2) &= f(x_1) + f(x_2), \\ f(\alpha x_1) &= \alpha f(x_1). \end{aligned} \]この性質を線形性（lineariry）といい，経済動学理論を習得する上で最も重要な概念の1つである。
本節では，数ベクトル空間を抽象化した線形空間（vector space）を導入し，線形空間の間の線形写像（linear mapping）として行列を再導入する。 多くの読者にとって馴染み深い行列は，線形空間の間の線形写像を表形式で表現したものであり， その要素は定義域・終域にあたる線形空間の「基底」（basis）ごとに定まる。 したがって，基底を変更すると行列は変わる。 対角化の方法を前章で確認したが，これは対角化の手続きによって線形空間の基底が変更されたことによる。次章以降で紹介する標準化の理論は，行列の分析にとって最も望ましい基底を探すための手続きに外ならない。
やや逆説的に聞こえるかもしれないが，抽象的な理論を持ち出す理由はシステム表現の変更に際して「変化しない実体」を見失わないようにするためである。しっかり身につけてほしい。
5.1 線形空間
\(X\) を集合，\(\mathbb{F} = \mathbb R\) または \(\mathbb C\) とする。
定義 5.1 (線形空間) \(X\) が \(\mathbb{F}\) 上の線形空間 (ベクトル空間，linear space over \(\mathbb{F}\)) であるとは，和（addition） \[ X \times X \ni (x,y) \mapsto x + y \in X \] とスカラー倍（scalar multiplication） \[ X\times\mathbb{F}\ni(x,\alpha)\mapsto\alpha x\in X \] が定義されていて, 以下の諸条件を満たすことをいう。線形空間の元をベクトルと呼ぶ。
- 任意の \(x,y,z\in X\) に対して，\((x+y)+z=x+(y+z)\) が成り立つ。
- 任意の \(x,y\in X\) に対して，\(x+y=y+x\) が成り立つ。
- 任意の \(x\in X\) に対して \(\theta+x=x\) なる \(\theta\in X\) が存在する。これをゼロベクトルと呼び， \(0\) で表す。
- 任意の \(x\in X\) に対して，\(x+x'=0\) なる \(x'\in X\) が存在する。これを逆元と呼び \(-x\) で表す。
- 任意の \(x\in X\) と \(\alpha,\beta\in\mathbb{F}\) に対して，\((\alpha+\beta)x=\alpha x+\beta x\) が成り立つ。
- 任意の \(x\in X\) と \(\alpha,\beta\in\mathbb{F}\) に対して，\(\alpha(x+y)=\alpha x+\alpha y\) が成り立つ。
- 任意の \(x\in X\) と \(\alpha,\beta\in\mathbb{F}\) に対して，\((\alpha\beta)x=\alpha(\beta x)\) が成り立つ。
- 任意の \(x\in X\) について，\(1x=x\)。
いくつか具体例を確認しておこう。
5.2 線形部分空間
\(X\) 自身と \(\{0\}\) は必ず線形部分空間になる。
すなわち，ある部分集合 \(Y\) が線形部分空間であることを確認するには，任意の \(y_{1},y_{2}\in Y\)，\(\alpha\in\mathbb{F}\)について，\(y_{1}+y_{2}\in Y\) と \(\alpha y_{1}\in Y\) が成り立つことを示しさえすればよい。
\(\alpha_{1}x_{1}+\cdots+\alpha_{n}x_{n}\) の形のベクトルは \(\{x_{1},\dots,x_{n}\}\) の線形結合（linear combination）であるという。
2つの部分空間 \(Y\)，\(W\) があったとき，積集合 \(Y\cap W\) はまた線形部分空間になる。 一方，和集合 \(Y\cup W\) は一般には線形部分空間にならない。上の定義 (5.1) は和とスカラー倍をすべて含むように作られており， 命題5.1 により線形部分空間となる。
5.3 1次独立性
ベクトルの組 \(\{x_{1},\dots,x_{d}\}\) が1次従属であれば，そのうちの1つが他のベクトルの1次結合でかける。 例えば，1つはゼロでない \((\alpha_{1},\dots,\alpha_{d})\) が存在して， \[ \alpha_{1}x_{1}+\cdots+\alpha_{d}x_{d}=0 \] となるとする。一般性を失うことなく，\(\alpha_{1}\neq0\) とできて \[ x_{1}=\sum_{k=2}^{d}-\frac{\alpha_{k}}{\alpha_{1}}x_{k} \] と書ける。
5.4 線形写像
5.4.1 基本的な定義の復習
\(X\)，\(Y\) を集合とする。以下の概念は基本的である。
写像・グラフ
集合 \(M\) を\(X\times Y\) の部分集合であって，任意の\(x\in X\) について \((x,y)\in M\) を満たす \(y\in Y\) が必ず存在し，しかもその数が1つだけであるものとしよう。この \(y\) を \(f(x)\) と書けば \(M=\{(x,f(x))\ \mid\ x\in X\}\) が成り立っている。\(M\) によって定まる \(x\) から \(y\) への対応関係 (\(x\mapsto y\)) を \(X\) から \(Y\) への写像 (mapping)といい，\(f:X\to Y\) と書く。\(M\) を \(f\) のグラフ (graph) といい，\(\mathrm{graph}f\) と書く。
像・逆像
\(f:X\to Y\)，\(M\subset X\) に対して， \[ f(M)=\{f(x)\in Y\ \mid\ x\in M\}\subset Y \] を\(M\) の\(f\) による像 (image) という。\(f(X)\) を \(\mathrm{im}X\) と書くこともある。
\(N\subset X\) に対して， \[ f^{-1}(N)=\{x\in X\ \mid\ f(x)\in N\}\subset X \] を\(N\)の\(f\) による逆像 (inverse image) と呼ぶ。逆像は空集合となることもある。
恒等写像
写像 \(x\mapsto x\) を恒等写像といい \(\mathrm{Id}_{X}\) あるいは \(I_{X}\)と書く。
全射
任意の \(y\in Y\) について，\(x\in X\) が存在して\(y=f(x)\) が成り立つとき，\(f\) は全射 (surjection， onto mapping)であるという23
単射
\(f(x_{1})=f(x_{2})\) ならば \(x_{1}=x_{2}\) が成り立つとき，\(f\) は単射 (injection， one-to-one mapping) であるという。
全単射・逆写像
全射かつ単射である写像を全単射 (bijection，one-to-one and onto mapping)という。\(f:X\to Y\) を全単射とすれば，\(f^{-1}:Y\to X\) を \[ \mathrm{graph}f^{-1}=\{(y,x)\ \mid\ (x,y)\in\mathrm{graph}f\} \] によって定義できる。\(f^{-1}\) を \(f\) の逆写像 (inverse) という。
合成写像
\(f:X\to Y\)，\(g:Y\to Z\) に対して，写像 \(X\to Z\) を \[ x\mapsto g(f(x)) \] によって定める。これを \(f\) と \(g\) の合成写像といい，\(g\circ f\) と記す。全単射 \(f:X\to Y\)に対して， \(f^{-1}\circ f=\mathrm{Id}_{X}\)，\(f\circ f^{-1}=\mathrm{Id}_{Y}\) である。写像の合成には結合法則が成り立つ。すなわち \[ f\circ(g\circ h)=(f\circ g)\circ h. \] したがって，\(f\circ g\circ h\) などと書いても曖昧さは生じない。
5.4.2 線形性
写像が線形である場合，\(f(x)\) と書かずに括弧を省略して \(fx\) と書くこともある。無限次元空間の間の写像を作用素 (operator) ということもある。
\(X\)と\(Y\)の間の全単射線形写像を(線形)同型写像という。同型写像が存在するとき，\(X\) と \(Y\) は同型であるといい， \(X\simeq Y\) と書く。5.4.3 像空間，核，商空間
\(X,Y\) を\(\mathbb{F}\)上の線形空間とする。線形写像 \(f:X\to Y\) の核 (kernel) \[ \ker f:=\{x\in X\ \mid\ f(x)=0\}\subset X， \] および像 \[ \mathrm{im}f:=\{f(x)\ \mid\ x\in X\}\subset Y \] はそれぞれ，\(X,Y\) の線形部分空間である。\(\mathrm{im}f\) の次元をランクという: \(\mathrm{rank}f=\dim\mathrm{im}f\)。証明. \(\dim M=r\)，\(\dim X=n\) とする。\(M\) の基底 \(\{v_{1},\dots,v_{r}\}\) を定め， これに \(n-r\) 本のベクトルを追加して\(X\) の基底 \(\{v_{1},\dots,v_{r},\dots,v_{n}\}\) を構成する。\(\{[v_{r+1}],\dots,[v_{n}]\}\) が\(X/M\) の基底をなすことを示せば十分である。\([0]=M\) であるから， \[ \alpha_{r+1}[v_{r+1}]+\cdots+\alpha_{n}[v_{n}]=[\alpha_{r+1}v_{r+1}+\cdots+\alpha_{n}v_{n}]=[0] \] は \[ \alpha_{r+1}v_{r+1}+\cdots+\alpha_{n}v_{n}\in M \] を意味する。しかし，\(v_{r+1},\dots,v_{n}\) の選び方からこれが成り立つのは \(\alpha_{r+1}=\cdots=\alpha_{n}=0\) のときだけである。よって，\(\{[v_{r+1}],\dots,[v_{n}]\}\) は\(X/M\) の1次独立なベクトルの組である。 任意の \(x\in X\) について
\[ [x]=\left[\sum_{i=1}^{n}x_{i}v_{i}\right]=\left[\sum_{i=r+1}^{n}x_{i}v_{i}\right]=\sum_{i=r+1}^{n}x_{i}[v_{i}] \] が成り立つので，\(X/M=\mathrm{span}\{[v_{r+1}],\dots,[v_{n}]\}\) が成り立つ。5.4.4 座標
\(X\) を \(\mathbb{F}\) 上の有限次元ベクトル空間，\(\{v_{1},\dots,v_{n}\}\) を\(X\) の基底とする。1次結合による表現 \[ x=x_{1}v_{1}+\cdots+x_{n}v_{n},\quad x_{1},\dots,x_{n}\in\mathbb{F} \] は一意的なので \[ \begin{aligned} & x\mapsto x_{1}\\ & \quad\vdots\\ & x\mapsto x_{n} \end{aligned} \] なる写像が定まる。これを \(x_{1}(x),\dots,x_{n}(x)\) のように書くと5.5 行列
5.5.1 線形写像の表現としての行列
\(X,Y\) を\(\mathbb{F}\)上の有限次元ベクトル空間とする。\(X\) の基底 \(\{v_{1},\dots,v_{n}\}\)と \(Y\) の基底 \(\{w_{1},\dots,w_{m}\}\) を1つ定める。線形写像 \(f:X\to Y\)，\(x\in X\) の1次結合による表現を \(x=x_{1}v_{1}+\cdots+x_{n}v_{n}\) とすれば \[ f(x)=x_{1}f(v_{1})+\cdots+x_{n}f(v_{n}). \] したがって，\(f\) による基底の像を定めれば線形写像が定まる。\(f(v_{1}),\dots,f(v_{n})\) を \(\{w_{1},\dots,w_{n}\}\) の1次結合で表現すると， \[ \begin{aligned} f(v_{1}) & =a_{11}w_{1}+\cdots+a_{m1}w_{m}\\ & \vdots\\ f(v_{n}) & =a_{1n}w_{1}+\cdots+a_{mn}w_{m}. \end{aligned} \] したがって， \[ \begin{aligned} f(x) & =x_{1}f(v_{1})+\cdots+x_{n}f(v_{n})\\ & =\left(a_{11}x_{1}+\cdots+a_{1n}x_{n}\right)w_{1}\\ & \qquad+\cdots+\left(a_{m1}x_{1}+\cdots+a_{mn}x_{n}\right)w_{m}. \end{aligned} \] 対応関係 \[ X\ni x=x_{1}v_{1}+\cdots+x_{n}v_{n}\leftrightarrow\begin{bmatrix}x_{1}\\ \vdots\\ x_{n} \end{bmatrix}\in\mathbb{F}^{n} \] および \[ Y\ni y=y_{1}w_{1}+\cdots+y_{m}w_{m}\leftrightarrow\begin{bmatrix}y_{1}\\ \vdots\\ y_{m} \end{bmatrix}\in\mathbb{F}^{m} \] によって次の関係を得る。 \[ f(x)\leftrightarrow\begin{bmatrix}a_{11}x_{1}+\cdots+a_{1n}x_{n}\\ \vdots\\ a_{m1}x_{1}+\cdots+a_{mn}x_{n} \end{bmatrix}=\begin{bmatrix}a_{11} & \cdots & a_{1n}\\ \vdots & \ddots & \vdots\\ a_{m1} & \cdots & a_{mn} \end{bmatrix}\begin{bmatrix}x_{1}\\ \vdots\\ x_{n} \end{bmatrix}. \] \(y=f(x)\) という関係が特定の基底に依存しない表現であったのに対し，座標を用いた表現 \[ \begin{bmatrix}y_{1}\\ \vdots\\ y_{m} \end{bmatrix}=\begin{bmatrix}a_{11} & \cdots & a_{1n}\\ \vdots & \ddots & \vdots\\ a_{m1} & \cdots & a_{mn} \end{bmatrix}\begin{bmatrix}x_{1}\\ \vdots\\ x_{n} \end{bmatrix} \] は，\(X\) および \(Y\) の基底を定めた上で得られたことに注意してほしい。
5.5.2 基底の変換
線形写像 \(f:X\to Y\) に関して，\(X\) の基底 \(\{v_{1},\dots,v_{n}\}\) と \(Y\) の基底 \(\{w_{1},\dots,w_{m}\}\) を決めて得られた行列表現 \[ \begin{bmatrix}y_{1}\\ \vdots\\ y_{m} \end{bmatrix}=\begin{bmatrix}a_{11} & \cdots & a_{1n}\\ \vdots & \ddots & \vdots\\ a_{m1} & \cdots & a_{mn} \end{bmatrix}\begin{bmatrix}x_{1}\\ \vdots\\ x_{n} \end{bmatrix} \] は基底を取り替えることでどのように変化するだろうか。今，\(X\) の新しい基底 \(\{\tilde{v}_{1},\dots,\tilde{v}_{n}\}\) と，\(Y\) の新しい基底 \(\{\tilde{w}_{1},\dots,\tilde{w}_{m}\}\) に取り替えるとしよう。 \(\{v_{1},\dots,v_{n}\}\) と \(\{\tilde{v}_{1},\dots,\tilde{v}_{n}\}\) との間には互いに線形結合によって表現できるという関係があるので，正則行列 \(P\) を用いて \[ \begin{bmatrix}v_{1} & \cdots & v_{n}\end{bmatrix}P=\begin{bmatrix}\tilde{v}_{1} & \cdots & \tilde{v}_{n}\end{bmatrix} \] と表現できる24。 同様に正則行列 \(Q\) を用いて \[ \begin{bmatrix}w_{1} & \cdots & w_{m}\end{bmatrix}Q=\begin{bmatrix}\tilde{w}_{1} & \cdots & \tilde{w}_{m}\end{bmatrix} \] とできる。 \[ \begin{aligned} \begin{bmatrix}f(\tilde{v}_{1}) & \cdots & f(\tilde{v}_{n})\end{bmatrix} & =\begin{bmatrix}\sum_{i=1}^{n}p_{i1}f(v_{i}) & \cdots & \sum_{i=1}^{n}p_{in}f(v_{n})\end{bmatrix}\\ & =\begin{bmatrix}f(v_{1}) & \cdots & f(v_{n})\end{bmatrix}P \end{aligned} \] および \[ \begin{bmatrix}f(v_{1}) & \cdots & f(v_{n})\end{bmatrix}=\begin{bmatrix}w_{1} & \cdots & w_{m}\end{bmatrix}A \] に注意すれば， \[\begin{align} \begin{bmatrix}f(\tilde{v}_{1}) & \cdots & f(\tilde{v}_{n})\end{bmatrix} & =\begin{bmatrix}f(v_{1}) & \cdots & f(v_{n})\end{bmatrix}P\nonumber \\ & =\begin{bmatrix}w_{1} & \cdots & w_{m}\end{bmatrix}AP\nonumber \\ & =\begin{bmatrix}\tilde{w}_{1} & \cdots & \tilde{w}_{m}\end{bmatrix}Q^{-1}AP\tag{5.3} \end{align}\]を得る。これは，新しい基底に関する\(f\) の行列表現が \(Q^{-1}AP\) であることを表している。
5.6 不変部分空間
\(X\) を有限次元ベクトル空間，\(M\subset X\) を部分空間とする。線形写像 \(f:X\to X\) が\(M\)
\[ f(M)\subset M \] を満たすとき，\(M\) は\(f\) の不変部分空間 (invariant subspace) であるという。
5.6.1 ブロック対角化
\(X\) が不変部分空間の直和として \[ X=M_{1}\oplus M_{2}\oplus\cdots\oplus M_{k} \] と分解されるとき，\(f\) の行列表現がブロック対角行列となることを示そう。
\(M_{i}\) の基底を \(\{v_{i1},\dots,v_{in_{i}}\}\)，\(i=1,\dots,k\)，とすると， \[ \bigcup_{i=1}^{k}\{v_{i1},\dots,v_{in_{i}}\},\qquad\dim X=n_{1}+\cdots+n_{k} \] は\(X\)の基底を成す。\(f(M_{i})\subset M_{i}\) より \(v_{j\ell}\)，\(\ell=1,\dots,n_{\ell}\)， \(j\neq i\) に対して \(f(v_{j\ell})=0\) となる。したがって， \[ \begin{aligned} f(v_{i1}) & =a_{i,11}v_{i1}+\cdots+a_{i,n_{i}1}v_{in_{i}}\\ & \qquad\vdots\\ f(v_{in_{i}}) & =a_{i,1n_{i}}v_{i1}+\cdots+a_{i,n_{i}n_{i}}v_{in_{i}}. \end{aligned} \] \(f|_{M_{i}}:M_{i}\to M_{i}\) の行列表現を \(A_{i}=(a_{i,st})\) とすれば \[ \begin{bmatrix}f(v_{i1}) & \cdots & f(v_{in_{i}})\end{bmatrix}=\begin{bmatrix}v_{i1} & \cdots & v_{in_{i}}\end{bmatrix}A_{i}. \] \(f\) の行列表現\(A\)は \[\begin{multline*} \begin{bmatrix}f(v_{11}) & \cdots & f(v_{1n_{1}}) & \cdots & \cdots & f(v_{k1}) & \cdots & f(v_{kn_{k}})\end{bmatrix}\\ =\begin{bmatrix}v_{11} & \cdots & v_{1n_{1}} & \cdots & \cdots & v_{k1} & \cdots & v_{kn_{k}}\end{bmatrix}\begin{bmatrix}A_{1}\\ & \ddots\\ & & A_{k} \end{bmatrix} \end{multline*}\]5.6.2 固有値分解
\(X\) を\(n\)次元ベクトル空間，\(f:X\to X\) が相異なる固有値 \(\lambda_{1},\dots,\lambda_{n}\); \[ f(v_{i})=\lambda_{i}v_{i},\quad v_{i}\neq0,\quad i=1,\dots,n \] を持つとしよう。このとき， \[ E_{i}:=\{v_{i}\ \mid\ f(v_{i})=\lambda_{i}v_{i}\} \] は1次元の線形部分空間であり， \[ X=E_{1}\oplus\cdots\oplus E_{n} \] が成り立つ。\(E_{i}\) を固有値 \(\lambda_{i}\) に対応する固有空間という。非ゼロベクトル \(v_{1}\in E_{1},\dots,v_{n}\in E_{n}\) は\(X\) の基底をなす。
線形写像 \(f\) を適当な基底 \(\{e_{1},\dots,e_{n}\}\) について行列表現したものを \(A\) とする。 固有空間が決める新しい基底 \(\{v_{1},\dots,v_{n}\}\) への変換行列を \(P\) とすれば \[ \begin{aligned} \begin{bmatrix}v_{1} & \cdots & v_{n}\end{bmatrix} & =\begin{bmatrix}e_{1} & \cdots & e_{n}\end{bmatrix}P \end{aligned} \] である。式 (5.3) より \[ \begin{aligned} \begin{bmatrix}f(v_{1}) & \cdots & f(v_{n})\end{bmatrix} & =\begin{bmatrix}f(e_{1}) & \cdots & f(e_{n})\end{bmatrix}P\\ & =\begin{bmatrix}e_{1} & \cdots & e_{n}\end{bmatrix}AP\\ & =\begin{bmatrix}v_{1} & \cdots & v_{n}\end{bmatrix}P^{-1}AP \end{aligned} \] が成り立つ。前小節の結果から，\(P^{-1}AP\) は対角行列であることが分かる。すなわち， \[ P^{-1}AP=\begin{bmatrix}\lambda_{1}\\ & \ddots\\ & & \lambda_{n} \end{bmatrix}. \]
固有値は一般には複素数であるので，実行列であっても\(\mathbb{C}^{n}\)の範囲で対角化は考える必要がある。\(\mathbb{C}\)が\(\mathbb{R}^{2}\)で表されることをふまえると， 見かけ上次元が増えてしまうようにも思える。しかし，複素固有値 \(\lambda=a+bj\)，\(a,b\in\mathbb{R}\) に対しては共役複素数 \(a-bj\) も固有値であること，\(a+bj\)に対する複素固有ベクトルは \(v+jw\)，\(v,w\in\mathbb{R}^{n}\) は \(a-bj\) に対応する固有ベクトル \(v-jw\) と必ずペアで現れる。これは \[ \begin{aligned} A(v+jw) & =(a+bj)(v+jw) \end{aligned} \] の共役複素数を取ると \[ A(v-jw)=(a-bj)(v-jw) \] が成り立つことから直ちに分かる。これら2式を足し上げると， \[ Av=-bw+av. \] 2式の差を取ると \[ Aw=aw+bv \] を得る。すなわち，2次元の(実) 部分空間 \(\mathrm{span}\{w,v\}\) が複素固有値 \(\lambda\) に対応している。これを基底にしたときの表現行列は \[ \begin{aligned} \begin{bmatrix}Aw & Av\end{bmatrix} & =\begin{bmatrix}w & v\end{bmatrix}\begin{bmatrix}a & -b\\ b & a \end{bmatrix}. \end{aligned} \] すなわち \(aI+bJ\)。
以上をまとめると，次の定理を得る。\(f: X \to Y\) という記法は，すべての \(x \in X\) に対して\(f(x)\) がただ1つ定まり \(f(x) \in Y\) が成り立つということ。\(X\)を定義域（domain），\(Y\)を終域（codomain）という。\(x \mapsto f(x)\) という記法は，関数\(f\)の終域での表現に注目している。例えば，\(f(x) = x^2 + 1\) という書き方に馴染みのある読者も多いだろうが，そう書く代わりに \(x \mapsto x^2 + 1\) と書いていると思えばよい。↩
\(\mathbb{E}[X+Y]=\mathbb{E}X+\mathbb{E}Y\) といった式が成り立つ。↩
集合 \(A\) がある性質をもつ「最小の集合」であるとは，\(A\) がその性質を満たし，かつ，\(A\) の真部分集合でその性質を満たすものが存在しないことをいう。↩
\(f:X\to Y\) は通常，“\(f\) maps \(X\) into \(Y\)” と読むが，\(f\) が全射のときは “\(f\) maps \(X\) onto \(Y\)” と読む。↩
\(P=[p_{ij}]_{ij}\) とすれば，\(\tilde{v}_{i}=\sum_{i=1}^{n}p_{ij}v_{i}\) なる関係をこのように表現している。あるいは列に対する初等変形と考えてもよい。↩