線形代数 中級
対角化、関数空間、行列式の様々な導出(大学2-3年レベル)
中級の概要
中級では、初級で学んだ概念を深め、発展的なトピックを扱う。対角化による行列の単純化、複素固有値の幾何学的意味、無限次元ベクトル空間(関数空間)の導入、そして行列式の様々な導出法を学ぶ。
学習目標
- 対角化の条件と手順を理解し、行列の冪乗を効率的に計算できる
- 複素固有値と回転の関係を理解する
- 多項式空間・関数空間を具体例として扱える
- 行列式の複数の導出法(幾何学的、線形変換、行基本変形)を比較理解する
目次
-
第1章
対角化
対角化可能条件、手順、行列の冪乗、指数関数
-
第2章
複素固有値
複素固有値と回転、実行列の複素固有値、振動系
-
第3章
多項式空間
$\mathcal{P}_n$ の基底、微分作用素、線形写像としての多項式演算
-
第4章
関数空間
$C[a,b]$、$L^2$空間、無限次元ベクトル空間、内積
-
第5章
行列式:なぜLeibniz公式か
幾何学的動機から Leibniz 公式を導出
-
第6章
行列式:線形変換の観点
スケーリング因子、IOLA(Introduction to Linear Algebra)的アプローチ
-
第7章
行列式:バーを積み上げる
行ベクトルを1本ずつ追加する視点
-
第8章
行列式の導出:行基本変形と上三角行列
上三角行列への変形、計算アルゴリズム
-
第9章
テンソル
多次元配列、テンソル積、縮約、PyTorch での実装
-
第10章
ノルム
L1/L2/L∞ノルム、行列ノルム、正則化への応用
-
第11章
内積
公理的定義、射影、コサイン類似度、Attention 機構
-
第12章
線形変換
定義、行列表現、核・像、階数定理
-
第13章
核と像
部分空間の証明、基底構成、次元定理
-
第14章
固有値と機械学習
PCA、スペクトラルクラスタリング、PageRank
-
第15章
行列分解の応用
SVD/NMF/Tucker分解、推薦システム、潜在意味解析
-
第16章
パウリ行列と量子ビット
Pauli 行列、量子ゲート、Bloch 球
-
第17章
テンソル積と多量子ビット系
Kronecker 積、量子もつれ、多量子ビットゲート
-
第18章
行列式:Leibniz公式と厳密な証明
置換と符号、Leibniz公式による定義、多重線形性・交代性
-
第19章
行列式:公理的定義と一意性
公理から始めて行列式の存在と一意性を証明
-
第20章
固有値の応用
連立微分方程式、マルコフ連鎖、PCA、Google PageRank
コラム
-
行列式の計算史 ── 手計算から最先端アルゴリズムへ
関孝和・Leibniz(1683年)から現代の高速行列乗算(ω → 2?)まで、340年の系譜を辿る
特殊行列・分解
-
ヘッセンベルグ変換
「ほぼ三角行列」への変換。QRアルゴリズムの前処理として固有値計算を高速化する
-
同伴行列(コンパニオン行列)
多項式の根と行列の固有値を結びつける。フロベニウス標準形の構成要素
-
三重対角行列
帯幅1の疎行列。Thomas アルゴリズムによる O(n) 直接解法と固有値計算の前処理
-
Householder 変換(鏡映変換)
超平面に関する鏡映による直交変換。QR分解・ヘッセンベルグ変換・三重対角化の基盤
-
LU分解
下三角×上三角への分解。存在条件・一意性の証明、PLU分解、行列式との関係
-
コレスキー分解
正定値対称行列の A = LL^T 分解。存在と一意性、LDL^T 分解、正定値性の判定
-
特異値分解(SVD)
任意の行列の A = UΣV^T 分解。幾何学的意味、擬似逆行列、低ランク近似
-
二次形式
Q(x) = x^TAx の分類。主軸定理、シルベスターの慣性法則、極値判定への応用
-
相似変換
基底の取り替えによる行列の変換。相似不変量、対角化・ジョルダン標準形との関係
-
正規方程式
最小二乗法の基礎。射影定理による導出、コレスキー分解・QR分解による数値解法
-
対称正定値行列
二次形式、正定値・半正定値の定義、シルベスターの判定法、Cholesky分解との関係
-
テンソル積(Tensor Product)
双線形写像の普遍性、クロネッカー積、対称テンソルと交代テンソル、量子力学への応用
-
回転行列(Rotation Matrix)
2次元・3次元回転行列、オイラー角、ロドリゲスの回転公式、SO(n)とリー代数、四元数表現
-
アダマール行列(Hadamard Matrix)
定義と性質、シルベスター構成法、ペイリー構成法、アダマール予想、CDMA・量子計算・実験計画法への応用
-
確率行列(Stochastic Matrix)
右確率行列・左確率行列・二重確率行列、ペロン=フロベニウスの定理、マルコフ連鎖、収束定理、PageRank・MCMC
-
エルミート行列(Hermitian Matrix)
定義と基本性質、スペクトル定理、正定値性、レイリー商、量子力学・統計学・信号処理への応用
-
クロネッカー積(Kronecker Product)
定義とブロック行列表現、基本性質、混合積性質、vec作用素との関係、固有値、テンソル積との関係、応用
-
特性多項式(Characteristic Polynomial)
定義と基本性質、固有値との関係、ケーリー=ハミルトンの定理、相似不変性、最小多項式との関係、逆行列計算・安定性解析への応用
-
最小多項式(Minimal Polynomial)
定義・存在と一意性・特性多項式との関係・対角化可能条件・ジョルダン標準形との関係・冪零行列の具体例・応用
-
行列ノルム(Matrix Norm)
行列ノルムの公理・作用素ノルム・フロベニウスノルム・条件数・等価性と不等式・応用
-
フロベニウスノルム(Frobenius Norm)
定義・トレースと特異値による表現・ユニタリ不変性・スペクトルノルムとの関係・低ランク近似と正則化への応用
-
スペクトルノルム(Spectral Norm)
定義・最大特異値との一致・単位円から楕円への写像・リプシッツ定数・スペクトル正規化への応用
-
対角優位行列(Diagonally Dominant Matrix)
狭義・広義の定義・レヴィ=デプランク定理による正則性・ゲルシュゴリンの定理・反復解法の収束への応用
-
シャーマン=モリソンの公式(Sherman-Morrison)
ランク1更新された逆行列の効率計算・導出・計算量・カルマンフィルタや逐次最小二乗法への応用
-
ウッドベリーの公式(Woodbury Matrix Identity)
低ランク更新された逆行列の効率計算・シャーマン=モリソンとの関係・ガウス過程やリッジ回帰への応用
-
ハンケル行列(Hankel Matrix)
反対角が一定の構造・トプリッツ行列との関係・対称性・信号処理のシステム同定やモデル次数推定への応用
-
クロネッカー和(Kronecker Sum)
A⊕B=A⊗I+I⊗B の定義・固有値が和になる性質・シルベスター方程式や可分PDEへの応用
-
パーマネント(Permanent)
行列式との違い(符号なし)・計算困難性(#P完全)とライザーの公式・完全マッチング数え上げへの応用
-
カッツ行列(Kac Matrix)
三重対角の構成・固有値が整数列になる性質・固有値計算のテスト行列・クラウチュク多項式との関係
-
極分解(Polar Decomposition)
A=UP(回転×伸縮)・特異値分解による構成・最近接直交行列・直交プロクラステス問題
-
ケイリー変換(Cayley Transform)
歪対称→直交・エルミート→ユニタリ・複素版の上半平面と単位円板・双一次(Tustin)変換
-
フーリエ行列(DFT行列)
1の冪根による成分・対称ユニタリ性・巡回行列の対角化・DFTとFFTとの関係
-
グラム行列式(Gram Determinant)
平行体の体積の2乗・線形独立性の判定・最小二乗法やカーネル法への応用
-
パスカル行列(Pascal Matrix)
二項係数の成分・行列式1・整数の逆行列・二項変換・悪条件のテスト行列
-
直交射影(Orthogonal Projection)
射影行列の条件 P²=P, Pᵀ=P、部分空間への射影公式、直交補空間、グラム=シュミットとの関係、最小二乗法・QR分解への応用
-
疎行列(Sparse Matrix)
定義・格納形式(COO・CSR・CSC)・疎行列演算・フィルインと並べ替え・反復解法(CG法・GMRES・前処理)・応用
-
行列分解
LU分解・QR分解・固有値分解・特異値分解(SVD)の体系的整理。定義・アルゴリズム・応用
-
QR分解
直交行列と上三角行列への分解、Gram-Schmidt法、Householder法、Givens回転による構成
-
グラム・シュミットの直交化法
直交基底の構成アルゴリズム、QR分解への応用、数値安定性
-
特異値分解(詳細版)
A=UΣV* の存在定理・幾何学的意味、エッカート=ヤングの定理、低ランク近似、擬逆行列、画像圧縮・PCA・LSAへの応用
-
正規行列(Normal Matrix)
定義 A*A=AA*、スペクトル定理、対称・エルミート・ユニタリ・直交・歪エルミート等の包含関係
-
冪等行列(Idempotent Matrix)
定義 A²=A、射影との関係、固有値は0または1のみ、rank(A)=tr(A)、直交射影と斜交射影
-
対合行列(Involutory Matrix)
定義 A²=I、固有値±1のみ、射影との関係 P=(I+A)/2、パウリ行列・反射行列・置換行列の具体例
-
冪零行列(Nilpotent Matrix)
定義 A^k=O、固有値が全て0、ジョルダン標準形との関係、冪零指数と行列の構造
-
退化行列(Defective Matrix)
幾何的重複度<代数的重複度、対角化不可能性、ジョルダン標準形との関係、正規行列との対比
-
非負行列(Nonnegative Matrix)
ペロン=フロベニウスの定理、原始行列と周期、確率行列との関係、マルコフ連鎖・PageRankへの応用
-
射影行列(Projection Matrix)
冪等行列としての射影、直交射影行列 P=A(A^TA)^{-1}A^T、最小二乗法、ハット行列(統計回帰分析)
-
ブロック行列(Block Matrix)
ブロック対角・ブロック三角・シューア補行列、有限要素法・制御理論・並列計算への応用
-
巡回行列(Circulant Matrix)
DFT行列による対角化 C=F*ΛF、巡回畳み込みとの関係、信号処理・符号理論への応用
-
テプリッツ行列(Toeplitz Matrix)
定義、性質、Levinson 等の高速アルゴリズム、信号処理への応用
-
ヒルベルト行列(Hilbert Matrix)
H_{ij}=1/(i+j-1)、正定値性、コーシー行列式公式、悪条件行列の典型例、逆行列の明示公式
-
グラム行列(Gram Matrix)
G=V^TV、半正定値性、グラム行列式と線形独立性の判定、カーネル法、SVMへの応用
-
アダマール積(Hadamard Product)
要素ごとの積 (A∘B)_{ij}=a_{ij}b_{ij}、シューアの積定理、オッペンハイムの不等式、通常の行列積との関係
概念・定理・部分空間
-
ケイリー・ハミルトンの定理
特性多項式と行列の関係、2×2 および一般の場合の証明、逆行列公式・最小多項式との関係
-
ゲルシュゴリンの円盤定理
行列成分のみから固有値の存在領域を推定、定理の記述・証明・具体例・応用
-
固有空間(Eigenspace)
E_λ = Ker(A - λI)、幾何的・代数的重複度、対角化可能条件、一般固有空間とジョルダン標準形、スペクトル分解
-
商空間(Quotient Space)
V/W の構成、剰余類、次元公式 dim(V/W) = dim V - dim W、正準射影、第一同型定理
-
双一次形式(Bilinear Form)
B(x,y) の定義・行列表現、対称双一次形式と二次形式、非退化性、内積・微分幾何・ミンコフスキー計量への応用
関連用語
- ジョルダン細胞 — ジョルダン細胞(Jordan block)の定義・構造・ジョルダン標準形との関係・固有値と冪零行列・具体例・応用…
- 二重確率行列 — 二重確率行列(doubly stochastic matrix)の定義・バーコフの定理(置換行列の凸結合)・固有…
- 基本行列 — 基本行列(elementary matrix)の定義・3種類(行交換・スカラー倍・行加算)・行基本変形との対応・…
- コーシー行列 — コーシー行列の定義・行列式の明示公式・逆行列の構造・数値安定性・補間や誤り訂正符号への応用を解説する
- ムーア・ペンローズ逆行列 — ムーア・ペンローズ逆行列(擬逆行列)の4条件による定義・SVDを用いた構成・最小二乗解との関係・数値計算上の注意…
- シューア補元 — シューア補元の定義・ブロック行列の逆行列公式・行列式との関係・正定値性の判定・統計や制御工学への応用を解説する
- 交換行列 — 交換行列(置換行列)の定義・vec 作用素との関係・クロネッカー積の転置への応用・行列微分での利用・明示的な構造…
- 数域 — 数域(数値域・フィールド・オブ・バリューズ)の定義・凸性(ハウスドルフ・トプリッツ定理)・固有値との関係・正規行…
- ベクトル化作用素 — 行列のベクトル化作用素 vec の定義・クロネッカー積との関係 vec(AXB)=(B^T⊗A)vec(X)・交…
- シューア分解 — シューア分解(Schur decomposition)の定義・定理の証明の概略・ユニタリ三角化・正規行列・スペク…
- レイリー商 — レイリー商 R(x)=x^TAx/(x^Tx) の定義・最小値・最大値が固有値に一致すること・変分原理・数値例・…
- シルベスターの慣性法則 — シルベスターの慣性法則(符号数の不変性)の定義・証明・二次形式の標準形・正値・負値・零指数の意味・数値例・応用を…
- クーラン・フィッシャーの定理 — クーラン・フィッシャーの定理(最大最小定理)による固有値の変分特徴付け、証明、レイリー商との関係、数値例、応用を…
- ワイルの不等式(固有値) — ワイルの不等式による実対称行列の固有値摂動境界の定義・証明・数値例・クーラン・フィッシャーの定理との関係・特異値…
- スミス標準形 — 整数行列や多項式行列のスミス標準形の定義・不変因子・存在と一意性の定理・計算手順・数値例・有限生成アーベル群の分…
- ジョルダン・シュヴァレー分解 — ジョルダン・シュヴァレー分解(半単純部分と冪零部分への一意分解)の定義・存在と一意性・証明・数値例・代数群への応…
- 行列の平方根 — 行列の平方根の定義・存在条件・正定値行列のコレスキー平方根・スペクトル分解による計算・数値例・応用を解説する
前提知識
- 線形代数 初級の内容
- 特に:ベクトル空間、固有値、行列式の基礎
読み物
-
変換が手をつけない方向 [読み物]
空間を歪める変換にも、向きを変えずに伸び縮みだけする「動かない方向」がある。固有ベクトルと固有値が、なぜ複雑な変換の芯を映すのかを肩の力を抜いて語る。
-
垂直であることの美学 [読み物]
なぜ数学者はこうも「直交」にこだわるのか。互いに垂直なものは互いを邪魔しない――グラム・シュミットの直交化から最小二乗法まで、垂直であることの御利益を語る。
-
空間をどれだけ膨らませるか [読み物]
行列式とは結局なにを測っているのか。あの一つの数は「変換が空間の体積を何倍にするか」を表す――面積の倍率、向きを裏返す符号、潰れて逆行列が消えるゼロまでを絵で語る。