行列微分の証明集

Proofs of Matrix Calculus Formulas

証明集について

本ページは行列微分の公式集に掲載されている各公式の詳細な証明をまとめたものである。 証明は章ごとに分割されており、以下の目次から各章にアクセスできる。

本証明集の位置づけ

本証明集は、分母レイアウト規約のもとで行列微分の恒等式を厳密に導出することを目的とした 研究レベルの補足資料である。各証明は Magnus & Neudecker、Matrix Cookbook 等の 標準的文献と照合しているが、著者による独自の導出や整理を含むため、 一部に誤りが含まれる可能性がある。誤りを発見された場合は お問い合わせからご連絡いただきたい。

表記法とレイアウト規約

本証明集では一貫して分母レイアウト（denominator layout）を採用している。 これは微分の分母にある変数の形状が結果の行方向を決定する規約である。

表記 意味 結果の形状
$\dfrac{\partial y}{\partial \mathbf{x}}$ スカラ $y$ をベクトル $\mathbf{x} \in \mathbb{R}^n$ で微分 $n \times 1$ 列ベクトル
$\dfrac{\partial \mathbf{y}}{\partial \mathbf{x}}$ ベクトル $\mathbf{y} \in \mathbb{R}^m$ をベクトル $\mathbf{x} \in \mathbb{R}^n$ で微分 $n \times m$ ヤコビ行列
$\dfrac{\partial y}{\partial X}$ スカラ $y$ を行列 $X \in \mathbb{R}^{m \times n}$ で微分 $m \times n$ 行列

分母レイアウトは統計学・機械学習で広く使われる。 工学分野で使われる分子レイアウト（numerator layout）とは転置の関係にある。

章の依存関係

以下の図は各章の大まかな論理的依存関係を示す。矢印は「前提知識」を意味する。

Part I: 微分の基礎 Ch.1 Ch.2 Ch.3 Ch.4 Part II: 行列演算 Ch.5 Ch.6 Part III: 特殊関数 Ch.7 Ch.8 Part IV: スペクトル Ch.9 Ch.10 Part V 高度な話題 Part V-bis Lie群と多様体 Part VI 計算技法 Part VII 応用

推奨学習順序：Part I → Part II → Part III → Part IV の順に進み、 必要に応じて Part V, V-bis, VI, VII を参照する。Part V-bis は Part V の行列指数関数が前提。

目次

Part I: 微分の基礎（Differential Foundations）

微分の定義から始め、スカラ・ベクトル・行列の微分の基本を確立する。

Part II: 行列演算の微分（Matrix Operations）

トレース、要素ごとの演算、活性化関数など、機械学習で頻出する演算の微分。

Part III: 特殊関数の微分（Special Functions）

行列式、逆行列など、線形代数の基本関数の微分。

Part IV: スペクトル理論（Spectral Theory）

固有値・固有ベクトルの微分と二次形式の解析。

Part V: 高度な話題（Advanced Topics）

行列べき乗、ノルム、構造行列など、より高度な微分公式。

Part V-bis: Lie群上の微分（Differentiation on Lie Groups）

Lie群・多様体上での微分公式。ロボティクス・コンピュータビジョンで必須の計算技法。

前提知識

Lie群・Lie代数の基礎概念（定義、指数写像、SO(3)、SE(3)）は リー代数を参照。 特に入門 第6章と 上級 第7章（剛体変換）が対応。

Part VI: 計算技法（Computational Techniques）

行列連鎖律、特殊行列、複素行列の微分。自動微分との接続。

Part VII: 応用公式（Applications）

応用公式を数学的主題ごとに分類している。各カテゴリページから詳細な公式・証明へアクセスできる。

参考文献

内部リンク

  • 行列微分の公式集（本証明集の公式はこちら）
  • 行列微分入門（基本概念と分野ごとの表記法）
  • テンソル微分入門（準備中）（行列微分の一般化）
  • 自動微分と最適化（準備中）（実践的応用）

教科書・学術文献

  • Magnus, J. R., & Neudecker, H. (2019). Matrix Differential Calculus with Applications in Statistics and Econometrics (3rd ed.). Wiley.
  • Absil, P.-A., Mahony, R., & Sepulchre, R. (2008). Optimization Algorithms on Matrix Manifolds. Princeton University Press.
  • Petersen, K. B., & Pedersen, M. S. (2012). The Matrix Cookbook. Technical University of Denmark.

オンラインリソース