ベクトル微分/行列微分の証明集

Proofs of Matrix Calculus Formulas

証明集について

本ページはベクトル微分/行列微分の公式集に掲載されている各公式の詳細な証明をまとめたものである。 証明は章ごとに分割されており、以下の目次から各章にアクセスできる。

本証明集の位置づけ

本証明集は、分母レイアウト規約のもとで行列微分の恒等式を厳密に導出することを目的とした 上級者向けの発展的な参考資料である。 各公式は可能な限り数式処理システムや証明検証システムによる記号的検証を行ったが、記号的検証が困難な一部の公式は、複数のランダムな数値行列によって数値的に妥当性を確認している。 細心の注意を払って作成しているが、万一誤りを発見された場合は お問い合わせからご連絡いただきたい。

表記法とレイアウト規約

本証明集では一貫して分母レイアウト（denominator layout）を採用している。 これは微分の分母にある変数の形状が結果の行方向を決定する規約で、成分で書けば $\dfrac{\partial \mathbf{y}}{\partial \mathbf{x}}$ の $(i, j)$ 成分を $\dfrac{\partial y_j}{\partial x_i}$ とする。

表記 意味 結果の形状
$\dfrac{\partial y}{\partial \mathbf{x}}$ スカラ $y$ をベクトル $\mathbf{x} \in \mathbb{R}^n$ で微分 $n \times 1$ 列ベクトル
$\dfrac{\partial \mathbf{y}}{\partial \mathbf{x}}$ ベクトル $\mathbf{y} \in \mathbb{R}^m$ をベクトル $\mathbf{x} \in \mathbb{R}^n$ で微分 $n \times m$ 行列（通常のヤコビ行列（$m \times n$）の転置）
$\dfrac{\partial y}{\partial X}$ スカラ $y$ を行列 $X \in \mathbb{R}^{m \times n}$ で微分 $m \times n$ 行列

分母レイアウトは統計学・計量経済学などで多く使われ、分子レイアウト（numerator layout）も機械学習・工学で広く使われる。文献ごとに規約を確かめる必要がある。 ベクトルの微分では両者は転置の関係にあるが、行列を行列で微分する場合は単純な転置ではなく、vec 化などで並べ方を明示する。

章の依存関係

以下の図は推奨する学習順序（Part 単位）を示す。各章の前提知識は各章の冒頭に記載している（たとえば第 7 章は第 4・5 章、第 12〜14 章は第 2〜5 章だけで読める）。

Part I: 微分の基礎 Ch.1 Ch.2 Ch.3 Ch.4 Part II: 行列演算 Ch.5 Ch.6 Part III: 行列関数 Ch.7 Ch.8 Part IV: スペクトル Ch.9 Ch.10 Part V 高度な話題 Part V-bis Lie群と多様体 Part VI 計算技法 Part VII 応用

推奨学習順序：Part I → Part II → Part III → Part IV の順に進み、 必要に応じて Part V, V-bis, VI, VII を参照する。Part V-bis は Part V の行列指数関数が前提。

目次

Part I: 微分の基礎（Differential Foundations）

微分の定義から始め、スカラ・ベクトル・行列の微分の基本を確立する。

Part II: 行列演算の微分（Matrix Operations）

トレース、要素ごとの演算、活性化関数など、機械学習で頻出する演算の微分。

Part III: 行列関数の微分（Matrix Functions）

行列式、逆行列など、線形代数の基本的な行列関数の微分。

Part IV: スペクトル理論（Spectral Theory）

固有値・固有ベクトルの微分と二次形式の解析。

Part V: 高度な話題（Advanced Topics）

行列べき乗、ノルム、構造行列など、より高度な微分公式。

Part V-bis: Lie群上の微分（Differentiation on Lie Groups）

Lie群・多様体上での微分公式。姿勢推定・SLAM・3D ビジョンなどで重要な計算技法。

前提知識

Lie群・Lie代数の基礎概念（定義、指数写像、SO(3)、SE(3)）は リー代数を参照。 特に入門 第6章と 上級 第7章（剛体変換）が対応。

Part VI: 計算技法（Computational Techniques）

行列連鎖律、特殊行列、複素行列の微分。自動微分との接続。

Part VII: 応用公式（Applications）

応用公式を数学的主題ごとに分類している。各カテゴリページから詳細な公式・証明へアクセスできる。

よくある質問

行列微分における分母レイアウトとは何か？

$\dfrac{\partial \mathbf{y}}{\partial \mathbf{x}}$ の $(i, j)$ 成分を $\dfrac{\partial y_j}{\partial x_i}$ とする（微分の分母の変数の並びを行に置く）規約である。スカラ $y$ をベクトル $\mathbf{x} \in \mathbb{R}^n$ で微分すると $n \times 1$ の列ベクトル、ベクトル $\mathbf{y} \in \mathbb{R}^m$ をベクトル $\mathbf{x}$ で微分すると $n \times m$ 行列（通常のヤコビ行列の転置）になる。分子レイアウト（転置の関係）と並んで広く使われるので、文献ごとに規約を確かめる必要がある。

行列式の微分公式は？

$\det A$ はすべての正方行列 $A$ で微分可能で、$A$ が正則なら $\dfrac{\partial \det A}{\partial A} = \det(A)\, A^{-\top}$（Jacobi の公式）となる。対数行列式は $\det A > 0$ のとき $\dfrac{\partial \log\det A}{\partial A} = A^{-\top}$ で、一般の正則行列では $\log|\det A|$ の微分が同じ式になる。

この証明集はどのような構成か？

本編 16 章に、Lie 群の 3 章と応用の 4 章を加えた構成である。Part I（微分の基礎）→ Part II（行列演算）→ Part III（行列関数）→ Part IV（スペクトル理論）の順が推奨の学習順序で、Part V 以降で発展的な話題や応用を扱う。各章の前提知識は各章の冒頭に記している。

参考文献

内部リンク

教科書・学術文献

  • Magnus, J. R., & Neudecker, H. (2019). Matrix Differential Calculus with Applications in Statistics and Econometrics (3rd ed.). Wiley.
  • Absil, P.-A., Mahony, R., & Sepulchre, R. (2008). Optimization Algorithms on Matrix Manifolds. Princeton University Press.
  • Petersen, K. B., & Pedersen, M. S. (2012). The Matrix Cookbook. Technical University of Denmark.

オンラインリソース