7. 行列式の微分

証明

行列式の余因子展開（A.13）を確認する。行列式は任意の行 $i$ について、その行の要素と対応する余因子の積の和として展開できる。

\begin{equation}|\boldsymbol{X}| = \sum_{j=0}^{N-1} X_{ij} \tilde{X}_{ij}\label{eq:7-1-1}\end{equation}

ここで $\tilde{X}_{ij}$ は $\boldsymbol{X}$ の $(i, j)$ 余因子（cofactor）である。

余因子の定義を確認する。$\tilde{X}_{ij}$ は $\boldsymbol{X}$ から第 $i$ 行と第 $j$ 列を取り除いた $(N-1) \times (N-1)$ 小行列の行列式（小行列式）に、符号 $(-1)^{i+j}$ を掛けたものである。

\begin{equation}\tilde{X}_{ij} = (-1)^{i+j} M_{ij}\label{eq:7-1-2}\end{equation}

ここで $M_{ij}$ は $(i, j)$ 小行列式である。

重要な性質として、余因子 $\tilde{X}_{ij}$ は $X_{ij}$ 自身を含まないことに注目する。これは小行列式 $M_{ij}$ が第 $i$ 行と第 $j$ 列を除いて計算されるためである。

行列式 $|\boldsymbol{X}|$ を成分 $X_{ij}$ で偏微分する。\eqref{eq:7-1-1}の余因子展開を用いると次のようになる。

\begin{equation}\frac{\partial}{\partial X_{ij}} |\boldsymbol{X}| = \frac{\partial}{\partial X_{ij}} \sum_{k=0}^{N-1} X_{ik} \tilde{X}_{ik}\label{eq:7-1-3}\end{equation}

和の微分を各項の微分の和に分解する。

\begin{equation}\frac{\partial}{\partial X_{ij}} \sum_{k=0}^{N-1} X_{ik} \tilde{X}_{ik} = \sum_{k=0}^{N-1} \frac{\partial}{\partial X_{ij}} (X_{ik} \tilde{X}_{ik})\label{eq:7-1-4}\end{equation}

各項の微分を計算する。余因子 $\tilde{X}_{ik}$ は $X_{ij}$ を含まないので定数として扱える。したがって次が成り立つ。

\begin{equation}\frac{\partial}{\partial X_{ij}} (X_{ik} \tilde{X}_{ik}) = \tilde{X}_{ik} \frac{\partial X_{ik}}{\partial X_{ij}}\label{eq:7-1-5}\end{equation}

成分の偏微分を計算する。$X_{ik}$ と $X_{ij}$ が同じ変数になるのは $k = j$ のときだけである。

\begin{equation}\frac{\partial X_{ik}}{\partial X_{ij}} = \delta_{kj}\label{eq:7-1-6}\end{equation}

ここで $\delta_{kj}$ はKroneckerのデルタで、$k = j$ のとき 1、それ以外は 0 である。

\eqref{eq:7-1-5}と\eqref{eq:7-1-6}を組み合わせると次のようになる。

\begin{equation}\sum_{k=0}^{N-1} \tilde{X}_{ik} \delta_{kj} = \tilde{X}_{ij}\label{eq:7-1-7}\end{equation}

$\delta_{kj} = 1$ となるのは $k = j$ のときだけなので、和の中で $k = j$ の項だけが残る。

以上より、行列式の成分微分は余因子に等しい。

\begin{equation}\frac{\partial}{\partial X_{ij}} |\boldsymbol{X}| = \tilde{X}_{ij}\label{eq:7-1-8}\end{equation}

分母レイアウトでの行列微分を考える。分母レイアウトでは、結果の $(i, j)$ 成分は $\displaystyle\frac{\partial}{\partial X_{ij}}$ に対応する。

\begin{equation}\left( \frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}| \right)_{ij} = \frac{\partial}{\partial X_{ij}} |\boldsymbol{X}| = \tilde{X}_{ij}\label{eq:7-1-9}\end{equation}

これを行列形式で書く。余因子行列（adjugate matrix）$\text{adj}(\boldsymbol{X})$ を定義する。$\text{adj}(\boldsymbol{X})$ の $(i, j)$ 成分は $\tilde{X}_{ji}$（添字が入れ替わることに注意）である。

\eqref{eq:7-1-9}の結果を行列で書くと、$(i, j)$ 成分が $\tilde{X}_{ij}$ なので、これは $\text{adj}(\boldsymbol{X})$ の転置 $\text{adj}(\boldsymbol{X})^\top$ である。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}| = \text{adj}(\boldsymbol{X})^\top\label{eq:7-1-10}\end{equation}

逆行列と余因子行列の関係を用いて書き換える。正則行列 $\boldsymbol{X}$ に対して次の関係が成り立つ。

\begin{equation}\boldsymbol{X}^{-1} = \frac{1}{|\boldsymbol{X}|} \text{adj}(\boldsymbol{X})\label{eq:7-1-11}\end{equation}

\eqref{eq:7-1-11}を $\text{adj}(\boldsymbol{X})$ について解くと次のようになる。

\begin{equation}\text{adj}(\boldsymbol{X}) = |\boldsymbol{X}| \boldsymbol{X}^{-1}\label{eq:7-1-12}\end{equation}

両辺の転置をとる。

\begin{equation}\text{adj}(\boldsymbol{X})^\top = (|\boldsymbol{X}| \boldsymbol{X}^{-1})^\top\label{eq:7-1-13}\end{equation}

スカラ $|\boldsymbol{X}|$ は転置で変化しない。また、積の転置は $(AB)^\top = B^\top A^\top$ であるが、ここではスカラとの積なので順序は関係ない。したがって次が成り立つ。

\begin{equation}\text{adj}(\boldsymbol{X})^\top = |\boldsymbol{X}| (\boldsymbol{X}^{-1})^\top = |\boldsymbol{X}| \boldsymbol{X}^{-\top}\label{eq:7-1-14}\end{equation}

\eqref{eq:7-1-10}と\eqref{eq:7-1-14}を組み合わせて、最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}| = |\boldsymbol{X}| \boldsymbol{X}^{-\top}\label{eq:7-1-15}\end{equation}

証明

対数行列式は合成関数 $\log(|\boldsymbol{X}|)$ である。外側の関数が $\log$、内側の関数が $|\boldsymbol{X}|$ である。

合成関数の微分公式（連鎖律）を適用する。スカラ関数 $f(g(\boldsymbol{X}))$ の行列微分は次のようになる。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} f(g(\boldsymbol{X})) = f'(g(\boldsymbol{X})) \frac{\partial g}{\partial \boldsymbol{X}}\label{eq:7-2-1}\end{equation}

本問題では $f(u) = \log(u)$、$g(\boldsymbol{X}) = |\boldsymbol{X}|$ である。

外側の関数 $f(u) = \log(u)$ の微分を計算すると次のようになる。

\begin{equation}f'(u) = \frac{1}{u}\label{eq:7-2-2}\end{equation}

$u = g(\boldsymbol{X}) = |\boldsymbol{X}|$ を代入すると次が得られる。

\begin{equation}f'(g(\boldsymbol{X})) = f'(|\boldsymbol{X}|) = \frac{1}{|\boldsymbol{X}|}\label{eq:7-2-3}\end{equation}

内側の関数の微分は 7.1 より次の通りである。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}| = |\boldsymbol{X}| \boldsymbol{X}^{-\top}\label{eq:7-2-4}\end{equation}

\eqref{eq:7-2-1}の連鎖律に\eqref{eq:7-2-3}と\eqref{eq:7-2-4}を代入すると次のようになる。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} \log|\boldsymbol{X}| = \frac{1}{|\boldsymbol{X}|} \cdot |\boldsymbol{X}| \boldsymbol{X}^{-\top}\label{eq:7-2-5}\end{equation}

$\displaystyle\frac{1}{|\boldsymbol{X}|}$ と $|\boldsymbol{X}|$ が打ち消し合い、最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} \log|\boldsymbol{X}| = \boldsymbol{X}^{-\top}\label{eq:7-2-6}\end{equation}

証明

行列式の積に関する性質（1.14）を確認する。任意の正方行列 $\boldsymbol{A}$, $\boldsymbol{B}$ に対して次が成り立つ。

\begin{equation}|\boldsymbol{A}\boldsymbol{B}| = |\boldsymbol{A}||\boldsymbol{B}|\label{eq:7-3-1}\end{equation}

この性質を繰り返し適用すると、$\boldsymbol{X}^n = \underbrace{\boldsymbol{X} \cdot \boldsymbol{X} \cdots \boldsymbol{X}}_{n \text{ 個}}$ の行列式は次のようになる。

\begin{equation}|\boldsymbol{X}^n| = |\underbrace{\boldsymbol{X} \cdot \boldsymbol{X} \cdots \boldsymbol{X}}_{n \text{ 個}}| = \underbrace{|\boldsymbol{X}| \cdot |\boldsymbol{X}| \cdots |\boldsymbol{X}|}_{n \text{ 個}} = |\boldsymbol{X}|^n\label{eq:7-3-2}\end{equation}

したがって $|\boldsymbol{X}^n|$ を $\boldsymbol{X}$ で微分する問題は、$|\boldsymbol{X}|^n$ を $\boldsymbol{X}$ で微分する問題に帰着する。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}^n| = \frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}|^n\label{eq:7-3-3}\end{equation}

$|\boldsymbol{X}|^n$ は $|\boldsymbol{X}|$ の $n$ 乗であり、これは合成関数である。外側の関数を $f(u) = u^n$、内側の関数を $g(\boldsymbol{X}) = |\boldsymbol{X}|$ とする。

外側の関数 $f(u) = u^n$ の微分を計算すると次のようになる。

\begin{equation}f'(u) = n u^{n-1}\label{eq:7-3-4}\end{equation}

$u = |\boldsymbol{X}|$ を代入すると次が得られる。

\begin{equation}f'(|\boldsymbol{X}|) = n |\boldsymbol{X}|^{n-1}\label{eq:7-3-5}\end{equation}

内側の関数の微分は 7.1 より次の通りである。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}| = |\boldsymbol{X}| \boldsymbol{X}^{-\top}\label{eq:7-3-6}\end{equation}

連鎖律を適用すると次のようになる。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}|^n = n |\boldsymbol{X}|^{n-1} \cdot |\boldsymbol{X}| \boldsymbol{X}^{-\top}\label{eq:7-3-7}\end{equation}

$|\boldsymbol{X}|^{n-1} \cdot |\boldsymbol{X}| = |\boldsymbol{X}|^n$ を用いて整理すると次のようになる。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}|^n = n |\boldsymbol{X}|^n \boldsymbol{X}^{-\top}\label{eq:7-3-8}\end{equation}

\eqref{eq:7-3-2}より $|\boldsymbol{X}|^n = |\boldsymbol{X}^n|$ なので、最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}^n| = n |\boldsymbol{X}^n| \boldsymbol{X}^{-\top}\label{eq:7-3-9}\end{equation}

証明

$\det(\boldsymbol{Y})$ は $\boldsymbol{Y}$ の全成分 $Y_{ij}$ の関数である。$\boldsymbol{Y}$ の各成分 $Y_{ij}$ はスカラ $x$ の関数なので、$\det(\boldsymbol{Y})$ は $x$ の合成関数である。

多変数の連鎖律を適用する。$\det(\boldsymbol{Y})$ を $x$ で微分すると、中間変数である全ての $Y_{ij}$ を通じた寄与の総和となる。

\begin{equation}\frac{\partial \det(\boldsymbol{Y})}{\partial x} = \sum_{i=0}^{N-1} \sum_{j=0}^{N-1} \frac{\partial \det(\boldsymbol{Y})}{\partial Y_{ij}} \frac{\partial Y_{ij}}{\partial x}\label{eq:7-4-1}\end{equation}

7.1 の証明過程より、行列式の成分微分は余因子に等しい。

\begin{equation}\frac{\partial \det(\boldsymbol{Y})}{\partial Y_{ij}} = \tilde{Y}_{ij}\label{eq:7-4-2}\end{equation}

ここで $\tilde{Y}_{ij}$ は $\boldsymbol{Y}$ の $(i, j)$ 余因子である。

\eqref{eq:7-4-2}を\eqref{eq:7-4-1}に代入すると次のようになる。

\begin{equation}\frac{\partial \det(\boldsymbol{Y})}{\partial x} = \sum_{i,j} \tilde{Y}_{ij} \frac{\partial Y_{ij}}{\partial x}\label{eq:7-4-3}\end{equation}

余因子と逆行列の関係を用いる。7.1 の証明で示したように、次の関係が成り立つ。

\begin{equation}\text{adj}(\boldsymbol{Y}) = \det(\boldsymbol{Y}) \boldsymbol{Y}^{-1}\label{eq:7-4-4}\end{equation}

ここで $\text{adj}(\boldsymbol{Y})$ の $(i, j)$ 成分は $\tilde{Y}_{ji}$ である。

したがって $\tilde{Y}_{ij}$ は $\text{adj}(\boldsymbol{Y})$ の $(j, i)$ 成分なので、次のように書ける。

\begin{equation}\tilde{Y}_{ij} = (\text{adj}(\boldsymbol{Y}))_{ji} = \det(\boldsymbol{Y}) (Y^{-1})_{ji}\label{eq:7-4-5}\end{equation}

\eqref{eq:7-4-5}を\eqref{eq:7-4-3}に代入すると次のようになる。

\begin{equation}\frac{\partial \det(\boldsymbol{Y})}{\partial x} = \sum_{i,j} \det(\boldsymbol{Y}) (Y^{-1})_{ji} \frac{\partial Y_{ij}}{\partial x}\label{eq:7-4-6}\end{equation}

$\det(\boldsymbol{Y})$ は $i, j$ に依存しないので、和の外に出す。

\begin{equation}\frac{\partial \det(\boldsymbol{Y})}{\partial x} = \det(\boldsymbol{Y}) \sum_{i,j} (Y^{-1})_{ji} \frac{\partial Y_{ij}}{\partial x}\label{eq:7-4-7}\end{equation}

和の順序を入れ替えて、まず $i$ について和をとると次のようになる。

\begin{equation}\sum_{i,j} (Y^{-1})_{ji} \frac{\partial Y_{ij}}{\partial x} = \sum_{j=0}^{N-1} \sum_{i=0}^{N-1} (Y^{-1})_{ji} \frac{\partial Y_{ij}}{\partial x}\label{eq:7-4-8}\end{equation}

内側の和 $\displaystyle\sum_{i} (Y^{-1})_{ji} \displaystyle\frac{\partial Y_{ij}}{\partial x}$ は行列積の定義に対応する。これは $\boldsymbol{Y}^{-1} \displaystyle\frac{\partial \boldsymbol{Y}}{\partial x}$ の $(j, j)$ 成分である。

\begin{equation}\sum_{i=0}^{N-1} (Y^{-1})_{ji} \left(\frac{\partial \boldsymbol{Y}}{\partial x}\right)_{ij} = \left( \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}}{\partial x} \right)_{jj}\label{eq:7-4-9}\end{equation}

外側の和 $\sum_{j}$ は対角成分の総和、すなわちトレースである。

\begin{equation}\sum_{j=0}^{N-1} \left( \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}}{\partial x} \right)_{jj} = \text{tr}\left( \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}}{\partial x} \right)\label{eq:7-4-10}\end{equation}

\eqref{eq:7-4-7}と\eqref{eq:7-4-10}を組み合わせて、最終結果（Jacobi の公式）を得る。

\begin{equation}\frac{\partial \det(\boldsymbol{Y})}{\partial x} = \det(\boldsymbol{Y}) \text{tr}\left( \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}}{\partial x} \right)\label{eq:7-4-11}\end{equation}

証明

7.1 の証明過程より、行列式の成分微分は余因子に等しい。

\begin{equation}\frac{\partial \det(\boldsymbol{X})}{\partial X_{ik}} = \tilde{X}_{ik}\label{eq:7-5-1}\end{equation}

この結果を用いて、左辺の和を余因子で書き直すと次のようになる。

\begin{equation}\sum_{k=0}^{N-1} \frac{\partial \det(\boldsymbol{X})}{\partial X_{ik}} X_{jk} = \sum_{k=0}^{N-1} \tilde{X}_{ik} X_{jk}\label{eq:7-5-2}\end{equation}

$i = j$ の場合と $i \neq j$ の場合に分けて考える。

$i = j$ の場合を考える。和は次のようになる。

\begin{equation}\sum_{k=0}^{N-1} \tilde{X}_{ik} X_{ik}\label{eq:7-5-3}\end{equation}

これは行列式の余因子展開そのものである。第 $i$ 行による行列式の展開は次の通りである。

\begin{equation}\det(\boldsymbol{X}) = \sum_{k=0}^{N-1} X_{ik} \tilde{X}_{ik}\label{eq:7-5-4}\end{equation}

したがって、$i = j$ のとき次が成り立つ。

\begin{equation}\sum_{k=0}^{N-1} \tilde{X}_{ik} X_{ik} = \det(\boldsymbol{X})\label{eq:7-5-5}\end{equation}

$i \neq j$ の場合を考える。和は次のようになる。

\begin{equation}\sum_{k=0}^{N-1} \tilde{X}_{ik} X_{jk}\label{eq:7-5-6}\end{equation}

この和の意味を考える。$\tilde{X}_{ik}$ は $\boldsymbol{X}$ の第 $i$ 行と第 $k$ 列を除いた小行列の行列式に符号を付けたものである。したがって $\tilde{X}_{ik}$ は $\boldsymbol{X}$ の第 $i$ 行の成分を含まない。

\eqref{eq:7-5-6}の和は、$\boldsymbol{X}$ の第 $i$ 行を第 $j$ 行で置き換えた行列 $\boldsymbol{X}'$ の、第 $i$ 行による余因子展開に等しい。

\begin{equation}\sum_{k=0}^{N-1} \tilde{X}_{ik} X_{jk} = \det(\boldsymbol{X}')\label{eq:7-5-7}\end{equation}

ここで $\boldsymbol{X}'$ は $\boldsymbol{X}$ の第 $i$ 行を $\boldsymbol{X}$ の第 $j$ 行で置き換えた行列である（余因子 $\tilde{X}_{ik}$ は第 $i$ 行に依存しないことに注意）。

$\boldsymbol{X}'$ は第 $i$ 行と第 $j$ 行が同じベクトルになっている。すなわち、2つの行が同一である。

行列式の性質として、2つの行（または列）が同一である行列の行列式は 0 である。

\begin{equation}\det(\boldsymbol{X}') = 0\label{eq:7-5-8}\end{equation}

したがって、$i \neq j$ のとき次が成り立つ。

\begin{equation}\sum_{k=0}^{N-1} \tilde{X}_{ik} X_{jk} = 0\label{eq:7-5-9}\end{equation}

\eqref{eq:7-5-5}と\eqref{eq:7-5-9}をKroneckerのデルタを用いて統一的に表すと、最終結果を得る。

\begin{equation}\sum_{k=0}^{N-1} \frac{\partial \det(\boldsymbol{X})}{\partial X_{ik}} X_{jk} = \delta_{ij} \det(\boldsymbol{X})\label{eq:7-5-10}\end{equation}

証明

7.4 の Jacobi の公式を再掲する。

\begin{equation}\frac{\partial \det(\boldsymbol{Y})}{\partial x} = \det(\boldsymbol{Y}) \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}')\label{eq:7-6-1}\end{equation}

両辺を $x$ でもう一度微分する。左辺は $\displaystyle\frac{\partial^2 \det(\boldsymbol{Y})}{\partial x^2}$ となる。右辺は2つの因子の積なので、積の微分公式（1.25）を適用する。

\begin{equation}\frac{\partial^2 \det(\boldsymbol{Y})}{\partial x^2} = \frac{\partial}{\partial x} \left[ \det(\boldsymbol{Y}) \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}') \right]\label{eq:7-6-2}\end{equation}

積の微分公式（1.25）$(fg)' = f'g + fg'$ を適用する。$f = \det(\boldsymbol{Y})$、$g = \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}')$ とすると次のようになる。

\begin{equation}\frac{\partial^2 \det(\boldsymbol{Y})}{\partial x^2} = \frac{\partial \det(\boldsymbol{Y})}{\partial x} \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}') + \det(\boldsymbol{Y}) \frac{\partial}{\partial x} \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}')\label{eq:7-6-3}\end{equation}

第1項を計算する。$\displaystyle\frac{\partial \det(\boldsymbol{Y})}{\partial x}$ に\eqref{eq:7-6-1}のJacobiの公式を代入すると次のようになる。

\begin{equation}\frac{\partial \det(\boldsymbol{Y})}{\partial x} \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}') = \det(\boldsymbol{Y}) \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}') \cdot \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}')\label{eq:7-6-4}\end{equation}

第1項を整理すると次のようになる。

\begin{equation}\det(\boldsymbol{Y}) \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}')^2\label{eq:7-6-5}\end{equation}

第2項の $\displaystyle\frac{\partial}{\partial x} \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}')$ を計算する。トレースと微分は交換可能なので、まずトレースの中身を微分する。

\begin{equation}\frac{\partial}{\partial x} \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}') = \text{tr}\left( \frac{\partial}{\partial x} (\boldsymbol{Y}^{-1} \boldsymbol{Y}') \right)\label{eq:7-6-6}\end{equation}

行列積 $\boldsymbol{Y}^{-1} \boldsymbol{Y}'$ の微分に積の微分公式（1.25）を適用すると次のようになる。

\begin{equation}\frac{\partial}{\partial x} (\boldsymbol{Y}^{-1} \boldsymbol{Y}') = \frac{\partial \boldsymbol{Y}^{-1}}{\partial x} \boldsymbol{Y}' + \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}'}{\partial x}\label{eq:7-6-7}\end{equation}

$\displaystyle\frac{\partial \boldsymbol{Y}'}{\partial x} = \boldsymbol{Y}''$ である。

逆行列のスカラ微分公式を適用する。$\boldsymbol{Y}\boldsymbol{Y}^{-1} = \boldsymbol{I}$ を $x$ で微分すると、次が成り立つ。

\begin{equation}\boldsymbol{Y}' \boldsymbol{Y}^{-1} + \boldsymbol{Y} \frac{\partial \boldsymbol{Y}^{-1}}{\partial x} = \boldsymbol{O}\label{eq:7-6-8}\end{equation}

\eqref{eq:7-6-8}を $\displaystyle\frac{\partial \boldsymbol{Y}^{-1}}{\partial x}$ について解くと次のようになる。

\begin{equation}\frac{\partial \boldsymbol{Y}^{-1}}{\partial x} = -\boldsymbol{Y}^{-1} \boldsymbol{Y}' \boldsymbol{Y}^{-1}\label{eq:7-6-9}\end{equation}

\eqref{eq:7-6-7}に\eqref{eq:7-6-9}を代入すると次のようになる。

\begin{equation}\frac{\partial}{\partial x} (\boldsymbol{Y}^{-1} \boldsymbol{Y}') = -\boldsymbol{Y}^{-1} \boldsymbol{Y}' \boldsymbol{Y}^{-1} \boldsymbol{Y}' + \boldsymbol{Y}^{-1} \boldsymbol{Y}''\label{eq:7-6-10}\end{equation}

第1項を整理する。$\boldsymbol{Y}^{-1} \boldsymbol{Y}'$ が2回現れているので、次のように書ける。

\begin{equation}-\boldsymbol{Y}^{-1} \boldsymbol{Y}' \boldsymbol{Y}^{-1} \boldsymbol{Y}' = -(\boldsymbol{Y}^{-1} \boldsymbol{Y}')^2\label{eq:7-6-11}\end{equation}

\eqref{eq:7-6-6}にトレースをとると次のようになる。

\begin{equation}\frac{\partial}{\partial x} \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}') = \text{tr}(-(\boldsymbol{Y}^{-1} \boldsymbol{Y}')^2 + \boldsymbol{Y}^{-1} \boldsymbol{Y}'')\label{eq:7-6-12}\end{equation}

トレースの線形性を用いて分解すると次のようになる。

\begin{equation}\frac{\partial}{\partial x} \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}') = -\text{tr}((\boldsymbol{Y}^{-1} \boldsymbol{Y}')^2) + \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}'')\label{eq:7-6-13}\end{equation}

\eqref{eq:7-6-3}に\eqref{eq:7-6-5}と\eqref{eq:7-6-13}の結果を代入すると次のようになる。

\begin{equation}\frac{\partial^2 \det(\boldsymbol{Y})}{\partial x^2} = \det(\boldsymbol{Y}) \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}')^2 + \det(\boldsymbol{Y}) \left[ -\text{tr}((\boldsymbol{Y}^{-1} \boldsymbol{Y}')^2) + \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}'') \right]\label{eq:7-6-14}\end{equation}

$\det(\boldsymbol{Y})$ をくくり出して最終結果を得る。

\begin{equation}\frac{\partial^2 \det(\boldsymbol{Y})}{\partial x^2} = \det(\boldsymbol{Y}) \left[ \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}'') + \text{tr}(\boldsymbol{Y}^{-1} \boldsymbol{Y}')^2 - \text{tr}((\boldsymbol{Y}^{-1} \boldsymbol{Y}')^2) \right]\label{eq:7-6-15}\end{equation}

証明

行列式の積に関する性質（1.14）より、正方行列の積の行列式は各行列の行列式の積に等しい。

\begin{equation}|\boldsymbol{A}\boldsymbol{B}| = |\boldsymbol{A}||\boldsymbol{B}|\label{eq:7-7-1}\end{equation}

この性質を $\boldsymbol{A}\boldsymbol{X}\boldsymbol{B}$ に適用する。まず $(\boldsymbol{A}\boldsymbol{X})\boldsymbol{B}$ と見なすと次のようになる。

\begin{equation}|(\boldsymbol{A}\boldsymbol{X})\boldsymbol{B}| = |\boldsymbol{A}\boldsymbol{X}||\boldsymbol{B}|\label{eq:7-7-2}\end{equation}

$|\boldsymbol{A}\boldsymbol{X}|$ にも同じ性質を適用すると次のようになる。

\begin{equation}|\boldsymbol{A}\boldsymbol{X}| = |\boldsymbol{A}||\boldsymbol{X}|\label{eq:7-7-3}\end{equation}

\eqref{eq:7-7-2}と\eqref{eq:7-7-3}を組み合わせると次が得られる。

\begin{equation}|\boldsymbol{A}\boldsymbol{X}\boldsymbol{B}| = |\boldsymbol{A}||\boldsymbol{X}||\boldsymbol{B}|\label{eq:7-7-4}\end{equation}

$|\boldsymbol{A}\boldsymbol{X}\boldsymbol{B}|$ を $\boldsymbol{X}$ で微分する。$|\boldsymbol{A}|$ と $|\boldsymbol{B}|$ は $\boldsymbol{X}$ に依存しない定数なので、微分演算子の外に出せる。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{A}\boldsymbol{X}\boldsymbol{B}| = \frac{\partial}{\partial \boldsymbol{X}} (|\boldsymbol{A}||\boldsymbol{X}||\boldsymbol{B}|) = |\boldsymbol{A}||\boldsymbol{B}| \frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}|\label{eq:7-7-5}\end{equation}

7.1 より $\displaystyle\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}| = |\boldsymbol{X}| \boldsymbol{X}^{-\top}$ を代入すると次のようになる。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{A}\boldsymbol{X}\boldsymbol{B}| = |\boldsymbol{A}||\boldsymbol{B}| \cdot |\boldsymbol{X}| \boldsymbol{X}^{-\top}\label{eq:7-7-6}\end{equation}

$|\boldsymbol{A}||\boldsymbol{B}||\boldsymbol{X}| = |\boldsymbol{A}\boldsymbol{X}\boldsymbol{B}|$（\eqref{eq:7-7-4}より）を用いて整理すると、最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{A}\boldsymbol{X}\boldsymbol{B}| = |\boldsymbol{A}\boldsymbol{X}\boldsymbol{B}| \boldsymbol{X}^{-\top}\label{eq:7-7-7}\end{equation}

証明

行列式の積の性質（1.14）を用いて $|\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}|$ を分解する。

\begin{equation}|\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}| = |\boldsymbol{X}^\top||\boldsymbol{A}||\boldsymbol{X}|\label{eq:7-8-1-1}\end{equation}

転置の行列式（1.15）より $|\boldsymbol{X}^\top| = |\boldsymbol{X}|$ である。

\eqref{eq:7-8-1-1}とこの性質より次を得る。

\begin{equation}|\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}| = |\boldsymbol{X}||\boldsymbol{A}||\boldsymbol{X}| = |\boldsymbol{A}||\boldsymbol{X}|^2\label{eq:7-8-1-2}\end{equation}

$\boldsymbol{X}$ で微分する。$|\boldsymbol{A}|$ は定数なので微分演算子の外に出せる。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}| = |\boldsymbol{A}| \frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}|^2\label{eq:7-8-1-3}\end{equation}

7.3 で $n = 2$ の場合より、次が成り立つ。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}|^2 = 2 |\boldsymbol{X}|^2 \boldsymbol{X}^{-\top}\label{eq:7-8-1-4}\end{equation}

\eqref{eq:7-8-1-3}に\eqref{eq:7-8-1-4}を代入すると次のようになる。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}| = |\boldsymbol{A}| \cdot 2 |\boldsymbol{X}|^2 \boldsymbol{X}^{-\top}\label{eq:7-8-1-5}\end{equation}

$|\boldsymbol{A}||\boldsymbol{X}|^2 = |\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}|$（\eqref{eq:7-8-1-2}より）を用いて整理すると、最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} |\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}| = 2 |\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}| \boldsymbol{X}^{-\top}\label{eq:7-8-1-6}\end{equation}

証明

$\boldsymbol{Y} = \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}$ とおく。$\boldsymbol{Y}$ は $N \times N$ 行列である。$\boldsymbol{X}$ がフルランクなので $\boldsymbol{Y}$ は可逆である（$\boldsymbol{A}$ が正定値のとき）。

7.4 の Jacobi の公式を用いる。$|\boldsymbol{Y}|$ を成分 $X_{ij}$ で微分すると次のようになる。

\begin{equation}\frac{\partial |\boldsymbol{Y}|}{\partial X_{ij}} = |\boldsymbol{Y}| \text{tr}\left( \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}}{\partial X_{ij}} \right)\label{eq:7-8-2-1}\end{equation}

$\boldsymbol{Y} = \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}$ を $X_{ij}$ で微分する。$\boldsymbol{Y}$ には $\boldsymbol{X}^\top$ と $\boldsymbol{X}$ の2箇所に $\boldsymbol{X}$ が現れるので、積の微分公式（1.25）を適用する。

\begin{equation}\frac{\partial \boldsymbol{Y}}{\partial X_{ij}} = \frac{\partial (\boldsymbol{X}^\top)}{\partial X_{ij}} \boldsymbol{A} \boldsymbol{X} + \boldsymbol{X}^\top \boldsymbol{A} \frac{\partial \boldsymbol{X}}{\partial X_{ij}}\label{eq:7-8-2-2}\end{equation}

$\displaystyle\frac{\partial \boldsymbol{X}}{\partial X_{ij}}$ を計算する。$\boldsymbol{X}$ の成分 $X_{kl}$ を $X_{ij}$ で微分すると、$k = i$ かつ $l = j$ のときのみ 1、それ以外は 0 である。

\begin{equation}\left( \frac{\partial \boldsymbol{X}}{\partial X_{ij}} \right)_{kl} = \delta_{ki} \delta_{lj}\label{eq:7-8-2-3}\end{equation}

この結果を行列で表す。標準基底ベクトル $\boldsymbol{e}_i \in \mathbb{R}^M$（第 $i$ 成分のみ 1）と $\boldsymbol{e}_j \in \mathbb{R}^N$（第 $j$ 成分のみ 1）を用いると次のように書ける。

\begin{equation}\frac{\partial \boldsymbol{X}}{\partial X_{ij}} = \boldsymbol{e}_i \boldsymbol{e}_j^\top\label{eq:7-8-2-4}\end{equation}

これは $(i, j)$ 成分のみが 1 で他は全て 0 の $M \times N$ 行列である。

$\displaystyle\frac{\partial (\boldsymbol{X}^\top)}{\partial X_{ij}}$ を計算する。転置をとると行と列が入れ替わるので次のようになる。

\begin{equation}\frac{\partial (\boldsymbol{X}^\top)}{\partial X_{ij}} = \left( \frac{\partial \boldsymbol{X}}{\partial X_{ij}} \right)^\top = (\boldsymbol{e}_i \boldsymbol{e}_j^\top)^\top = \boldsymbol{e}_j \boldsymbol{e}_i^\top\label{eq:7-8-2-5}\end{equation}

\eqref{eq:7-8-2-4}と\eqref{eq:7-8-2-5}を\eqref{eq:7-8-2-2}に代入すると次のようになる。

\begin{equation}\frac{\partial \boldsymbol{Y}}{\partial X_{ij}} = \boldsymbol{e}_j \boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X} + \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{e}_i \boldsymbol{e}_j^\top\label{eq:7-8-2-6}\end{equation}

$\boldsymbol{A}$ が対称であることを用いる。$\boldsymbol{A} = \boldsymbol{A}^\top$ より $\boldsymbol{A} \boldsymbol{e}_i = \boldsymbol{A}^\top \boldsymbol{e}_i$ である。

$\boldsymbol{e}_i^\top \boldsymbol{A} = (\boldsymbol{A}^\top \boldsymbol{e}_i)^\top = (\boldsymbol{A} \boldsymbol{e}_i)^\top$ であることに注目する。$\boldsymbol{A} \boldsymbol{e}_i$ は $\boldsymbol{A}$ の第 $i$ 列ベクトルである。

\eqref{eq:7-8-2-6}の第1項を分析する。$\boldsymbol{e}_j \boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X}$ は $N \times N$ 行列である。

\eqref{eq:7-8-2-1}に代入して、トレースの中身を計算すると次のようになる。

\begin{equation}\text{tr}\left( \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}}{\partial X_{ij}} \right) = \text{tr}\left( \boldsymbol{Y}^{-1} \boldsymbol{e}_j \boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X} \right) + \text{tr}\left( \boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{e}_i \boldsymbol{e}_j^\top \right)\label{eq:7-8-2-7}\end{equation}

トレースの巡回性 $\text{tr}(\boldsymbol{P}\boldsymbol{Q}\boldsymbol{R}) = \text{tr}(\boldsymbol{R}\boldsymbol{P}\boldsymbol{Q})$ を第1項に適用すると次のようになる。

\begin{equation}\text{tr}\left( \boldsymbol{Y}^{-1} \boldsymbol{e}_j \boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X} \right) = \text{tr}\left( \boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1} \boldsymbol{e}_j \right)\label{eq:7-8-2-8}\end{equation}

$\boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1} \boldsymbol{e}_j$ は $1 \times 1$ スカラなので、トレースは値そのものに等しい。

\begin{equation}\text{tr}\left( \boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1} \boldsymbol{e}_j \right) = \boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1} \boldsymbol{e}_j = (\boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1})_{ij}\label{eq:7-8-2-9}\end{equation}

同様に第2項にトレースの巡回性を適用すると次のようになる。

\begin{equation}\text{tr}\left( \boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{e}_i \boldsymbol{e}_j^\top \right) = \text{tr}\left( \boldsymbol{e}_j^\top \boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{e}_i \right)\label{eq:7-8-2-10}\end{equation}

これも $1 \times 1$ スカラなので、トレースは値そのものに等しい。

\begin{equation}\text{tr}\left( \boldsymbol{e}_j^\top \boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{e}_i \right) = (\boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A})_{ji} = ((\boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-\top}))_{ij}\label{eq:7-8-2-11}\end{equation}

$\boldsymbol{Y}$ が対称であることを確認する。$\boldsymbol{A} = \boldsymbol{A}^\top$ より次が成り立つ。

\begin{equation}\boldsymbol{Y}^\top = (\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X})^\top = \boldsymbol{X}^\top \boldsymbol{A}^\top (\boldsymbol{X}^\top)^\top = \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X} = \boldsymbol{Y}\label{eq:7-8-2-12}\end{equation}

$\boldsymbol{Y}$ が対称なので $\boldsymbol{Y}^{-1}$ も対称である。したがって $\boldsymbol{Y}^{-\top} = \boldsymbol{Y}^{-1}$ となる。

\eqref{eq:7-8-2-9}と\eqref{eq:7-8-2-11}の結果を用いて、\eqref{eq:7-8-2-7}を整理すると次のようになる。

\begin{equation}\text{tr}\left( \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}}{\partial X_{ij}} \right) = (\boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1})_{ij} + (\boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1})_{ij} = 2(\boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1})_{ij}\label{eq:7-8-2-13}\end{equation}

\eqref{eq:7-8-2-1}に代入して、成分 $X_{ij}$ による微分を得る。

\begin{equation}\frac{\partial |\boldsymbol{Y}|}{\partial X_{ij}} = |\boldsymbol{Y}| \cdot 2(\boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1})_{ij} = 2|\boldsymbol{Y}| (\boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1})_{ij}\label{eq:7-8-2-14}\end{equation}

分母レイアウトでは、結果の $(i, j)$ 成分は $\displaystyle\frac{\partial}{\partial X_{ij}}$ に対応する。したがって行列形式で書くと次のようになる。

\begin{equation}\frac{\partial |\boldsymbol{Y}|}{\partial \boldsymbol{X}} = 2|\boldsymbol{Y}| \boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1}\label{eq:7-8-2-15}\end{equation}

$\boldsymbol{Y} = \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}$ を代入して最終結果を得る。

\begin{equation}\frac{\partial |\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}|}{\partial \boldsymbol{X}} = 2 |\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}| \boldsymbol{A} \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X})^{-1}\label{eq:7-8-2-16}\end{equation}

証明

$\boldsymbol{Y} = \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}$ とおく。$\boldsymbol{Y}$ は $N \times N$ 行列である。

7.4 の Jacobi の公式を用いると次のようになる。

\begin{equation}\frac{\partial |\boldsymbol{Y}|}{\partial X_{ij}} = |\boldsymbol{Y}| \text{tr}\left( \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}}{\partial X_{ij}} \right)\label{eq:7-8-3-1}\end{equation}

7.8.2 と同様に、$\boldsymbol{Y}$ を $X_{ij}$ で微分すると次のようになる。

\begin{equation}\frac{\partial \boldsymbol{Y}}{\partial X_{ij}} = \boldsymbol{e}_j \boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X} + \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{e}_i \boldsymbol{e}_j^\top\label{eq:7-8-3-2}\end{equation}

トレースの中身を2つの項に分けて計算すると次のようになる。

\begin{equation}\text{tr}\left( \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}}{\partial X_{ij}} \right) = \text{tr}\left( \boldsymbol{Y}^{-1} \boldsymbol{e}_j \boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X} \right) + \text{tr}\left( \boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{e}_i \boldsymbol{e}_j^\top \right)\label{eq:7-8-3-3}\end{equation}

第1項を計算する。トレースの巡回性を用いると次のようになる。

\begin{equation}\text{tr}\left( \boldsymbol{Y}^{-1} \boldsymbol{e}_j \boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X} \right) = \text{tr}\left( \boldsymbol{e}_i^\top \boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1} \boldsymbol{e}_j \right) = (\boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1})_{ij}\label{eq:7-8-3-4}\end{equation}

第2項を計算する。同様にトレースの巡回性を用いると次のようになる。

\begin{equation}\text{tr}\left( \boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{e}_i \boldsymbol{e}_j^\top \right) = \text{tr}\left( \boldsymbol{e}_j^\top \boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{e}_i \right) = (\boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A})_{ji}\label{eq:7-8-3-5}\end{equation}

\eqref{eq:7-8-3-5}の結果を変形する。$(\boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A})_{ji}$ は行列 $\boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A}$ の転置の $(i, j)$ 成分に等しい。

\begin{equation}(\boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A})_{ji} = ((\boldsymbol{Y}^{-1} \boldsymbol{X}^\top \boldsymbol{A})^\top)_{ij} = (\boldsymbol{A}^\top \boldsymbol{X} \boldsymbol{Y}^{-\top})_{ij}\label{eq:7-8-3-6}\end{equation}

$\boldsymbol{A}$ が一般行列の場合、$\boldsymbol{Y} = \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}$ は対称とは限らない。したがって $\boldsymbol{Y}^{-\top} \neq \boldsymbol{Y}^{-1}$ である。

$\boldsymbol{Y}^\top = (\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X})^\top = \boldsymbol{X}^\top \boldsymbol{A}^\top \boldsymbol{X}$ を計算する。これは $\boldsymbol{A}$ を $\boldsymbol{A}^\top$ で置き換えた形である。

したがって次が成り立つ。

\begin{equation}\boldsymbol{Y}^{-\top} = (\boldsymbol{Y}^\top)^{-1} = (\boldsymbol{X}^\top \boldsymbol{A}^\top \boldsymbol{X})^{-1}\label{eq:7-8-3-7}\end{equation}

\eqref{eq:7-8-3-4}と\eqref{eq:7-8-3-6}を合わせると次のようになる。

\begin{equation}\text{tr}\left( \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}}{\partial X_{ij}} \right) = (\boldsymbol{A} \boldsymbol{X} \boldsymbol{Y}^{-1})_{ij} + (\boldsymbol{A}^\top \boldsymbol{X} \boldsymbol{Y}^{-\top})_{ij}\label{eq:7-8-3-8}\end{equation}

\eqref{eq:7-8-3-7}を代入すると次のようになる。

\begin{equation}\text{tr}\left( \boldsymbol{Y}^{-1} \frac{\partial \boldsymbol{Y}}{\partial X_{ij}} \right) = (\boldsymbol{A} \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X})^{-1})_{ij} + (\boldsymbol{A}^\top \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{A}^\top \boldsymbol{X})^{-1})_{ij}\label{eq:7-8-3-9}\end{equation}

\eqref{eq:7-8-3-1}に代入して、成分 $X_{ij}$ による微分を得る。

\begin{equation}\frac{\partial |\boldsymbol{Y}|}{\partial X_{ij}} = |\boldsymbol{Y}| \left[ (\boldsymbol{A} \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X})^{-1})_{ij} + (\boldsymbol{A}^\top \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{A}^\top \boldsymbol{X})^{-1})_{ij} \right]\label{eq:7-8-3-10}\end{equation}

分母レイアウトで行列形式にまとめると次のようになる。

\begin{equation}\frac{\partial |\boldsymbol{Y}|}{\partial \boldsymbol{X}} = |\boldsymbol{Y}| \left( \boldsymbol{A} \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X})^{-1} + \boldsymbol{A}^\top \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{A}^\top \boldsymbol{X})^{-1} \right)\label{eq:7-8-3-11}\end{equation}

$\boldsymbol{Y} = \boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}$ を代入して最終結果を得る。

\begin{equation}\frac{\partial |\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}|}{\partial \boldsymbol{X}} = |\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X}| \left( \boldsymbol{A} \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{A} \boldsymbol{X})^{-1} + \boldsymbol{A}^\top \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{A}^\top \boldsymbol{X})^{-1} \right)\label{eq:7-8-3-12}\end{equation}

証明

7.8.2 で $\boldsymbol{A} = \boldsymbol{I}$（単位行列）とおく。$\boldsymbol{I}$ は対称なので 7.8.2 の公式が適用できる。

7.8.2 より次が成り立つ。

\begin{equation}\frac{\partial |\boldsymbol{X}^\top \boldsymbol{I} \boldsymbol{X}|}{\partial \boldsymbol{X}} = 2 |\boldsymbol{X}^\top \boldsymbol{I} \boldsymbol{X}| \boldsymbol{I} \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{I} \boldsymbol{X})^{-1}\label{eq:7-9-1-1}\end{equation}

$\boldsymbol{I} \boldsymbol{X} = \boldsymbol{X}$、$\boldsymbol{X}^\top \boldsymbol{I} \boldsymbol{X} = \boldsymbol{X}^\top \boldsymbol{X}$ を代入すると次のようになる。

\begin{equation}\frac{\partial |\boldsymbol{X}^\top \boldsymbol{X}|}{\partial \boldsymbol{X}} = 2 |\boldsymbol{X}^\top \boldsymbol{X}| \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{X})^{-1}\label{eq:7-9-1-2}\end{equation}

$\log |\boldsymbol{X}^\top \boldsymbol{X}|$ を $\boldsymbol{X}$ で微分するために、連鎖律を適用する。外側の関数が $\log$、内側の関数が $|\boldsymbol{X}^\top \boldsymbol{X}|$ である。

連鎖律を書き下す。$f(u) = \log(u)$、$g(\boldsymbol{X}) = |\boldsymbol{X}^\top \boldsymbol{X}|$ として次が成り立つ。

\begin{equation}\frac{\partial \log |\boldsymbol{X}^\top \boldsymbol{X}|}{\partial \boldsymbol{X}} = \frac{1}{|\boldsymbol{X}^\top \boldsymbol{X}|} \frac{\partial |\boldsymbol{X}^\top \boldsymbol{X}|}{\partial \boldsymbol{X}}\label{eq:7-9-1-3}\end{equation}

\eqref{eq:7-9-1-2}の結果を\eqref{eq:7-9-1-3}に代入すると次のようになる。

\begin{equation}\frac{\partial \log |\boldsymbol{X}^\top \boldsymbol{X}|}{\partial \boldsymbol{X}} = \frac{1}{|\boldsymbol{X}^\top \boldsymbol{X}|} \cdot 2 |\boldsymbol{X}^\top \boldsymbol{X}| \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{X})^{-1}\label{eq:7-9-1-4}\end{equation}

$\displaystyle\frac{1}{|\boldsymbol{X}^\top \boldsymbol{X}|}$ と $|\boldsymbol{X}^\top \boldsymbol{X}|$ が打ち消し合う。

\begin{equation}\frac{\partial \log |\boldsymbol{X}^\top \boldsymbol{X}|}{\partial \boldsymbol{X}} = 2 \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{X})^{-1}\label{eq:7-9-1-5}\end{equation}

ムーア・ペンローズ擬似逆行列との関係を導く。$\boldsymbol{X}$ がフルランク（$\text{rank}(\boldsymbol{X}) = N$）のとき、左逆行列は次のように定義される。

\begin{equation}\boldsymbol{X}^{+} = (\boldsymbol{X}^\top \boldsymbol{X})^{-1} \boldsymbol{X}^\top\label{eq:7-9-1-6}\end{equation}

$\boldsymbol{X}^{+}$ の転置を計算する。積の転置は $(\boldsymbol{P}\boldsymbol{Q})^\top = \boldsymbol{Q}^\top \boldsymbol{P}^\top$ であるので、次のようになる。

\begin{equation}(\boldsymbol{X}^{+})^\top = ((\boldsymbol{X}^\top \boldsymbol{X})^{-1} \boldsymbol{X}^\top)^\top = (\boldsymbol{X}^\top)^\top ((\boldsymbol{X}^\top \boldsymbol{X})^{-1})^\top\label{eq:7-9-1-7}\end{equation}

$(\boldsymbol{X}^\top)^\top = \boldsymbol{X}$ である。また $\boldsymbol{X}^\top \boldsymbol{X}$ は対称行列なので、その逆行列も対称である。したがって $((\boldsymbol{X}^\top \boldsymbol{X})^{-1})^\top = (\boldsymbol{X}^\top \boldsymbol{X})^{-1}$ となる。

\eqref{eq:7-9-1-7}とこれらの性質を組み合わせると次が得られる。

\begin{equation}(\boldsymbol{X}^{+})^\top = \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{X})^{-1}\label{eq:7-9-1-8}\end{equation}

\eqref{eq:7-9-1-5}と\eqref{eq:7-9-1-8}を比較すると、最終結果を得る。

\begin{equation}\frac{\partial \log |\boldsymbol{X}^\top \boldsymbol{X}|}{\partial \boldsymbol{X}} = 2 \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{X})^{-1} = 2 (\boldsymbol{X}^{+})^\top\label{eq:7-9-1-9}\end{equation}

証明

$|\boldsymbol{X}^\top \boldsymbol{X}|$ と $|\boldsymbol{X}^{+}|$ の関係を導く。$\boldsymbol{X}^{+} = (\boldsymbol{X}^\top \boldsymbol{X})^{-1} \boldsymbol{X}^\top$ の行列式を計算する。

$\boldsymbol{X}^{+}$ は $N \times M$ 行列なので、$N \neq M$ の場合は正方行列ではなく、通常の行列式は定義されない。そこで $(\boldsymbol{X}^{+})^\top \boldsymbol{X}^{+}$ を考える。

7.9.1 の\eqref{eq:7-9-1-8}より $(\boldsymbol{X}^{+})^\top = \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{X})^{-1}$ である。

$(\boldsymbol{X}^{+})^\top \boldsymbol{X}^{+}$ を計算すると次のようになる。

\begin{equation}(\boldsymbol{X}^{+})^\top \boldsymbol{X}^{+} = \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{X})^{-1} \cdot (\boldsymbol{X}^\top \boldsymbol{X})^{-1} \boldsymbol{X}^\top\label{eq:7-9-2-1}\end{equation}

$(\boldsymbol{X}^\top \boldsymbol{X})^{-1} \cdot (\boldsymbol{X}^\top \boldsymbol{X})^{-1} = ((\boldsymbol{X}^\top \boldsymbol{X})^{-1})^2 = (\boldsymbol{X}^\top \boldsymbol{X})^{-2}$ であるので、次のようになる。

\begin{equation}(\boldsymbol{X}^{+})^\top \boldsymbol{X}^{+} = \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{X})^{-2} \boldsymbol{X}^\top\label{eq:7-9-2-2}\end{equation}

一方、$\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top$ を計算すると次のようになる。

\begin{equation}\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top = (\boldsymbol{X}^\top \boldsymbol{X})^{-1} \boldsymbol{X}^\top \cdot \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{X})^{-1}\label{eq:7-9-2-3}\end{equation}

$\boldsymbol{X}^\top \boldsymbol{X}$ と $(\boldsymbol{X}^\top \boldsymbol{X})^{-1}$ が隣り合っている部分を簡約すると次のようになる。

\begin{equation}\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top = (\boldsymbol{X}^\top \boldsymbol{X})^{-1} \cdot \boldsymbol{X}^\top \boldsymbol{X} \cdot (\boldsymbol{X}^\top \boldsymbol{X})^{-1} = (\boldsymbol{X}^\top \boldsymbol{X})^{-1}\label{eq:7-9-2-4}\end{equation}

\eqref{eq:7-9-2-4}の両辺の行列式をとる。$\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top$ は $N \times N$ 正方行列である。

\begin{equation}|\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top| = |(\boldsymbol{X}^\top \boldsymbol{X})^{-1}|\label{eq:7-9-2-5}\end{equation}

逆行列の行列式は元の行列式の逆数である。すなわち $|(\boldsymbol{X}^\top \boldsymbol{X})^{-1}| = \displaystyle\frac{1}{|\boldsymbol{X}^\top \boldsymbol{X}|}$ である。

両辺の対数をとると次のようになる。

\begin{equation}\log |\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top| = \log \frac{1}{|\boldsymbol{X}^\top \boldsymbol{X}|} = -\log |\boldsymbol{X}^\top \boldsymbol{X}|\label{eq:7-9-2-6}\end{equation}

したがって次の関係が成り立つ。

\begin{equation}\log |\boldsymbol{X}^\top \boldsymbol{X}| = -\log |\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top|\label{eq:7-9-2-7}\end{equation}

$\boldsymbol{X}^{+}$ による微分を考える。$\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top$ を $\boldsymbol{X}^{+}$ の関数として見ると、これは 7.9.1 と同様の形 $\boldsymbol{Y}^\top \boldsymbol{Y}$（$\boldsymbol{Y} = (\boldsymbol{X}^{+})^\top$）である。

7.9.1 より、$\displaystyle\frac{\partial \log |\boldsymbol{Y}^\top \boldsymbol{Y}|}{\partial \boldsymbol{Y}} = 2 \boldsymbol{Y} (\boldsymbol{Y}^\top \boldsymbol{Y})^{-1}$ である。

$\boldsymbol{Y} = (\boldsymbol{X}^{+})^\top$ と置くと、$\boldsymbol{Y}^\top = \boldsymbol{X}^{+}$ なので $\boldsymbol{Y}^\top \boldsymbol{Y} = \boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top$ である。

\eqref{eq:7-9-2-7}より、連鎖律を適用すると次のようになる。

\begin{equation}\frac{\partial \log |\boldsymbol{X}^\top \boldsymbol{X}|}{\partial \boldsymbol{X}^{+}} = -\frac{\partial \log |\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top|}{\partial \boldsymbol{X}^{+}}\label{eq:7-9-2-8}\end{equation}

$\log |\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top|$ を $\boldsymbol{X}^{+}$ で微分する。\eqref{eq:7-9-2-4}より $\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top = (\boldsymbol{X}^\top \boldsymbol{X})^{-1}$ であり、7.2 と同様の計算により次を得る。

\begin{equation}\frac{\partial \log |\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top|}{\partial \boldsymbol{X}^{+}} = 2 (\boldsymbol{X}^{+})^\top (\boldsymbol{X}^{+} (\boldsymbol{X}^{+})^\top)^{-1} = 2 (\boldsymbol{X}^{+})^\top (\boldsymbol{X}^\top \boldsymbol{X})\label{eq:7-9-2-9}\end{equation}

7.9.1 の\eqref{eq:7-9-1-8}より $(\boldsymbol{X}^{+})^\top = \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{X})^{-1}$ を代入すると次のようになる。

\begin{equation}2 (\boldsymbol{X}^{+})^\top (\boldsymbol{X}^\top \boldsymbol{X}) = 2 \boldsymbol{X} (\boldsymbol{X}^\top \boldsymbol{X})^{-1} (\boldsymbol{X}^\top \boldsymbol{X}) = 2 \boldsymbol{X}\label{eq:7-9-2-10}\end{equation}

\eqref{eq:7-9-2-8}に代入すると次のようになる。

\begin{equation}\frac{\partial \log |\boldsymbol{X}^\top \boldsymbol{X}|}{\partial \boldsymbol{X}^{+}} = -2 \boldsymbol{X}\label{eq:7-9-2-11}\end{equation}

分母レイアウトでは、結果は微分される変数と同じ形状をもつ。$\boldsymbol{X}^{+}$ は $N \times M$ なので、結果も $N \times M$ である必要がある。$\boldsymbol{X}$ は $M \times N$ なので、転置して最終結果を得る。

\begin{equation}\frac{\partial \log |\boldsymbol{X}^\top \boldsymbol{X}|}{\partial \boldsymbol{X}^{+}} = -2 \boldsymbol{X}^\top\label{eq:7-9-2-12}\end{equation}

証明

行列式の符号で場合分けする。正則行列 $\boldsymbol{X}$ に対して、$\det(\boldsymbol{X}) > 0$ または $\det(\boldsymbol{X}) < 0$ のいずれかである（$\det(\boldsymbol{X}) = 0$ は正則性に反する）。

Case 1: $\det(\boldsymbol{X}) > 0$ の場合

$|\det(\boldsymbol{X})| = \det(\boldsymbol{X})$ なので、次が成り立つ。

\begin{equation}\log |\det(\boldsymbol{X})| = \log \det(\boldsymbol{X})\label{eq:7-10-1}\end{equation}

7.2 より、$\log \det(\boldsymbol{X})$ の微分は次のようになる。

\begin{equation}\frac{\partial \log \det(\boldsymbol{X})}{\partial \boldsymbol{X}} = \boldsymbol{X}^{-\top}\label{eq:7-10-2}\end{equation}

したがって、$\det(\boldsymbol{X}) > 0$ のとき次が成り立つ。

\begin{equation}\frac{\partial \log |\det(\boldsymbol{X})|}{\partial \boldsymbol{X}} = \boldsymbol{X}^{-\top}\label{eq:7-10-3}\end{equation}

Case 2: $\det(\boldsymbol{X}) < 0$ の場合

$|\det(\boldsymbol{X})| = -\det(\boldsymbol{X})$ なので、次が成り立つ。

\begin{equation}\log |\det(\boldsymbol{X})| = \log(-\det(\boldsymbol{X}))\label{eq:7-10-4}\end{equation}

$\log(-\det(\boldsymbol{X}))$ を $\boldsymbol{X}$ で微分する。これは合成関数なので連鎖律を適用する。外側の関数が $\log$、内側の関数が $-\det(\boldsymbol{X})$ である。

外側の関数 $f(u) = \log(u)$ の微分は $f'(u) = \displaystyle\frac{1}{u}$ である。$u = -\det(\boldsymbol{X})$ を代入すると次のようになる。

\begin{equation}f'(-\det(\boldsymbol{X})) = \frac{1}{-\det(\boldsymbol{X})}\label{eq:7-10-5}\end{equation}

内側の関数 $g(\boldsymbol{X}) = -\det(\boldsymbol{X})$ の微分を計算する。7.1 より $\displaystyle\frac{\partial \det(\boldsymbol{X})}{\partial \boldsymbol{X}} = \det(\boldsymbol{X}) \boldsymbol{X}^{-\top}$ なので、次が成り立つ。

\begin{equation}\frac{\partial (-\det(\boldsymbol{X}))}{\partial \boldsymbol{X}} = -\det(\boldsymbol{X}) \boldsymbol{X}^{-\top}\label{eq:7-10-6}\end{equation}

連鎖律を適用する。\eqref{eq:7-10-5}と\eqref{eq:7-10-6}を掛け合わせると次のようになる。

\begin{equation}\frac{\partial \log(-\det(\boldsymbol{X}))}{\partial \boldsymbol{X}} = \frac{1}{-\det(\boldsymbol{X})} \cdot (-\det(\boldsymbol{X}) \boldsymbol{X}^{-\top})\label{eq:7-10-7}\end{equation}

$\displaystyle\frac{1}{-\det(\boldsymbol{X})}$ と $(-\det(\boldsymbol{X}))$ が打ち消し合い、次のようになる。

\begin{equation}\frac{\partial \log(-\det(\boldsymbol{X}))}{\partial \boldsymbol{X}} = \boldsymbol{X}^{-\top}\label{eq:7-10-8}\end{equation}

したがって、$\det(\boldsymbol{X}) < 0$ のときも次が成り立つ。

\begin{equation}\frac{\partial \log |\det(\boldsymbol{X})|}{\partial \boldsymbol{X}} = \boldsymbol{X}^{-\top}\label{eq:7-10-9}\end{equation}

\eqref{eq:7-10-3}と\eqref{eq:7-10-9}を合わせると、$\det(\boldsymbol{X}) \neq 0$ であれば行列式の符号によらず、常に同じ結果を得る。

\begin{equation}\frac{\partial \log |\det(\boldsymbol{X})|}{\partial \boldsymbol{X}} = \boldsymbol{X}^{-\top}\label{eq:7-10-10}\end{equation}