証明集 第14章: 行列連鎖律（基本公式）

証明

スカラ関数 $g(\boldsymbol{U})$ を考える。$\boldsymbol{U} = f(\boldsymbol{X})$ は行列 $\boldsymbol{X}$ の関数である。

$g$ は中間変数行列 $\boldsymbol{U}$ の全成分 $U_{kl}$（$k = 0, \ldots, M-1$、$l = 0, \ldots, N-1$）を通じてスカラ値を出力する。$g$ を $\boldsymbol{U}$ の成分の関数として明示的に書くと

\begin{equation}g = g(U_{00}, U_{01}, \ldots, U_{M-1,N-1}) \label{eq:14-1-1}\end{equation}

$\boldsymbol{X}$ の成分 $X_{ij}$ を微小量 $\Delta X_{ij}$ だけ変化させることを考える。この変化により、中間変数 $\boldsymbol{U}$ の各成分 $U_{kl}$ も変化する。

\begin{equation}\Delta U_{kl} = \dfrac{\partial U_{kl}}{\partial X_{ij}} \Delta X_{ij} + O((\Delta X_{ij})^2) \label{eq:14-1-2}\end{equation}

$g$ の変化量 $\Delta g$ を計算する。$g$ は $\boldsymbol{U}$ の全成分に依存するため、多変数関数の全微分を適用する。

\begin{equation}\Delta g = \displaystyle\sum_{k=0}^{M-1} \displaystyle\sum_{l=0}^{N-1} \dfrac{\partial g}{\partial U_{kl}} \Delta U_{kl} + O((\Delta U_{kl})^2) \label{eq:14-1-3}\end{equation}

$\eqref{eq:14-1-2}$ を $\eqref{eq:14-1-3}$ に代入する。

\begin{equation}\Delta g = \displaystyle\sum_{k=0}^{M-1} \displaystyle\sum_{l=0}^{N-1} \dfrac{\partial g}{\partial U_{kl}} \dfrac{\partial U_{kl}}{\partial X_{ij}} \Delta X_{ij} + O((\Delta X_{ij})^2) \label{eq:14-1-4}\end{equation}

$\eqref{eq:14-1-4}$ を $\Delta X_{ij}$ で割り、$\Delta X_{ij} \to 0$ の極限を取る。

\begin{equation}\dfrac{\partial g}{\partial X_{ij}} = \lim_{\Delta X_{ij} \to 0} \dfrac{\Delta g}{\Delta X_{ij}} = \displaystyle\sum_{k=0}^{M-1} \displaystyle\sum_{l=0}^{N-1} \dfrac{\partial g}{\partial U_{kl}} \dfrac{\partial U_{kl}}{\partial X_{ij}} \label{eq:14-1-5}\end{equation}

$\eqref{eq:14-1-5}$ が行列連鎖律の成分形式である。

証明

14.1 の $\eqref{eq:14-1-5}$ より、連鎖律の成分形式は

\begin{equation}\dfrac{\partial g}{\partial X_{ij}} = \displaystyle\sum_{k=0}^{M-1} \displaystyle\sum_{l=0}^{N-1} \dfrac{\partial g}{\partial U_{kl}} \dfrac{\partial U_{kl}}{\partial X_{ij}} \label{eq:14-2-1}\end{equation}

2つの行列を定義する。勾配行列を $\boldsymbol{G}$、微分行列を $\boldsymbol{H}^{ij}$ とする。

\begin{equation}\boldsymbol{G} = \dfrac{\partial g}{\partial \boldsymbol{U}} \in \mathbb{R}^{M \times N}, \quad G_{kl} = \dfrac{\partial g}{\partial U_{kl}} \label{eq:14-2-2}\end{equation}

\begin{equation}\boldsymbol{H}^{ij} = \dfrac{\partial \boldsymbol{U}}{\partial X_{ij}} \in \mathbb{R}^{M \times N}, \quad H^{ij}_{kl} = \dfrac{\partial U_{kl}}{\partial X_{ij}} \label{eq:14-2-3}\end{equation}

$\eqref{eq:14-2-1}$ を $\eqref{eq:14-2-2}$ と $\eqref{eq:14-2-3}$ を用いて書き換える。

\begin{equation}\dfrac{\partial g}{\partial X_{ij}} = \displaystyle\sum_{k=0}^{M-1} \displaystyle\sum_{l=0}^{N-1} G_{kl} H^{ij}_{kl} \label{eq:14-2-4}\end{equation}

$\eqref{eq:14-2-4}$ の右辺は2つの行列 $\boldsymbol{G}$ と $\boldsymbol{H}^{ij}$ の要素ごとの積の総和（Frobenius内積）である。

Frobenius内積 $\langle \boldsymbol{G}, \boldsymbol{H}^{ij} \rangle_F$ はトレースを用いて表現できることを示す。まず、行列積 $\boldsymbol{G}^\top \boldsymbol{H}^{ij}$ の $(p, q)$ 成分を計算する。転置行列の定義 $(\boldsymbol{G}^\top)_{pk} = G_{kp}$ と行列積の定義より

\begin{equation}(\boldsymbol{G}^\top \boldsymbol{H}^{ij})_{pq} = \displaystyle\sum_{k=0}^{M-1} (\boldsymbol{G}^\top)_{pk} H^{ij}_{kq} = \displaystyle\sum_{k=0}^{M-1} G_{kp} H^{ij}_{kq} \label{eq:14-2-5}\end{equation}

行列 $\boldsymbol{G}^\top \boldsymbol{H}^{ij}$ のトレースを計算する。$\boldsymbol{G} \in \mathbb{R}^{M \times N}$、$\boldsymbol{H}^{ij} \in \mathbb{R}^{M \times N}$ であるから、$\boldsymbol{G}^\top \in \mathbb{R}^{N \times M}$ となり、行列積 $\boldsymbol{G}^\top \boldsymbol{H}^{ij} \in \mathbb{R}^{N \times N}$ である。トレースの定義（対角成分の和）より

\begin{equation}\text{tr}(\boldsymbol{G}^\top \boldsymbol{H}^{ij}) = \displaystyle\sum_{l=0}^{N-1} (\boldsymbol{G}^\top \boldsymbol{H}^{ij})_{ll} \label{eq:14-2-6a}\end{equation}

$\eqref{eq:14-2-5}$ で $p = q = l$ とおくと

\begin{equation}(\boldsymbol{G}^\top \boldsymbol{H}^{ij})_{ll} = \displaystyle\sum_{k=0}^{M-1} G_{kl} H^{ij}_{kl} \label{eq:14-2-6b}\end{equation}

$\eqref{eq:14-2-6b}$ を $\eqref{eq:14-2-6a}$ に代入すると

\begin{equation}\text{tr}(\boldsymbol{G}^\top \boldsymbol{H}^{ij}) = \displaystyle\sum_{l=0}^{N-1} \displaystyle\sum_{k=0}^{M-1} G_{kl} H^{ij}_{kl} \label{eq:14-2-6}\end{equation}

$\eqref{eq:14-2-6}$ と $\eqref{eq:14-2-4}$ を比較すると、両者は等しいことがわかる。

\begin{equation}\dfrac{\partial g}{\partial X_{ij}} = \text{tr}(\boldsymbol{G}^\top \boldsymbol{H}^{ij}) = \text{tr}\left[\left(\dfrac{\partial g}{\partial \boldsymbol{U}}\right)^\top \dfrac{\partial \boldsymbol{U}}{\partial X_{ij}}\right] \label{eq:14-2-7}\end{equation}

$\eqref{eq:14-2-7}$ が行列連鎖律のトレース形式である。