10. 二次形式の微分

証明

二次形式 $\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a}$ を成分で展開する。まず $\boldsymbol{X} \boldsymbol{a}$ の第 $i$ 成分は

\begin{equation}(\boldsymbol{X} \boldsymbol{a})_i = \sum_{j=1}^{N} X_{ij} a_j \label{eq:10-1-1}\end{equation}

である。これに左から $\boldsymbol{a}^\top$ を掛けると

\begin{equation}\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a} = \sum_{i=1}^{N} a_i (\boldsymbol{X} \boldsymbol{a})_i \label{eq:10-1-2}\end{equation}

$\eqref{eq:10-1-1}$ を $\eqref{eq:10-1-2}$ に代入する。

\begin{equation}\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a} = \sum_{i=1}^{N} a_i \sum_{j=1}^{N} X_{ij} a_j = \sum_{i=1}^{N} \sum_{j=1}^{N} a_i X_{ij} a_j \label{eq:10-1-3}\end{equation}

$\eqref{eq:10-1-3}$ を行列成分 $X_{mn}$ で偏微分する。$a_i$ と $a_j$ は定数なので、微分は $X_{ij}$ にのみ作用する。

\begin{equation}\frac{\partial}{\partial X_{mn}} (\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a}) = \sum_{i=1}^{N} \sum_{j=1}^{N} a_i \frac{\partial X_{ij}}{\partial X_{mn}} a_j \label{eq:10-1-4}\end{equation}

$X_{ij}$ と $X_{mn}$ は独立な変数であり、$(i, j) = (m, n)$ のときのみ $\displaystyle\frac{\partial X_{ij}}{\partial X_{mn}} = 1$ となる。それ以外は 0 である。

\begin{equation}\frac{\partial X_{ij}}{\partial X_{mn}} = \delta_{im} \delta_{jn} \label{eq:10-1-5}\end{equation}

$\eqref{eq:10-1-5}$ を $\eqref{eq:10-1-4}$ に代入する。

\begin{equation}\frac{\partial}{\partial X_{mn}} (\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a}) = \sum_{i=1}^{N} \sum_{j=1}^{N} a_i \delta_{im} \delta_{jn} a_j \label{eq:10-1-6}\end{equation}

$\delta_{im}$ は $i = m$ のときのみ 1 なので、$i$ についての和から $i = m$ の項だけが残る。

\begin{equation}\sum_{i=1}^{N} a_i \delta_{im} = a_m \label{eq:10-1-7}\end{equation}

同様に $\delta_{jn}$ は $j = n$ のときのみ 1 なので、$j$ についての和から $j = n$ の項だけが残る。

\begin{equation}\sum_{j=1}^{N} \delta_{jn} a_j = a_n \label{eq:10-1-8}\end{equation}

$\eqref{eq:10-1-7}$ と $\eqref{eq:10-1-8}$ を $\eqref{eq:10-1-6}$ に適用する。

\begin{equation}\frac{\partial}{\partial X_{mn}} (\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a}) = a_m a_n \label{eq:10-1-9}\end{equation}

外積 $\boldsymbol{a} \boldsymbol{a}^\top$ の $(m, n)$ 成分を計算する。$\boldsymbol{a}$ は列ベクトル、$\boldsymbol{a}^\top$ は行ベクトルなので、その積は行列となる。

\begin{equation}(\boldsymbol{a} \boldsymbol{a}^\top)_{mn} = a_m a_n \label{eq:10-1-10}\end{equation}

$\eqref{eq:10-1-9}$ と $\eqref{eq:10-1-10}$ を比較すると、すべての $(m, n)$ について $\displaystyle\frac{\partial}{\partial X_{mn}} (\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a}) = (\boldsymbol{a} \boldsymbol{a}^\top)_{mn}$ が成り立つ。行列形式で書くと

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} (\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a}) = \boldsymbol{a} \boldsymbol{a}^\top \label{eq:10-1-11}\end{equation}

証明

行列 $\boldsymbol{X}$ の全成分の和を $s$ とおく。

\begin{equation}s = \sum_{k=1}^{M} \sum_{l=1}^{N} X_{kl} \label{eq:10-2-1}\end{equation}

ここで $\boldsymbol{X}$ は $M \times N$ 行列である。

$s^2$ を $X_{ij}$ で偏微分する。$s^2$ は $s$ の合成関数なので、連鎖律（1.26）を適用する。

\begin{equation}\frac{\partial s^2}{\partial X_{ij}} = \frac{d(s^2)}{ds} \cdot \frac{\partial s}{\partial X_{ij}} \label{eq:10-2-2}\end{equation}

外側の関数 $f(s) = s^2$ を $s$ で微分する。

\begin{equation}\frac{d(s^2)}{ds} = 2s \label{eq:10-2-3}\end{equation}

内側の関数 $s = \sum_{k,l} X_{kl}$ を $X_{ij}$ で偏微分する。各 $X_{kl}$ は独立な変数なので、$(k, l) = (i, j)$ の項だけが 1 の微分を与え、他は 0 である。

\begin{equation}\frac{\partial s}{\partial X_{ij}} = \sum_{k=1}^{M} \sum_{l=1}^{N} \frac{\partial X_{kl}}{\partial X_{ij}} = \sum_{k=1}^{M} \sum_{l=1}^{N} \delta_{ki} \delta_{lj} = 1 \label{eq:10-2-4}\end{equation}

$\eqref{eq:10-2-3}$ と $\eqref{eq:10-2-4}$ を $\eqref{eq:10-2-2}$ に代入する。

\begin{equation}\frac{\partial s^2}{\partial X_{ij}} = 2s \cdot 1 = 2s \label{eq:10-2-5}\end{equation}

$\eqref{eq:10-2-1}$ を $\eqref{eq:10-2-5}$ に代入して最終結果を得る。

\begin{equation}\frac{\partial}{\partial X_{ij}} \left(\sum_{k,l} X_{kl}\right)^2 = 2 \sum_{k,l} X_{kl} \label{eq:10-2-6}\end{equation}

証明

$\boldsymbol{X} \in \mathbb{R}^{M \times N}$、$\boldsymbol{b}, \boldsymbol{c} \in \mathbb{R}^N$ とする。Gram行列 $\boldsymbol{X}^\top \boldsymbol{X} \in \mathbb{R}^{N \times N}$ に対する双線形形式を成分で展開する。

まず $\boldsymbol{X}^\top \boldsymbol{X}$ の $(i, k)$ 成分を計算する。

\begin{equation}(\boldsymbol{X}^\top \boldsymbol{X})_{ik} = \sum_{j=1}^{M} (\boldsymbol{X}^\top)_{ij} X_{jk} = \sum_{j=1}^{M} X_{ji} X_{jk} \label{eq:10-3-1}\end{equation}

次に $\boldsymbol{b}^\top \boldsymbol{X}^\top \boldsymbol{X} \boldsymbol{c}$ を成分で展開する。

\begin{equation}\boldsymbol{b}^\top \boldsymbol{X}^\top \boldsymbol{X} \boldsymbol{c} = \sum_{i=1}^{N} \sum_{k=1}^{N} b_i (\boldsymbol{X}^\top \boldsymbol{X})_{ik} c_k \label{eq:10-3-2}\end{equation}

$\eqref{eq:10-3-1}$ を $\eqref{eq:10-3-2}$ に代入する。

\begin{equation}\boldsymbol{b}^\top \boldsymbol{X}^\top \boldsymbol{X} \boldsymbol{c} = \sum_{i=1}^{N} \sum_{k=1}^{N} \sum_{j=1}^{M} b_i X_{ji} X_{jk} c_k \label{eq:10-3-3}\end{equation}

$\eqref{eq:10-3-3}$ を $X_{mn}$ で偏微分する。$b_i$ と $c_k$ は定数なので、微分は $X_{ji}$ と $X_{jk}$ にのみ作用する。積 $X_{ji} X_{jk}$ に積の微分法則（1.25）を適用する。

\begin{equation}\frac{\partial}{\partial X_{mn}} (X_{ji} X_{jk}) = \frac{\partial X_{ji}}{\partial X_{mn}} X_{jk} + X_{ji} \frac{\partial X_{jk}}{\partial X_{mn}} \label{eq:10-3-4}\end{equation}

$\displaystyle\frac{\partial X_{ji}}{\partial X_{mn}} = \delta_{jm} \delta_{in}$ であり、$(j, i) = (m, n)$ のときのみ 1 である。

\begin{equation}\frac{\partial X_{ji}}{\partial X_{mn}} = \delta_{jm} \delta_{in} \label{eq:10-3-5}\end{equation}

同様に $\displaystyle\frac{\partial X_{jk}}{\partial X_{mn}} = \delta_{jm} \delta_{kn}$ である。

\begin{equation}\frac{\partial X_{jk}}{\partial X_{mn}} = \delta_{jm} \delta_{kn} \label{eq:10-3-6}\end{equation}

$\eqref{eq:10-3-5}$ と $\eqref{eq:10-3-6}$ を $\eqref{eq:10-3-4}$ に代入する。

\begin{equation}\frac{\partial}{\partial X_{mn}} (X_{ji} X_{jk}) = \delta_{jm} \delta_{in} X_{jk} + X_{ji} \delta_{jm} \delta_{kn} \label{eq:10-3-7}\end{equation}

$\eqref{eq:10-3-3}$ の微分を計算する。$\eqref{eq:10-3-7}$ を代入する。

\begin{equation}\frac{\partial}{\partial X_{mn}} (\boldsymbol{b}^\top \boldsymbol{X}^\top \boldsymbol{X} \boldsymbol{c}) = \sum_{i,k,j} b_i (\delta_{jm} \delta_{in} X_{jk} + X_{ji} \delta_{jm} \delta_{kn}) c_k \label{eq:10-3-8}\end{equation}

第1項と第2項を分離する。

\begin{equation}\frac{\partial}{\partial X_{mn}} = \sum_{i,k,j} b_i \delta_{jm} \delta_{in} X_{jk} c_k + \sum_{i,k,j} b_i X_{ji} \delta_{jm} \delta_{kn} c_k \label{eq:10-3-9}\end{equation}

第1項を計算する。$\delta_{jm}$ により $j = m$ の項のみ残り、$\delta_{in}$ により $i = n$ の項のみ残る。

\begin{equation}\sum_{i,k,j} b_i \delta_{jm} \delta_{in} X_{jk} c_k = b_n \sum_{k=1}^{N} X_{mk} c_k = b_n (\boldsymbol{X} \boldsymbol{c})_m \label{eq:10-3-10}\end{equation}

第2項を計算する。$\delta_{jm}$ により $j = m$ の項のみ残り、$\delta_{kn}$ により $k = n$ の項のみ残る。

\begin{equation}\sum_{i,k,j} b_i X_{ji} \delta_{jm} \delta_{kn} c_k = c_n \sum_{i=1}^{N} b_i X_{mi} = c_n (\boldsymbol{X} \boldsymbol{b})_m \label{eq:10-3-11}\end{equation}

$\eqref{eq:10-3-10}$ と $\eqref{eq:10-3-11}$ を $\eqref{eq:10-3-9}$ に代入する。

\begin{equation}\frac{\partial}{\partial X_{mn}} (\boldsymbol{b}^\top \boldsymbol{X}^\top \boldsymbol{X} \boldsymbol{c}) = b_n (\boldsymbol{X} \boldsymbol{c})_m + c_n (\boldsymbol{X} \boldsymbol{b})_m \label{eq:10-3-12}\end{equation}

$\eqref{eq:10-3-12}$ を行列形式で書く。外積 $\boldsymbol{u} \boldsymbol{v}^\top$ の $(m, n)$ 成分は $u_m v_n$ である。

\begin{equation}(\boldsymbol{X} \boldsymbol{c})_m b_n = (\boldsymbol{X} \boldsymbol{c} \boldsymbol{b}^\top)_{mn}, \quad (\boldsymbol{X} \boldsymbol{b})_m c_n = (\boldsymbol{X} \boldsymbol{b} \boldsymbol{c}^\top)_{mn} \label{eq:10-3-13}\end{equation}

行列形式で最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} (\boldsymbol{b}^\top \boldsymbol{X}^\top \boldsymbol{X} \boldsymbol{c}) = \boldsymbol{X} (\boldsymbol{b} \boldsymbol{c}^\top + \boldsymbol{c} \boldsymbol{b}^\top) \label{eq:10-3-14}\end{equation}

証明

$\boldsymbol{u} = \boldsymbol{B}\boldsymbol{x} + \boldsymbol{b}$ および $\boldsymbol{v} = \boldsymbol{D}\boldsymbol{x} + \boldsymbol{d}$ とする。スカラ関数 $f = \boldsymbol{u}^\top \boldsymbol{C} \boldsymbol{v}$ を成分で展開する。

\begin{equation}f = \boldsymbol{u}^\top \boldsymbol{C} \boldsymbol{v} = \sum_{i=1}^{m} \sum_{j=1}^{n} u_i C_{ij} v_j \label{eq:10-4-1}\end{equation}

ここで $\boldsymbol{u} \in \mathbb{R}^m$、$\boldsymbol{v} \in \mathbb{R}^n$、$\boldsymbol{C} \in \mathbb{R}^{m \times n}$ である。

$f$ を $x_k$ で偏微分する。$C_{ij}$ は定数なので、連鎖律（1.26）により $u_i$ と $v_j$ の微分を考える。

\begin{equation}\frac{\partial f}{\partial x_k} = \sum_{i,j} \frac{\partial u_i}{\partial x_k} C_{ij} v_j + \sum_{i,j} u_i C_{ij} \frac{\partial v_j}{\partial x_k} \label{eq:10-4-2}\end{equation}

$\boldsymbol{u} = \boldsymbol{B}\boldsymbol{x} + \boldsymbol{b}$ より、$u_i = \sum_l B_{il} x_l + b_i$ である。これを $x_k$ で微分する。

\begin{equation}\frac{\partial u_i}{\partial x_k} = \sum_l B_{il} \frac{\partial x_l}{\partial x_k} = \sum_l B_{il} \delta_{lk} = B_{ik} \label{eq:10-4-3}\end{equation}

同様に $\boldsymbol{v} = \boldsymbol{D}\boldsymbol{x} + \boldsymbol{d}$ より、$v_j = \sum_l D_{jl} x_l + d_j$ である。これを $x_k$ で微分する。

\begin{equation}\frac{\partial v_j}{\partial x_k} = D_{jk} \label{eq:10-4-4}\end{equation}

$\eqref{eq:10-4-3}$ と $\eqref{eq:10-4-4}$ を $\eqref{eq:10-4-2}$ に代入する。

\begin{equation}\frac{\partial f}{\partial x_k} = \sum_{i,j} B_{ik} C_{ij} v_j + \sum_{i,j} u_i C_{ij} D_{jk} \label{eq:10-4-5}\end{equation}

第1項を計算する。まず $j$ についての和を実行する。$\sum_j C_{ij} v_j = (\boldsymbol{C} \boldsymbol{v})_i$ である。

\begin{equation}\sum_{i,j} B_{ik} C_{ij} v_j = \sum_i B_{ik} (\boldsymbol{C} \boldsymbol{v})_i \label{eq:10-4-6}\end{equation}

$\eqref{eq:10-4-6}$ の和を行列積として書く。$B_{ik} = (\boldsymbol{B}^\top)_{ki}$ に注意すると

\begin{equation}\sum_i B_{ik} (\boldsymbol{C} \boldsymbol{v})_i = \sum_i (\boldsymbol{B}^\top)_{ki} (\boldsymbol{C} \boldsymbol{v})_i = (\boldsymbol{B}^\top \boldsymbol{C} \boldsymbol{v})_k \label{eq:10-4-7}\end{equation}

第2項を計算する。まず $i$ についての和を実行する。$\sum_i u_i C_{ij} = (\boldsymbol{u}^\top \boldsymbol{C})_j = (\boldsymbol{C}^\top \boldsymbol{u})_j$ である。

\begin{equation}\sum_{i,j} u_i C_{ij} D_{jk} = \sum_j (\boldsymbol{C}^\top \boldsymbol{u})_j D_{jk} \label{eq:10-4-8}\end{equation}

$\eqref{eq:10-4-8}$ の和を行列積として書く。$D_{jk} = (\boldsymbol{D}^\top)_{kj}$ に注意すると

\begin{equation}\sum_j (\boldsymbol{C}^\top \boldsymbol{u})_j D_{jk} = \sum_j (\boldsymbol{D}^\top)_{kj} (\boldsymbol{C}^\top \boldsymbol{u})_j = (\boldsymbol{D}^\top \boldsymbol{C}^\top \boldsymbol{u})_k \label{eq:10-4-9}\end{equation}

$\eqref{eq:10-4-7}$ と $\eqref{eq:10-4-9}$ を $\eqref{eq:10-4-5}$ に代入する。

\begin{equation}\frac{\partial f}{\partial x_k} = (\boldsymbol{B}^\top \boldsymbol{C} \boldsymbol{v})_k + (\boldsymbol{D}^\top \boldsymbol{C}^\top \boldsymbol{u})_k \label{eq:10-4-10}\end{equation}

$\eqref{eq:10-4-10}$ をベクトル形式で書く。

\begin{equation}\frac{\partial f}{\partial \boldsymbol{x}} = \boldsymbol{B}^\top \boldsymbol{C} \boldsymbol{v} + \boldsymbol{D}^\top \boldsymbol{C}^\top \boldsymbol{u} \label{eq:10-4-11}\end{equation}

$\boldsymbol{u} = \boldsymbol{B}\boldsymbol{x} + \boldsymbol{b}$ と $\boldsymbol{v} = \boldsymbol{D}\boldsymbol{x} + \boldsymbol{d}$ を代入して最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{x}} (\boldsymbol{u}^\top \boldsymbol{C} \boldsymbol{v}) = \boldsymbol{B}^\top \boldsymbol{C} (\boldsymbol{D}\boldsymbol{x} + \boldsymbol{d}) + \boldsymbol{D}^\top \boldsymbol{C}^\top (\boldsymbol{B}\boldsymbol{x} + \boldsymbol{b}) \label{eq:10-4-12}\end{equation}

証明

$\boldsymbol{X} \in \mathbb{R}^{M \times N}$、$\boldsymbol{B} \in \mathbb{R}^{M \times M}$ とする。結果の行列 $\boldsymbol{X}^\top \boldsymbol{B} \boldsymbol{X} \in \mathbb{R}^{N \times N}$ の $(k, l)$ 成分を計算する。

まず $\boldsymbol{B} \boldsymbol{X}$ の $(p, l)$ 成分を計算する。

\begin{equation}(\boldsymbol{B} \boldsymbol{X})_{pl} = \sum_{q=1}^{M} B_{pq} X_{ql} \label{eq:10-5-1}\end{equation}

次に $\boldsymbol{X}^\top \boldsymbol{B} \boldsymbol{X}$ の $(k, l)$ 成分を計算する。$(\boldsymbol{X}^\top)_{kp} = X_{pk}$ に注意する。

\begin{equation}(\boldsymbol{X}^\top \boldsymbol{B} \boldsymbol{X})_{kl} = \sum_{p=1}^{M} (\boldsymbol{X}^\top)_{kp} (\boldsymbol{B} \boldsymbol{X})_{pl} = \sum_{p=1}^{M} X_{pk} (\boldsymbol{B} \boldsymbol{X})_{pl} \label{eq:10-5-2}\end{equation}

$\eqref{eq:10-5-1}$ を $\eqref{eq:10-5-2}$ に代入する。

\begin{equation}(\boldsymbol{X}^\top \boldsymbol{B} \boldsymbol{X})_{kl} = \sum_{p=1}^{M} X_{pk} \sum_{q=1}^{M} B_{pq} X_{ql} = \sum_{p=1}^{M} \sum_{q=1}^{M} X_{pk} B_{pq} X_{ql} \label{eq:10-5-3}\end{equation}

$\eqref{eq:10-5-3}$ を $X_{ij}$ で偏微分する。$B_{pq}$ は定数なので、$X_{pk}$ と $X_{ql}$ のみが微分の対象である。積の微分法則（1.25）を適用する。

\begin{equation}\frac{\partial}{\partial X_{ij}} (X_{pk} B_{pq} X_{ql}) = \frac{\partial X_{pk}}{\partial X_{ij}} B_{pq} X_{ql} + X_{pk} B_{pq} \frac{\partial X_{ql}}{\partial X_{ij}} \label{eq:10-5-4}\end{equation}

$\displaystyle\frac{\partial X_{pk}}{\partial X_{ij}}$ は $(p, k) = (i, j)$ のときのみ 1、それ以外は 0 である。

\begin{equation}\frac{\partial X_{pk}}{\partial X_{ij}} = \delta_{pi} \delta_{kj} \label{eq:10-5-5}\end{equation}

同様に $\displaystyle\frac{\partial X_{ql}}{\partial X_{ij}}$ は $(q, l) = (i, j)$ のときのみ 1 である。

\begin{equation}\frac{\partial X_{ql}}{\partial X_{ij}} = \delta_{qi} \delta_{lj} \label{eq:10-5-6}\end{equation}

$\eqref{eq:10-5-5}$ と $\eqref{eq:10-5-6}$ を $\eqref{eq:10-5-4}$ に代入する。

\begin{equation}\frac{\partial}{\partial X_{ij}} (X_{pk} B_{pq} X_{ql}) = \delta_{pi} \delta_{kj} B_{pq} X_{ql} + X_{pk} B_{pq} \delta_{qi} \delta_{lj} \label{eq:10-5-7}\end{equation}

$\eqref{eq:10-5-3}$ の微分を計算する。$\eqref{eq:10-5-7}$ を代入して和を取る。

\begin{equation}\frac{\partial (\boldsymbol{X}^\top \boldsymbol{B} \boldsymbol{X})_{kl}}{\partial X_{ij}} = \sum_{p,q} \delta_{pi} \delta_{kj} B_{pq} X_{ql} + \sum_{p,q} X_{pk} B_{pq} \delta_{qi} \delta_{lj} \label{eq:10-5-8}\end{equation}

第1項を計算する。$\delta_{pi}$ により $p = i$ の項のみ残り、$\delta_{kj}$ は $k = j$ のときのみ 1 である。

\begin{equation}\sum_{p,q} \delta_{pi} \delta_{kj} B_{pq} X_{ql} = \delta_{kj} \sum_{q} B_{iq} X_{ql} = \delta_{kj} (\boldsymbol{B} \boldsymbol{X})_{il} \label{eq:10-5-9}\end{equation}

第2項を計算する。$\delta_{qi}$ により $q = i$ の項のみ残り、$\delta_{lj}$ は $l = j$ のときのみ 1 である。

\begin{equation}\sum_{p,q} X_{pk} B_{pq} \delta_{qi} \delta_{lj} = \delta_{lj} \sum_{p} X_{pk} B_{pi} \label{eq:10-5-10}\end{equation}

$\eqref{eq:10-5-10}$ の和を行列積として書く。$\sum_p X_{pk} B_{pi} = \sum_p (\boldsymbol{X}^\top)_{kp} B_{pi} = (\boldsymbol{X}^\top \boldsymbol{B})_{ki}$ である。

\begin{equation}\delta_{lj} \sum_{p} X_{pk} B_{pi} = \delta_{lj} (\boldsymbol{X}^\top \boldsymbol{B})_{ki} \label{eq:10-5-11}\end{equation}

$\eqref{eq:10-5-9}$ と $\eqref{eq:10-5-11}$ を $\eqref{eq:10-5-8}$ に代入する。

\begin{equation}\frac{\partial (\boldsymbol{X}^\top \boldsymbol{B} \boldsymbol{X})_{kl}}{\partial X_{ij}} = \delta_{kj} (\boldsymbol{B} \boldsymbol{X})_{il} + \delta_{lj} (\boldsymbol{X}^\top \boldsymbol{B})_{ki} \label{eq:10-5-12}\end{equation}

単位行列 $\boldsymbol{J}^{ij}$ は $(i, j)$ 成分のみ 1、他は 0 である行列（単一要素行列）である。その転置 $\boldsymbol{J}^{ji}$ は $(j, i)$ 成分のみ 1 である。

$(\boldsymbol{X}^\top \boldsymbol{B} \boldsymbol{J}^{ij})_{kl}$ を計算する。$\boldsymbol{J}^{ij}$ の第 $l$ 列は $l = j$ のとき $\boldsymbol{e}_i$（第 $i$ 標準基底ベクトル）、それ以外は零ベクトルである。

\begin{equation}(\boldsymbol{X}^\top \boldsymbol{B} \boldsymbol{J}^{ij})_{kl} = \sum_{m} (\boldsymbol{X}^\top \boldsymbol{B})_{km} J^{ij}_{ml} = (\boldsymbol{X}^\top \boldsymbol{B})_{ki} \delta_{lj} \label{eq:10-5-13}\end{equation}

$(\boldsymbol{J}^{ji} \boldsymbol{B} \boldsymbol{X})_{kl}$ を計算する。$\boldsymbol{J}^{ji}$ の第 $k$ 行は $k = j$ のとき $\boldsymbol{e}_i^\top$、それ以外は零ベクトルである。

\begin{equation}(\boldsymbol{J}^{ji} \boldsymbol{B} \boldsymbol{X})_{kl} = \sum_{m} J^{ji}_{km} (\boldsymbol{B} \boldsymbol{X})_{ml} = \delta_{kj} (\boldsymbol{B} \boldsymbol{X})_{il} \label{eq:10-5-14}\end{equation}

$\eqref{eq:10-5-12}$、$\eqref{eq:10-5-13}$、$\eqref{eq:10-5-14}$ を比較すると、すべての $(k, l)$ について一致する。

\begin{equation}\frac{\partial (\boldsymbol{X}^\top \boldsymbol{B} \boldsymbol{X})}{\partial X_{ij}} = \boldsymbol{X}^\top \boldsymbol{B} \boldsymbol{J}^{ij} + \boldsymbol{J}^{ji} \boldsymbol{B} \boldsymbol{X} \label{eq:10-5-15}\end{equation}

証明

スカラ関数 $f = \boldsymbol{x}^\top \boldsymbol{B} \boldsymbol{x}$ を成分で展開する。まず $\boldsymbol{B} \boldsymbol{x}$ の第 $i$ 成分は

\begin{equation}(\boldsymbol{B} \boldsymbol{x})_i = \sum_{j=1}^{n} B_{ij} x_j \label{eq:10-6-1}\end{equation}

これに左から $\boldsymbol{x}^\top$ を掛けると

\begin{equation}f = \boldsymbol{x}^\top \boldsymbol{B} \boldsymbol{x} = \sum_{i=1}^{n} x_i (\boldsymbol{B} \boldsymbol{x})_i \label{eq:10-6-2}\end{equation}

$\eqref{eq:10-6-1}$ を $\eqref{eq:10-6-2}$ に代入する。

\begin{equation}f = \sum_{i=1}^{n} x_i \sum_{j=1}^{n} B_{ij} x_j = \sum_{i=1}^{n} \sum_{j=1}^{n} x_i B_{ij} x_j \label{eq:10-6-3}\end{equation}

$\eqref{eq:10-6-3}$ を $x_k$ で偏微分する。$B_{ij}$ は定数なので、$x_i$ と $x_j$ のみが微分の対象である。積 $x_i B_{ij} x_j$ に積の微分法則（1.25）を適用する。

\begin{equation}\frac{\partial}{\partial x_k} (x_i B_{ij} x_j) = \frac{\partial x_i}{\partial x_k} B_{ij} x_j + x_i B_{ij} \frac{\partial x_j}{\partial x_k} \label{eq:10-6-4}\end{equation}

$\displaystyle\frac{\partial x_i}{\partial x_k}$ は $i = k$ のときのみ 1、それ以外は 0 である。

\begin{equation}\frac{\partial x_i}{\partial x_k} = \delta_{ik} \label{eq:10-6-5}\end{equation}

同様に $\displaystyle\frac{\partial x_j}{\partial x_k} = \delta_{jk}$ である。

\begin{equation}\frac{\partial x_j}{\partial x_k} = \delta_{jk} \label{eq:10-6-6}\end{equation}

$\eqref{eq:10-6-5}$ と $\eqref{eq:10-6-6}$ を $\eqref{eq:10-6-4}$ に代入する。

\begin{equation}\frac{\partial}{\partial x_k} (x_i B_{ij} x_j) = \delta_{ik} B_{ij} x_j + x_i B_{ij} \delta_{jk} \label{eq:10-6-7}\end{equation}

$\eqref{eq:10-6-3}$ の微分を計算する。$\eqref{eq:10-6-7}$ を代入して和を取る。

\begin{equation}\frac{\partial f}{\partial x_k} = \sum_{i,j} \delta_{ik} B_{ij} x_j + \sum_{i,j} x_i B_{ij} \delta_{jk} \label{eq:10-6-8}\end{equation}

第1項を計算する。$\delta_{ik}$ により $i = k$ の項のみ残る。

\begin{equation}\sum_{i,j} \delta_{ik} B_{ij} x_j = \sum_{j} B_{kj} x_j = (\boldsymbol{B} \boldsymbol{x})_k \label{eq:10-6-9}\end{equation}

第2項を計算する。$\delta_{jk}$ により $j = k$ の項のみ残る。

\begin{equation}\sum_{i,j} x_i B_{ij} \delta_{jk} = \sum_{i} x_i B_{ik} \label{eq:10-6-10}\end{equation}

$\eqref{eq:10-6-10}$ を行列積として書く。$\sum_i x_i B_{ik} = \sum_i B_{ik} x_i = \sum_i (\boldsymbol{B}^\top)_{ki} x_i = (\boldsymbol{B}^\top \boldsymbol{x})_k$ である。

\begin{equation}\sum_{i} x_i B_{ik} = (\boldsymbol{B}^\top \boldsymbol{x})_k \label{eq:10-6-11}\end{equation}

$\eqref{eq:10-6-9}$ と $\eqref{eq:10-6-11}$ を $\eqref{eq:10-6-8}$ に代入する。

\begin{equation}\frac{\partial f}{\partial x_k} = (\boldsymbol{B} \boldsymbol{x})_k + (\boldsymbol{B}^\top \boldsymbol{x})_k \label{eq:10-6-12}\end{equation}

$\eqref{eq:10-6-12}$ の右辺をまとめる。行列の和の成分は成分の和に等しい。

\begin{equation}\frac{\partial f}{\partial x_k} = ((\boldsymbol{B} + \boldsymbol{B}^\top) \boldsymbol{x})_k \label{eq:10-6-13}\end{equation}

$\eqref{eq:10-6-13}$ はすべての $k = 1, \ldots, n$ について成り立つので、ベクトル形式で書くと

\begin{equation}\frac{\partial}{\partial \boldsymbol{x}} (\boldsymbol{x}^\top \boldsymbol{B} \boldsymbol{x}) = (\boldsymbol{B} + \boldsymbol{B}^\top) \boldsymbol{x} \label{eq:10-6-14}\end{equation}

証明

$\boldsymbol{u} = \boldsymbol{X}\boldsymbol{b} \in \mathbb{R}^m$ および $\boldsymbol{v} = \boldsymbol{X}\boldsymbol{c} \in \mathbb{R}^m$ とおく。スカラ関数 $f = \boldsymbol{u}^\top \boldsymbol{D} \boldsymbol{v}$ を成分で展開する。

まず $\boldsymbol{D} \boldsymbol{v}$ の第 $p$ 成分は

\begin{equation}(\boldsymbol{D} \boldsymbol{v})_p = \sum_{q=1}^{m} D_{pq} v_q \label{eq:10-7-1}\end{equation}

これに左から $\boldsymbol{u}^\top$ を掛けると

\begin{equation}f = \boldsymbol{u}^\top \boldsymbol{D} \boldsymbol{v} = \sum_{p=1}^{m} u_p (\boldsymbol{D} \boldsymbol{v})_p = \sum_{p=1}^{m} \sum_{q=1}^{m} u_p D_{pq} v_q \label{eq:10-7-2}\end{equation}

$\boldsymbol{u} = \boldsymbol{X}\boldsymbol{b}$ より、$u_p$ の成分表示は

\begin{equation}u_p = (\boldsymbol{X}\boldsymbol{b})_p = \sum_{r=1}^{n} X_{pr} b_r \label{eq:10-7-3}\end{equation}

同様に $\boldsymbol{v} = \boldsymbol{X}\boldsymbol{c}$ より、$v_q$ の成分表示は

\begin{equation}v_q = (\boldsymbol{X}\boldsymbol{c})_q = \sum_{s=1}^{n} X_{qs} c_s \label{eq:10-7-4}\end{equation}

$f$ を $X_{kl}$ で偏微分する。$D_{pq}$、$b_r$、$c_s$ は定数なので、連鎖律（1.26）により $u_p$ と $v_q$ の微分を考える。

\begin{equation}\frac{\partial f}{\partial X_{kl}} = \sum_{p,q} \frac{\partial u_p}{\partial X_{kl}} D_{pq} v_q + \sum_{p,q} u_p D_{pq} \frac{\partial v_q}{\partial X_{kl}} \label{eq:10-7-5}\end{equation}

$\eqref{eq:10-7-3}$ より $u_p = \sum_r X_{pr} b_r$ を $X_{kl}$ で微分する。

\begin{equation}\frac{\partial u_p}{\partial X_{kl}} = \sum_{r=1}^{n} \frac{\partial X_{pr}}{\partial X_{kl}} b_r = \sum_{r=1}^{n} \delta_{pk} \delta_{rl} b_r = \delta_{pk} b_l \label{eq:10-7-6}\end{equation}

同様に $\eqref{eq:10-7-4}$ より $v_q = \sum_s X_{qs} c_s$ を $X_{kl}$ で微分する。

\begin{equation}\frac{\partial v_q}{\partial X_{kl}} = \sum_{s=1}^{n} \frac{\partial X_{qs}}{\partial X_{kl}} c_s = \sum_{s=1}^{n} \delta_{qk} \delta_{sl} c_s = \delta_{qk} c_l \label{eq:10-7-7}\end{equation}

$\eqref{eq:10-7-6}$ と $\eqref{eq:10-7-7}$ を $\eqref{eq:10-7-5}$ に代入する。

\begin{equation}\frac{\partial f}{\partial X_{kl}} = \sum_{p,q} \delta_{pk} b_l D_{pq} v_q + \sum_{p,q} u_p D_{pq} \delta_{qk} c_l \label{eq:10-7-8}\end{equation}

第1項を計算する。$\delta_{pk}$ により $p = k$ の項のみ残る。

\begin{equation}\sum_{p,q} \delta_{pk} b_l D_{pq} v_q = b_l \sum_{q} D_{kq} v_q = b_l (\boldsymbol{D} \boldsymbol{v})_k \label{eq:10-7-9}\end{equation}

$\boldsymbol{v} = \boldsymbol{X}\boldsymbol{c}$ を代入する。

\begin{equation}b_l (\boldsymbol{D} \boldsymbol{v})_k = b_l (\boldsymbol{D} \boldsymbol{X} \boldsymbol{c})_k \label{eq:10-7-10}\end{equation}

第2項を計算する。$\delta_{qk}$ により $q = k$ の項のみ残る。

\begin{equation}\sum_{p,q} u_p D_{pq} \delta_{qk} c_l = c_l \sum_{p} u_p D_{pk} \label{eq:10-7-11}\end{equation}

$\eqref{eq:10-7-11}$ を行列積として書く。$\sum_p u_p D_{pk} = \sum_p D_{pk} u_p = \sum_p (\boldsymbol{D}^\top)_{kp} u_p = (\boldsymbol{D}^\top \boldsymbol{u})_k$ である。

\begin{equation}c_l \sum_{p} u_p D_{pk} = c_l (\boldsymbol{D}^\top \boldsymbol{u})_k \label{eq:10-7-12}\end{equation}

$\boldsymbol{u} = \boldsymbol{X}\boldsymbol{b}$ を代入する。

\begin{equation}c_l (\boldsymbol{D}^\top \boldsymbol{u})_k = c_l (\boldsymbol{D}^\top \boldsymbol{X} \boldsymbol{b})_k \label{eq:10-7-13}\end{equation}

$\eqref{eq:10-7-10}$ と $\eqref{eq:10-7-13}$ を $\eqref{eq:10-7-8}$ に代入する。

\begin{equation}\frac{\partial f}{\partial X_{kl}} = (\boldsymbol{D} \boldsymbol{X} \boldsymbol{c})_k b_l + (\boldsymbol{D}^\top \boldsymbol{X} \boldsymbol{b})_k c_l \label{eq:10-7-14}\end{equation}

$\eqref{eq:10-7-14}$ を行列形式で書く。外積 $\boldsymbol{u} \boldsymbol{v}^\top$ の $(k, l)$ 成分は $u_k v_l$ である。

\begin{equation}(\boldsymbol{D} \boldsymbol{X} \boldsymbol{c})_k b_l = (\boldsymbol{D} \boldsymbol{X} \boldsymbol{c} \boldsymbol{b}^\top)_{kl} \label{eq:10-7-15}\end{equation}

\begin{equation}(\boldsymbol{D}^\top \boldsymbol{X} \boldsymbol{b})_k c_l = (\boldsymbol{D}^\top \boldsymbol{X} \boldsymbol{b} \boldsymbol{c}^\top)_{kl} \label{eq:10-7-16}\end{equation}

$\eqref{eq:10-7-15}$ と $\eqref{eq:10-7-16}$ を合わせて行列形式で最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} (\boldsymbol{b}^\top \boldsymbol{X}^\top \boldsymbol{D} \boldsymbol{X} \boldsymbol{c}) = \boldsymbol{D}^\top \boldsymbol{X} \boldsymbol{b} \boldsymbol{c}^\top + \boldsymbol{D} \boldsymbol{X} \boldsymbol{c} \boldsymbol{b}^\top \label{eq:10-7-17}\end{equation}

証明

$\boldsymbol{u} = \boldsymbol{X}\boldsymbol{b} + \boldsymbol{c} \in \mathbb{R}^m$ とおく。スカラ関数 $f = \boldsymbol{u}^\top \boldsymbol{D} \boldsymbol{u}$ を考える。

$\boldsymbol{u}$ の第 $i$ 成分を計算する。$(\boldsymbol{X}\boldsymbol{b})_i = \sum_{j=1}^{n} X_{ij} b_j$ であるから

\begin{equation}u_i = (\boldsymbol{X}\boldsymbol{b})_i + c_i = \sum_{j=1}^{n} X_{ij} b_j + c_i \label{eq:10-8-1}\end{equation}

$u_i$ を $X_{kl}$ で偏微分する。$c_i$ は定数なので微分すると 0 になる。

\begin{equation}\frac{\partial u_i}{\partial X_{kl}} = \sum_{j=1}^{n} \frac{\partial X_{ij}}{\partial X_{kl}} b_j = \sum_{j=1}^{n} \delta_{ik} \delta_{jl} b_j = \delta_{ik} b_l \label{eq:10-8-2}\end{equation}

10.6 の結果より、$f = \boldsymbol{u}^\top \boldsymbol{D} \boldsymbol{u}$ の $\boldsymbol{u}$ に関する勾配は

\begin{equation}\frac{\partial f}{\partial \boldsymbol{u}} = (\boldsymbol{D} + \boldsymbol{D}^\top) \boldsymbol{u} \label{eq:10-8-3}\end{equation}

連鎖律（1.26）を適用する。$f$ を $X_{kl}$ で偏微分すると

\begin{equation}\frac{\partial f}{\partial X_{kl}} = \sum_{i=1}^{m} \frac{\partial f}{\partial u_i} \frac{\partial u_i}{\partial X_{kl}} \label{eq:10-8-4}\end{equation}

$\eqref{eq:10-8-3}$ より $\displaystyle\frac{\partial f}{\partial u_i} = ((\boldsymbol{D} + \boldsymbol{D}^\top) \boldsymbol{u})_i$ である。$\eqref{eq:10-8-2}$ を $\eqref{eq:10-8-4}$ に代入する。

\begin{equation}\frac{\partial f}{\partial X_{kl}} = \sum_{i=1}^{m} ((\boldsymbol{D} + \boldsymbol{D}^\top) \boldsymbol{u})_i \cdot \delta_{ik} b_l \label{eq:10-8-5}\end{equation}

$\delta_{ik}$ により $i = k$ の項のみ残る。

\begin{equation}\frac{\partial f}{\partial X_{kl}} = ((\boldsymbol{D} + \boldsymbol{D}^\top) \boldsymbol{u})_k \cdot b_l \label{eq:10-8-6}\end{equation}

$\eqref{eq:10-8-6}$ を行列形式で書く。外積 $\boldsymbol{v} \boldsymbol{w}^\top$ の $(k, l)$ 成分は $v_k w_l$ である。

\begin{equation}((\boldsymbol{D} + \boldsymbol{D}^\top) \boldsymbol{u})_k \cdot b_l = ((\boldsymbol{D} + \boldsymbol{D}^\top) \boldsymbol{u} \boldsymbol{b}^\top)_{kl} \label{eq:10-8-7}\end{equation}

$\boldsymbol{u} = \boldsymbol{X}\boldsymbol{b} + \boldsymbol{c}$ を代入して最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{X}} (\boldsymbol{X}\boldsymbol{b} + \boldsymbol{c})^\top \boldsymbol{D} (\boldsymbol{X}\boldsymbol{b} + \boldsymbol{c}) = (\boldsymbol{D} + \boldsymbol{D}^\top)(\boldsymbol{X}\boldsymbol{b} + \boldsymbol{c})\boldsymbol{b}^\top \label{eq:10-8-8}\end{equation}

証明

$\boldsymbol{u} = \boldsymbol{x} - \boldsymbol{s} \in \mathbb{R}^n$ とおく。スカラ関数 $f = \boldsymbol{u}^\top \boldsymbol{W} \boldsymbol{u}$ を考える。

$\boldsymbol{u}$ の第 $i$ 成分は

\begin{equation}u_i = x_i - s_i \label{eq:10-9-1}\end{equation}

$u_i$ を $x_k$ で偏微分する。$s_i$ は $\boldsymbol{x}$ に依存しない定数である。

\begin{equation}\frac{\partial u_i}{\partial x_k} = \frac{\partial x_i}{\partial x_k} = \delta_{ik} \label{eq:10-9-2}\end{equation}

これはベクトル形式で $\displaystyle\frac{\partial \boldsymbol{u}}{\partial \boldsymbol{x}} = \boldsymbol{I}$（単位行列）と書ける。

10.6 の結果より、$f = \boldsymbol{u}^\top \boldsymbol{W} \boldsymbol{u}$ の $\boldsymbol{u}$ に関する勾配は

\begin{equation}\frac{\partial f}{\partial \boldsymbol{u}} = (\boldsymbol{W} + \boldsymbol{W}^\top) \boldsymbol{u} \label{eq:10-9-3}\end{equation}

$\boldsymbol{W}$ は対称行列（$\boldsymbol{W} = \boldsymbol{W}^\top$）なので

\begin{equation}\boldsymbol{W} + \boldsymbol{W}^\top = \boldsymbol{W} + \boldsymbol{W} = 2\boldsymbol{W} \label{eq:10-9-4}\end{equation}

$\eqref{eq:10-9-4}$ を $\eqref{eq:10-9-3}$ に代入する。

\begin{equation}\frac{\partial f}{\partial \boldsymbol{u}} = 2\boldsymbol{W} \boldsymbol{u} \label{eq:10-9-5}\end{equation}

連鎖律（1.26）を適用する。$f$ を $x_k$ で偏微分すると

\begin{equation}\frac{\partial f}{\partial x_k} = \sum_{i=1}^{n} \frac{\partial f}{\partial u_i} \frac{\partial u_i}{\partial x_k} \label{eq:10-9-6}\end{equation}

$\eqref{eq:10-9-2}$ と $\eqref{eq:10-9-5}$ を $\eqref{eq:10-9-6}$ に代入する。

\begin{equation}\frac{\partial f}{\partial x_k} = \sum_{i=1}^{n} (2\boldsymbol{W} \boldsymbol{u})_i \cdot \delta_{ik} = (2\boldsymbol{W} \boldsymbol{u})_k \label{eq:10-9-7}\end{equation}

$\boldsymbol{u} = \boldsymbol{x} - \boldsymbol{s}$ を代入してベクトル形式で最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{x}} (\boldsymbol{x} - \boldsymbol{s})^\top \boldsymbol{W} (\boldsymbol{x} - \boldsymbol{s}) = 2\boldsymbol{W}(\boldsymbol{x} - \boldsymbol{s}) \label{eq:10-9-8}\end{equation}

証明

$\boldsymbol{u} = \boldsymbol{x} - \boldsymbol{s} \in \mathbb{R}^n$ とおく。スカラ関数 $f = \boldsymbol{u}^\top \boldsymbol{W} \boldsymbol{u}$ を考える。

$\boldsymbol{u}$ の第 $i$ 成分は

\begin{equation}u_i = x_i - s_i \label{eq:10-10-1}\end{equation}

$u_i$ を $s_k$ で偏微分する。$x_i$ は $\boldsymbol{s}$ に依存しない定数である。

\begin{equation}\frac{\partial u_i}{\partial s_k} = -\frac{\partial s_i}{\partial s_k} = -\delta_{ik} \label{eq:10-10-2}\end{equation}

これはベクトル形式で $\displaystyle\frac{\partial \boldsymbol{u}}{\partial \boldsymbol{s}} = -\boldsymbol{I}$ と書ける。

10.9 と同様に、$\boldsymbol{W}$ が対称行列なので

\begin{equation}\frac{\partial f}{\partial \boldsymbol{u}} = 2\boldsymbol{W} \boldsymbol{u} \label{eq:10-10-3}\end{equation}

連鎖律（1.26）を適用する。$f$ を $s_k$ で偏微分すると

\begin{equation}\frac{\partial f}{\partial s_k} = \sum_{i=1}^{n} \frac{\partial f}{\partial u_i} \frac{\partial u_i}{\partial s_k} \label{eq:10-10-4}\end{equation}

$\eqref{eq:10-10-2}$ と $\eqref{eq:10-10-3}$ を $\eqref{eq:10-10-4}$ に代入する。

\begin{equation}\frac{\partial f}{\partial s_k} = \sum_{i=1}^{n} (2\boldsymbol{W} \boldsymbol{u})_i \cdot (-\delta_{ik}) = -(2\boldsymbol{W} \boldsymbol{u})_k \label{eq:10-10-5}\end{equation}

$\boldsymbol{u} = \boldsymbol{x} - \boldsymbol{s}$ を代入してベクトル形式で最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{s}} (\boldsymbol{x} - \boldsymbol{s})^\top \boldsymbol{W} (\boldsymbol{x} - \boldsymbol{s}) = -2\boldsymbol{W}(\boldsymbol{x} - \boldsymbol{s}) \label{eq:10-10-6}\end{equation}

証明

$\boldsymbol{u} = \boldsymbol{x} - \boldsymbol{A}\boldsymbol{s} \in \mathbb{R}^m$ とおく。スカラ関数 $f = \boldsymbol{u}^\top \boldsymbol{W} \boldsymbol{u}$ を考える。

$\boldsymbol{u}$ の第 $i$ 成分を計算する。$(\boldsymbol{A}\boldsymbol{s})_i = \sum_{j=1}^{n} A_{ij} s_j$ であるから

\begin{equation}u_i = x_i - (\boldsymbol{A}\boldsymbol{s})_i = x_i - \sum_{j=1}^{n} A_{ij} s_j \label{eq:10-11-1}\end{equation}

$u_i$ を $x_k$ で偏微分する。$\boldsymbol{A}\boldsymbol{s}$ は $\boldsymbol{x}$ に依存しない定数ベクトルなので

\begin{equation}\frac{\partial u_i}{\partial x_k} = \frac{\partial x_i}{\partial x_k} = \delta_{ik} \label{eq:10-11-2}\end{equation}

これはベクトル形式で $\displaystyle\frac{\partial \boldsymbol{u}}{\partial \boldsymbol{x}} = \boldsymbol{I}$ と書ける。

$\boldsymbol{W}$ は対称行列なので、10.9 と同様に

\begin{equation}\frac{\partial f}{\partial \boldsymbol{u}} = 2\boldsymbol{W} \boldsymbol{u} \label{eq:10-11-3}\end{equation}

連鎖律（1.26）を適用する。$f$ を $x_k$ で偏微分すると

\begin{equation}\frac{\partial f}{\partial x_k} = \sum_{i=1}^{m} \frac{\partial f}{\partial u_i} \frac{\partial u_i}{\partial x_k} \label{eq:10-11-4}\end{equation}

$\eqref{eq:10-11-2}$ と $\eqref{eq:10-11-3}$ を $\eqref{eq:10-11-4}$ に代入する。

\begin{equation}\frac{\partial f}{\partial x_k} = \sum_{i=1}^{m} (2\boldsymbol{W} \boldsymbol{u})_i \cdot \delta_{ik} = (2\boldsymbol{W} \boldsymbol{u})_k \label{eq:10-11-5}\end{equation}

$\boldsymbol{u} = \boldsymbol{x} - \boldsymbol{A}\boldsymbol{s}$ を代入してベクトル形式で最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{x}} (\boldsymbol{x} - \boldsymbol{A}\boldsymbol{s})^\top \boldsymbol{W} (\boldsymbol{x} - \boldsymbol{A}\boldsymbol{s}) = 2\boldsymbol{W}(\boldsymbol{x} - \boldsymbol{A}\boldsymbol{s}) \label{eq:10-11-6}\end{equation}

証明

$\boldsymbol{u} = \boldsymbol{x} - \boldsymbol{A}\boldsymbol{s} \in \mathbb{R}^m$ とおく。スカラ関数 $f = \boldsymbol{u}^\top \boldsymbol{W} \boldsymbol{u}$ を考える。

$\boldsymbol{u}$ の第 $i$ 成分を計算する。

\begin{equation}u_i = x_i - (\boldsymbol{A}\boldsymbol{s})_i = x_i - \sum_{j=1}^{n} A_{ij} s_j \label{eq:10-12-1}\end{equation}

$u_i$ を $s_k$ で偏微分する。$x_i$ は $\boldsymbol{s}$ に依存しない定数である。

\begin{equation}\frac{\partial u_i}{\partial s_k} = -\sum_{j=1}^{n} A_{ij} \frac{\partial s_j}{\partial s_k} = -\sum_{j=1}^{n} A_{ij} \delta_{jk} = -A_{ik} \label{eq:10-12-2}\end{equation}

$\boldsymbol{W}$ は対称行列なので

\begin{equation}\frac{\partial f}{\partial \boldsymbol{u}} = 2\boldsymbol{W} \boldsymbol{u} \label{eq:10-12-3}\end{equation}

連鎖律（1.26）を適用する。$f$ を $s_k$ で偏微分すると

\begin{equation}\frac{\partial f}{\partial s_k} = \sum_{i=1}^{m} \frac{\partial f}{\partial u_i} \frac{\partial u_i}{\partial s_k} \label{eq:10-12-4}\end{equation}

$\eqref{eq:10-12-2}$ と $\eqref{eq:10-12-3}$ を $\eqref{eq:10-12-4}$ に代入する。

\begin{equation}\frac{\partial f}{\partial s_k} = \sum_{i=1}^{m} (2\boldsymbol{W} \boldsymbol{u})_i \cdot (-A_{ik}) = -2 \sum_{i=1}^{m} (\boldsymbol{W} \boldsymbol{u})_i A_{ik} \label{eq:10-12-5}\end{equation}

$\eqref{eq:10-12-5}$ を行列積として書く。$\sum_i A_{ik} (\boldsymbol{W} \boldsymbol{u})_i = \sum_i (\boldsymbol{A}^\top)_{ki} (\boldsymbol{W} \boldsymbol{u})_i = (\boldsymbol{A}^\top \boldsymbol{W} \boldsymbol{u})_k$ である。

\begin{equation}\frac{\partial f}{\partial s_k} = -2 (\boldsymbol{A}^\top \boldsymbol{W} \boldsymbol{u})_k \label{eq:10-12-6}\end{equation}

$\boldsymbol{u} = \boldsymbol{x} - \boldsymbol{A}\boldsymbol{s}$ を代入してベクトル形式で最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{s}} (\boldsymbol{x} - \boldsymbol{A}\boldsymbol{s})^\top \boldsymbol{W} (\boldsymbol{x} - \boldsymbol{A}\boldsymbol{s}) = -2\boldsymbol{A}^\top\boldsymbol{W}(\boldsymbol{x} - \boldsymbol{A}\boldsymbol{s}) \label{eq:10-12-7}\end{equation}

証明

$\boldsymbol{u} = \boldsymbol{x} - \boldsymbol{A}\boldsymbol{s} \in \mathbb{R}^m$ とおく。スカラ関数 $f = \boldsymbol{u}^\top \boldsymbol{W} \boldsymbol{u}$ を考える。

$\boldsymbol{u}$ の第 $i$ 成分を計算する。

\begin{equation}u_i = x_i - (\boldsymbol{A}\boldsymbol{s})_i = x_i - \sum_{j=1}^{n} A_{ij} s_j \label{eq:10-13-1}\end{equation}

$u_i$ を $A_{kl}$ で偏微分する。$x_i$ と $s_j$ は $\boldsymbol{A}$ に依存しない定数である。

\begin{equation}\frac{\partial u_i}{\partial A_{kl}} = -\sum_{j=1}^{n} \frac{\partial A_{ij}}{\partial A_{kl}} s_j = -\sum_{j=1}^{n} \delta_{ik} \delta_{jl} s_j = -\delta_{ik} s_l \label{eq:10-13-2}\end{equation}

$\boldsymbol{W}$ は対称行列なので

\begin{equation}\frac{\partial f}{\partial \boldsymbol{u}} = 2\boldsymbol{W} \boldsymbol{u} \label{eq:10-13-3}\end{equation}

連鎖律（1.26）を適用する。$f$ を $A_{kl}$ で偏微分すると

\begin{equation}\frac{\partial f}{\partial A_{kl}} = \sum_{i=1}^{m} \frac{\partial f}{\partial u_i} \frac{\partial u_i}{\partial A_{kl}} \label{eq:10-13-4}\end{equation}

$\eqref{eq:10-13-2}$ と $\eqref{eq:10-13-3}$ を $\eqref{eq:10-13-4}$ に代入する。

\begin{equation}\frac{\partial f}{\partial A_{kl}} = \sum_{i=1}^{m} (2\boldsymbol{W} \boldsymbol{u})_i \cdot (-\delta_{ik} s_l) \label{eq:10-13-5}\end{equation}

$\delta_{ik}$ により $i = k$ の項のみ残る。

\begin{equation}\frac{\partial f}{\partial A_{kl}} = -2 (\boldsymbol{W} \boldsymbol{u})_k s_l \label{eq:10-13-6}\end{equation}

$\eqref{eq:10-13-6}$ を行列形式で書く。外積 $\boldsymbol{v} \boldsymbol{w}^\top$ の $(k, l)$ 成分は $v_k w_l$ である。

\begin{equation}(\boldsymbol{W} \boldsymbol{u})_k s_l = (\boldsymbol{W} \boldsymbol{u} \boldsymbol{s}^\top)_{kl} \label{eq:10-13-7}\end{equation}

$\boldsymbol{u} = \boldsymbol{x} - \boldsymbol{A}\boldsymbol{s}$ を代入して行列形式で最終結果を得る。

\begin{equation}\frac{\partial}{\partial \boldsymbol{A}} (\boldsymbol{x} - \boldsymbol{A}\boldsymbol{s})^\top \boldsymbol{W} (\boldsymbol{x} - \boldsymbol{A}\boldsymbol{s}) = -2\boldsymbol{W}(\boldsymbol{x} - \boldsymbol{A}\boldsymbol{s})\boldsymbol{s}^\top \label{eq:10-13-8}\end{equation}