機械学習への応用

表記規約
本ページの公式は分母レイアウト（denominator layout）に基づく。詳細はレイアウト規約を参照。

目次

ニューラルネットワーク

  • 活性化関数（6.9-6.10）
  • 全結合層（17.1-17.3）
  • 正規化層（17.4-17.7）
  • Attention機構（17.8-17.12）
  • 畳み込み・プーリング（17.13-17.17）
  • 正則化（17.18-17.19）
  • VAE（17.20-17.22）

SVD・Fisher情報

  • 18.1 SVD逆伝播の勾配
  • 18.2 特異値の勾配
  • 18.3 Fisher情報行列の定義
  • 18.4 Fisher情報行列のHesse表現
  • 18.5 自然勾配

強化学習

  • 18.13 Policy Gradient定理
  • 18.14 ベースライン付きPolicy Gradient

自然言語処理

  • 18.18 Skip-gram（負例サンプリング）の勾配
  • 18.19 GloVeの勾配

高度なトピック

  • 18.15 InfoNCE損失関数
  • 18.18 Cholesky分解の勾配
  • 18.13 Sinkhorn距離
  • 18.16 Gauss過程
  • 18.23 確率伝播法
  • 18.26 辞書学習・LASSO

コンピュータビジョン

3.14 ホモグラフィ行列の微分

公式：$\displaystyle\frac{\partial \boldsymbol{p}'}{\partial \boldsymbol{H}} = \displaystyle\frac{1}{w'}\begin{pmatrix} \boldsymbol{p}^\top & \boldsymbol{0}^\top & -x'\boldsymbol{p}^\top \\ \boldsymbol{0}^\top & \boldsymbol{p}^\top & -y'\boldsymbol{p}^\top \end{pmatrix}$
条件：$\boldsymbol{p}' = \pi(\boldsymbol{H}\boldsymbol{p})$、$\pi$: 正規化関数、$w' = \boldsymbol{h}_3^\top \boldsymbol{p}$
説明

2次元射影変換（ホモグラフィ）$\boldsymbol{H} \in \mathbb{R}^{3 \times 3}$ による点の変換の勾配。 画像レジストレーション、パノラマ合成、拡張現実で使用。

同次座標 $\tilde{\boldsymbol{p}} = \boldsymbol{H}\boldsymbol{p}$ を正規化して画像座標 $\boldsymbol{p}' = (x', y')^\top = (\tilde{p}_1/\tilde{p}_3, \tilde{p}_2/\tilde{p}_3)^\top$ を得る。

医用画像再構成

12.13 Tikhonov正則化の勾配

公式：$\displaystyle\frac{\partial J}{\partial \boldsymbol{x}} = 2\boldsymbol{A}^\top(\boldsymbol{A}\boldsymbol{x} - \boldsymbol{y}) + 2\lambda\boldsymbol{L}^\top\boldsymbol{L}\boldsymbol{x}$
条件：$J(\boldsymbol{x}) = \|\boldsymbol{A}\boldsymbol{x} - \boldsymbol{y}\|^2 + \lambda\|\boldsymbol{L}\boldsymbol{x}\|^2$、$\boldsymbol{A}$: 順問題行列、$\boldsymbol{L}$: 正則化行列
説明

CT/MRI画像再構成における逆問題の正則化。 勾配を0とおくとTikhonov解 $\boldsymbol{x}^* = (\boldsymbol{A}^\top\boldsymbol{A} + \lambda\boldsymbol{L}^\top\boldsymbol{L})^{-1}\boldsymbol{A}^\top\boldsymbol{y}$ を得る。

12.15 全変動（TV）正則化の劣勾配

公式：$\displaystyle\frac{\partial}{\partial \boldsymbol{x}}\text{TV}(\boldsymbol{x}) = -\text{div}\left(\displaystyle\frac{\nabla \boldsymbol{x}}{|\nabla \boldsymbol{x}|}\right)$
条件：$\text{TV}(\boldsymbol{x}) = \|\nabla \boldsymbol{x}\|_1$、$|\nabla \boldsymbol{x}| = 0$ で非微分
説明

全変動正則化はエッジを保存しつつノイズを除去。医用画像に適する。 実装では $|\nabla \boldsymbol{x}| + \epsilon$（$\epsilon > 0$ は小さな定数）で平滑化。

詳細ページ

各分野の詳細な公式と証明は以下のページをご参照ください：