行列微分

Matrix Calculus

概要

行列微分は、スカラー・ベクトル・行列を変数とする関数の微分を扱う分野である。機械学習、統計学、制御工学、物理シミュレーションなど、高次元の最適化問題を解く場面で必須となる。

学習目標

  • 行列微分の必要性と応用分野を理解する
  • 分母レイアウト・分子レイアウトの違いを理解する
  • スカラー・ベクトル・行列の微分公式を習得する
  • 連鎖律を高階テンソルに適用できる
  • 自動微分との関係を理解する

目次

  1. 第1章 行列微分入門

    なぜ必要か、何ができるか、記法の選び方

  2. 第2章 行列微分の公式集

    スカラー・ベクトル・行列の微分公式一覧

  3. 第3章 行列微分の証明集

    各公式の詳細な導出過程

  4. 第4章 テンソル微分入門

    高階テンソルへの一般化

  5. 第5章 自動微分と最適化

    深層学習フレームワークとの関係

  6. 付録 分野別レイアウト一覧

    約60分野における記法の傾向

前提知識

  • 線形代数の基礎（行列演算、転置、逆行列、行列式）
  • 微分の基礎（偏微分、連鎖律）
  • ベクトル解析の基礎（勾配）