統計学と行列微分はどう関係しますか？

統計学の核は「データから母数を推定すること」です。最尤推定・MAP・ベイズのいずれも、対数尤度や事後確率を母数で微分します。母数がベクトル・行列・共分散行列になると行列微分が必須となり、Fisher 情報行列・Cramér-Rao 下限・スコア関数もすべて行列微分で定式化されます。

Fisher 情報行列は何に使いますか？

Fisher 情報行列は推定量の精度の理論限界（Cramér-Rao 下界）を与え、Newton-Raphson 法の代替である Fisher スコアリング法で使われます。神経統計では集団符号化の精度、IRT では項目情報関数として使われます。詳細は神経統計と IRT のページで解説しています。

REML はいつ使うべきですか？

固定効果と分散成分を同時に含む線形混合モデルで、分散成分を推定したい場合に使います。ML は固定効果の自由度を無視するため下方バイアスを持ちますが、REML は固定効果を除去した残差の尤度を最大化するため不偏に近い推定を与えます。詳細は分散成分モデルのページで解説しています。

潜在変数モデルで行列微分はどこで使われますか？

因子分析・SEM では観測共分散構造 Σ(θ) がパラメータ Λ, Φ, Ψ, B の複雑な関数になり、ML 目的関数 F_ML = log|Σ| + tr(SΣ⁻¹) を微分するために trace と log-det の公式が必要です。SEM の一般勾配公式 ∂F/∂θ = tr[(Σ⁻¹ − Σ⁻¹SΣ⁻¹) ∂Σ/∂θ] は任意のパラメータに適用できる統一形式です。

統計学への応用

Q: Fisher 情報行列は何に使いますか？

Fisher 情報行列は推定量の精度の理論限界（Cramér-Rao 下界）を与え、Newton-Raphson 法 の代替である Fisher スコアリング法 で使われます。神経統計では集団符号化の精度、IRT では項目情報関数として使われます。詳細は神経統計と IRT のページで解説しています。

Applications to Statistics

表記規約
本ページ群の公式は分母レイアウト（denominator layout）に基づく。詳細はレイアウト規約を参照。

統計学における行列微分の役割

統計学の核は「データから母数を推定すること」である。最尤推定 (MLE)・最大事後確率推定 (MAP)・ベイズ推定のいずれも、対数尤度 $\ell(\boldsymbol{\theta})$ や事後確率 $p(\boldsymbol{\theta}|D)$ を母数 $\boldsymbol{\theta}$ で微分することから始まる。

母数がスカラーなら通常の微分で済むが、母数がベクトル・行列・共分散行列になると行列微分が必須となる。 Fisher 情報行列・Cramér-Rao 下限・スコア関数・REML 勾配 はすべて行列微分で定式化される。

本ハブでは、現代統計学で遭遇する行列微分の主要応用を 6 テーマ に分けて整理する。分量は合計 60 公式超、うち 18 公式は潜在変数モデル（因子分析・SEM・IRT）に属する。

6 テーマの目次

1. 基礎分布と線形モデル（MVN・Wishart・多変量回帰・vec 演算子）
2. 潜在変数モデル（因子分析・SEM・IRT）
3. 分散成分モデル（線形混合モデル・REML・ゲノム選抜）
4. 空間相関モデル（バリオグラム・クリギング）
5. 神経統計（Fisher 情報・Cramér-Rao）
6. 確率モデルと情報幾何（KL・最適輸送・GP・BP）

1. 基礎分布と線形モデル

多変量正規分布・Wishart 分布・多変量回帰は、統計推論の最も基礎的な対象。尤度の微分・最尤推定の解析解・分散の期待値計算がここで完結する。行列微分の線形化ツールである vec 演算子と関連行列（commutation・duplication・elimination）も本テーマに収録。

主要公式：MVN 対数尤度の μ・Σ 勾配 → 標本平均と標本共分散が MLE、 Wishart/逆 Wishart 対数密度の勾配、多変量回帰 OLS 解 $\hat{\boldsymbol{B}} = (\boldsymbol{X}^\top\boldsymbol{X})^{-1}\boldsymbol{X}^\top\boldsymbol{Y}$、 vec-Kronecker 恒等式 $\text{vec}(\boldsymbol{A}\boldsymbol{X}\boldsymbol{B}) = (\boldsymbol{B}^\top \otimes \boldsymbol{A})\,\text{vec}(\boldsymbol{X})$。

公式番号：19.19-29、13.7/13.8/13.10/13.11（合計 15 枚）

→ 基礎分布と線形モデルのページへ

2. 潜在変数モデル

観測できない潜在構造（因子・構造方程式・能力値）を推定する手法群。共通して「観測分布 = 潜在分布と観測分布の積を周辺化」という構造を持ち、尤度が複雑になるため行列微分が本質的な道具となる。

因子分析（ML 目的関数と Λ, Φ, Ψ の勾配）、 構造方程式モデリング (SEM)（LISREL/RAM の共分散構造と一般勾配公式 $\partial F/\partial \theta = \text{tr}[(\boldsymbol{\Sigma}^{-1} - \boldsymbol{\Sigma}^{-1}\boldsymbol{S}\boldsymbol{\Sigma}^{-1})\partial \boldsymbol{\Sigma}/\partial \theta]$）、 項目反応理論 (IRT)（2PL/3PL の識別力・困難度・能力・当て推量の勾配、Fisher 情報関数）を扱う。

公式番号：19.1-18（合計 18 枚、本ハブ最大ページ）

→ 潜在変数モデルのページへ

3. 分散成分モデル

固定効果とランダム効果の混合によりデータの階層構造を捉えるモデル。分散成分の推定（REML）では共分散行列 $\boldsymbol{V}$ の $\log\det$ と $\text{tr}$ の微分が登場する。応用としての ゲノム選抜（GBLUP / RR-BLUP）は、血縁行列の代わりに DNA マーカーから構築したゲノム関係行列 $\boldsymbol{G}$ を用いる。

主要公式：Henderson 方程式、REML 勾配、AI (Average Information) 行列と AI-REML 更新式、 GBLUP 育種価 $\hat{\boldsymbol{u}} = \boldsymbol{G}(\boldsymbol{G} + \lambda\boldsymbol{I})^{-1}\boldsymbol{y}$、 Leave-One-Out 交差検証の Sherman-Morrison 表現。

公式番号：10.28-34 + 10.41-46（合計 13 枚）

→ 分散成分モデルのページへ

4. 空間相関モデル

観測の独立性を仮定できない空間データに対し、共分散関数（バリオグラム）で相関構造をモデル化する。尤度最大化でバリオグラムパラメータ（ナゲット・シル・レンジ）を微分する。クリギングは分散成分モデルの GBLUP と同じ BLUP 構造を持つ。

主要公式：セミバリオグラム $\gamma(h) = \frac{1}{2}\text{Var}[Z(\boldsymbol{s}) - Z(\boldsymbol{s}+\boldsymbol{h})]$、球形バリオグラムモデル、普通クリギング方程式（不偏制約付き）、クリギング分散 $\sigma_K^2 = C(0) - \boldsymbol{\lambda}^\top \boldsymbol{c}_0 - \mu$、地球統計尤度勾配。

公式番号：10.35-40（合計 6 枚）

→ 空間相関モデルのページへ

5. 神経統計

ニューロンの発火頻度データから刺激パラメータを推定する問題。 Poisson 発火モデル下での Fisher 情報行列 が中心テーマで、集団ニューロンの符号化精度の理論限界（Cramér-Rao 下界）を与える。

主要公式：単一ニューロン Fisher 情報 $I(\theta) = [f'(\theta)]^2/f(\theta)$、相関集団の Fisher 情報 $I(\theta) = \boldsymbol{f}'(\theta)^\top \boldsymbol{Q}^{-1} \boldsymbol{f}'(\theta)$、 Cramér-Rao 下界 $\text{Var}(\hat{\theta}) \geq 1/I(\theta)$。

公式番号：10.24-27（合計 4 枚）

→ 神経統計のページへ

6. 確率モデルと情報幾何

確率分布間の距離（KL ダイバージェンス・最適輸送）や Gauss 過程の尤度微分は、行列微分の高度な応用例。情報幾何の基礎でもあり、VAE・Wasserstein GAN・ガウス過程回帰・確率的グラフィカルモデルと直結する。

主要公式：Gauss 間 KL divergence（VAE の KL 項）、 Sinkhorn 距離（エントロピー正則化 Wasserstein）、 Gauss 過程の対数周辺尤度勾配 $\frac{1}{2}\text{tr}[(\boldsymbol{\alpha}\boldsymbol{\alpha}^\top - \boldsymbol{K}^{-1})\partial \boldsymbol{K}/\partial \theta_i]$、確率伝播法（BP）のメッセージ更新。

公式番号：19.30-33（合計 4 枚）

→ 確率モデルと情報幾何のページへ

主要公式 highlight

6 ページを横断する代表公式。各公式の詳細な証明は該当ページを参照。

MVN 対数尤度：$\ell = -\dfrac{n}{2}\log|\boldsymbol{\Sigma}| - \dfrac{1}{2}\sum_i (\boldsymbol{x}_i - \boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}_i - \boldsymbol{\mu})$
（基礎分布 19.19）
Fisher 情報行列（Poisson 発火）：$I(\theta) = [f'(\theta)]^2/f(\theta)$
（神経統計 10.24）
REML 勾配：$\dfrac{\partial \log L_R}{\partial \theta} = -\dfrac{1}{2}\left[\text{tr}(\boldsymbol{P}\partial\boldsymbol{V}/\partial\theta) - \boldsymbol{y}^\top \boldsymbol{P}\partial\boldsymbol{V}/\partial\theta\,\boldsymbol{P}\boldsymbol{y}\right]$
（分散成分 10.32）
SEM 一般勾配公式：$\dfrac{\partial F_{\text{ML}}}{\partial \theta_i} = \text{tr}[(\boldsymbol{\Sigma}^{-1} - \boldsymbol{\Sigma}^{-1}\boldsymbol{S}\boldsymbol{\Sigma}^{-1})\partial\boldsymbol{\Sigma}/\partial \theta_i]$
（潜在変数 19.6）
GBLUP 育種価：$\hat{\boldsymbol{u}} = \boldsymbol{G}(\boldsymbol{G} + \lambda\boldsymbol{I})^{-1}\boldsymbol{y}$
（分散成分 10.43）
GP 対数周辺尤度勾配：$\dfrac{\partial \log p}{\partial \theta_i} = \dfrac{1}{2}\text{tr}[(\boldsymbol{\alpha}\boldsymbol{\alpha}^\top - \boldsymbol{K}^{-1})\partial\boldsymbol{K}/\partial \theta_i]$
（確率モデル 19.32）

関連公式の検索には統計的推論の主要公式チートシートも参照のこと。