Stable Diffusion の数学的原理

1. スコア関数とスコアマッチング

スコア関数を知っていれば、ランジュバン動力学（Langevin dynamics）により $p(\bx)$ からのサンプリングが可能である：

ステップサイズ $\eta \to 0$、反復回数 $K \to \infty$ の極限で $\bx_K \sim p(\bx)$ に収束する。

スコアマッチング

スコア関数をニューラルネットワーク $\boldsymbol{s}_\theta(\bx)$ で近似する。 直接的なスコアマッチング損失は：

真のスコアが未知なので、ノイズ条件付きスコアマッチング（denoising score matching; Vincent, 2011）を使う。 ノイズ $\sigma$ を加えた分布 $p_\sigma(\tilde{\bx}|\bx) = \N(\tilde{\bx}; \bx, \sigma^2 I)$ に対し：

ガウスノイズの場合、条件付きスコアは明示的に計算でき：

2. SDE による統一的定式化

Song et al. (2021) は、拡散モデルを連続時間の確率微分方程式（SDE）として統一的に定式化した。

VP-SDE（分散保存型）

DDPM に対応する SDE は次の形をとる：

ここで $\beta(t)$ はノイズスケジュールであり、$\beta(t) = \beta_{\min} + (\beta_{\max} - \beta_{\min})t$ が線形スケジュールに対応する。

VE-SDE（分散爆発型）

SMLD（Score Matching with Langevin Dynamics）に対応する：

確率フロー ODE

任意の SDE に対し、同じ周辺分布 $p_t(\bx)$ を生成する常微分方程式（ODE）が存在する：

3. DDPM の変分下界の導出

DDPM の訓練目的関数は、データの対数尤度の変分下界（ELBO）から導出される。

対数尤度の下界

変分下界 $\L_{\text{VLB}}$ は 3 種類の項に分解される：

事後分布の計算

ベイズの定理により、$q(\bx_{t-1}|\bx_t, \bx_0)$ はガウス分布として閉じた形で計算できる：

ここで：

再パラメータ化と簡略化損失

$\bx_t = \sqrt{\bar{\alpha}_t}\bx_0 + \sqrt{1-\bar{\alpha}_t}\bepsilon$ を用いて $\bx_0$ を消去し、平均を $\bepsilon$ で表すと：

$p_\theta$ の平均を $\bmu_\theta(\bx_t, t) = \dfrac{1}{\sqrt{\alpha_t}}\left(\bx_t - \dfrac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\bepsilon_\theta(\bx_t, t)\right)$ と設計すると：

4. DDIM の ODE 解釈

Song et al. (2020) は、DDPM と同じ学習済みモデル $\bepsilon_\theta$ を使いつつ、 非マルコフ的な逆過程を構成する DDIM を提案した。

DDIM（$\sigma_t = 0$）は確率フロー ODE の離散化に対応するため、 タイムステップの部分集合 $\{\tau_1, \tau_2, \ldots, \tau_S\} \subset \{1, \ldots, T\}$（$S \ll T$）上で計算すれば、 少ないステップ数でも良好なサンプルが得られる。

5. VAE 潜在空間と Latent Diffusion

Stable Diffusion の核心的なアイデアは、ピクセル空間ではなく VAE の潜在空間で拡散を行うことである（Rombach et al., 2022）。

VAE の数学

画像 $\bx \in \R^{H \times W \times 3}$ をエンコーダ $\mathcal{E}$ で潜在変数 $\bz = \mathcal{E}(\bx) \in \R^{h \times w \times c}$ に圧縮し、デコーダ $\mathcal{D}$ で復元する。損失関数は：

Stable Diffusion では $f = H/h = W/w = 8$（8 倍ダウンサンプリング）、$c = 4$ を使用する。 VAE は拡散の学習とは独立に事前学習される。

潜在空間での拡散

ピクセル空間の $\bx$ ではなく、潜在変数 $\bz_0 = \mathcal{E}(\bx_0)$ に対して 通常の拡散（ノイズ付加・除去）を行う：

生成時は $\bz_T \sim \N(0, I)$ から逆拡散で $\bz_0$ を得た後、 $\hat{\bx} = \mathcal{D}(\bz_0)$ でピクセル空間に戻す。

6. テキスト条件付けの数学

テキストプロンプトは CLIP テキストエンコーダで特徴ベクトル列 $\boldsymbol{c} = [\boldsymbol{c}_1, \ldots, \boldsymbol{c}_L] \in \R^{L \times d_c}$ に変換される。 U-Net 内のCross-Attention 層でこの条件を注入する：

$\varphi_i(\bz_t)$ は U-Net の中間表現（第 $i$ 層の特徴マップを平坦化したもの）。 Query は画像特徴から、Key と Value はテキスト特徴から生成される。 これにより、テキストの意味情報が空間的に画像生成を誘導する。

7. Classifier-Free Guidance の導出

条件付き生成の品質を制御する Classifier-Free Guidance（CFG; Ho & Salimans, 2022）の 数学的根拠を示す。

ベイズの定理からの導出

条件付き分布のスコアは：

ガイダンス強度 $w$ でスコアを増幅する：

$\nabla_{\bz}\log p(c|\bz) = \nabla_{\bz}\log p(\bz|c) - \nabla_{\bz}\log p(\bz)$ を代入すると：

訓練時は、一定確率（通常 10%）でテキスト条件 $c$ を空の条件 $\varnothing$ に置き換える ランダムドロップを行い、単一のモデルで条件付き・無条件の両方を学習させる。

8. ノイズスケジューラの数学

ノイズスケジュール $\{\beta_t\}_{t=1}^T$ の選択は生成品質に大きく影響する。

線形スケジュール（DDPM）

コサインスケジュール（Nichol & Dhariwal, 2021）

$\bar{\alpha}_t$ が均一に減少するよう設計：

$s = 0.008$ はオフセット（$t = 0$ 付近での $\beta_t$ が小さくなりすぎるのを防止）。

コサインスケジュールは線形スケジュールに比べ、中間ステップでの信号対雑音比（SNR）が より均一に分布し、特に高解像度画像で生成品質が改善する。

9. v-prediction（SD 2.x）

SD 1.x は $\bepsilon$（ノイズ）を予測するが、SD 2.x は v-prediction（Salimans & Ho, 2022）を採用した。 予測対象 $\boldsymbol{v}$ は $\bx_0$ と $\bepsilon$ の線形結合で定義される：

v-prediction の利点

• SNR に依存しない安定性：$\bepsilon$-prediction は $t \to 0$（SNR が大きい）で信号が支配的になり勾配が不安定化しうる。 $\boldsymbol{v}$ はノイズと信号の角度パラメータに相当し、$t$ によらず安定した勾配を与える。
• 数値的安定性：$\text{SNR}(t) \to \infty$ の極限で $\bepsilon$-prediction の損失は発散するが、 $\boldsymbol{v}$-prediction は有界に留まる。

損失関数は単純に予測対象を置き換えるだけである：

OpenCLIP ViT-H/14 テキストエンコーダ

SD 1.x は OpenAI の CLIP ViT-L/14（768 次元、約 123M パラメータ）を使用していたが、 SD 2.x は OpenCLIP ViT-H/14（1024 次元、約 354M パラメータ）に変更された。

• 出力次元の増加：Cross-Attention の Key/Value が 768d → 1024d になり、 テキストの意味表現がより豊かになる。U-Net 側の $W_K, W_V$ 投影行列のサイズも $d_{\text{model}} \times 1024$ に変わる。
• LAION-2B での訓練：OpenCLIP はオープンなデータセット LAION-2B で訓練されており、 OpenAI CLIP の非公開データセットへの依存を排除する。
• penultimate layer：SD 2.x ではテキストエンコーダの最終層ではなく 最後から 2 番目の層（penultimate layer）の出力を使用する。 最終層はコントラスト学習の目的に特化しすぎており、 生成タスクには中間層の方がリッチな特徴を持つためである。

768×768 デフォルト解像度

SD 2.1 では訓練解像度が 512×512 から 768×768 に引き上げられた。 潜在空間では $64 \times 64 \to 96 \times 96$（ダウンサンプリング係数 $f = 8$ は不変）となり、 U-Net が処理するトークン数は $64^2 = 4{,}096$ から $96^2 = 9{,}216$ に増加する。 Self-Attention の計算量は $O(n^2)$ なので、約 5 倍の計算コスト増となる。

Negative Prompt と CFG

SD 1.x の CFG（第 7 節）では無条件予測 $\bepsilon_\theta(\bz_t, t, \varnothing)$ に空文字列 $\varnothing$ を使用した。 SD 2.x 以降では、空文字列の代わりにネガティブプロンプト $c_{\text{neg}}$ を指定できる：

幾何学的には、CFG のガイダンスベクトルは条件付きスコアと無条件スコアの差であり、 negative prompt はこの「基準点」を空文字列から任意のテキストに移動させる操作である。 ガイダンス強度 $w$ が大きいほど、$c_{\text{neg}}$ から $c$ への方向への移動量が増大する。

10. SDXL のアーキテクチャ

SDXL（Podell et al., 2023）は SD 1.x/2.x から大幅に拡張されたアーキテクチャである。

デュアルテキストエンコーダ

SDXL は 2 つのテキストエンコーダの出力を結合する：

さらに、OpenCLIP の pooled output（1280 次元）を時間埋め込みに加算して グローバルなテキスト情報をモデルに注入する。

マイクロ条件付け（Size and Crop Conditioning）

訓練データの元サイズとクロップ座標を追加条件として与え、 生成時にターゲットサイズを指定する。 フーリエ特徴量で埋め込み、時間埋め込みに加算する：

これにより、低解像度訓練データから学習した「ぼけ」や「不自然なクロップ」の アーティファクトを生成時に回避できる。

Refiner（精緻化モデル）

Base モデルが初期の大きなノイズ除去を行い（$t = T \to t_{\text{switch}}$）、 Refiner が残りの精緻化（$t = t_{\text{switch}} \to 0$）を担当する アンサンブル・オブ・エキスパート・デノイザー方式である。 $t_{\text{switch}} \approx 200/1000$ が典型的な切り替え点。

11. Diffusion Transformer（DiT / MM-DiT）

SD 3.0（Esser et al., 2024）は U-Net を完全に廃し、 Diffusion Transformer（DiT; Peebles & Xie, 2023）に基づく MM-DiT（Multimodal DiT）を採用した。

DiT の基本構造

潜在変数 $\bz \in \R^{h \times w \times c}$ を $p \times p$ のパッチに分割し、 線形射影でトークン列 $\boldsymbol{T}_{\text{img}} \in \R^{N \times D}$ に変換する（$N = hw/p^2$）。 これに位置埋め込みを加え、Transformer ブロックを繰り返す。

MM-DiT（SD 3.0 の Joint Attention）

画像トークンとテキストトークンを連結した系列に対して Self-Attention を計算する：

ただし、画像とテキストで独立の QKV 投影行列を持つ（モダリティごとの特徴抽出）。 Attention 計算自体は統一されるため、テキストと画像が対称的に相互作用する。

AdaLN-Zero（適応的正規化）

DiT では時間ステップ $t$ とテキスト pooled embedding を用いて、 各ブロックの LayerNorm のスケール $\gamma$ とシフト $\beta$、 および残差接続のゲート $\alpha$ を動的に生成する：

テキストエンコーダ（トリプル構成）

SD 3.x は 3 つのテキストエンコーダを使用する：

• CLIP ViT-L/14（768d）: 基本的なテキスト理解
• OpenCLIP ViT-bigG/14（1280d）: 高品質なテキスト-画像対応
• T5-XXL（4096d）: 長文・複雑な指示の理解（言語モデルベース）

T5 の追加により、長い自然言語の指示（"a red car parked next to a blue bicycle on a rainy street"）への 忠実度が大きく向上する。

12. Flow Matching と Rectified Flow（SD 3.x / FLUX）

SD 3.x と FLUX は、DDPM の「ノイズを徐々に加える/除去する」枠組みを離れ、 Flow Matching（Lipman et al., 2023）/ Rectified Flow（Liu et al., 2023）に基づく。

連続正規化流（CNF）

データ分布 $p_0$ とノイズ分布 $p_1 = \N(0, I)$ を結ぶ時間依存のベクトル場 $\boldsymbol{v}_\theta(\bx, t)$ を学習する。ODE：

$t = 0$ でデータ $\bx_0$、$t = 1$ でノイズ $\bx_1$ に対応する。 生成時は $\bx_1 \sim \N(0, I)$ から $t = 1 \to 0$ の方向に ODE を解く。

Flow Matching の損失関数

データ $\bx_0$ とノイズ $\bx_1 \sim \N(0, I)$ の線形補間で 中間状態 $\bx_t$ を定義する：

この補間に沿った条件付きベクトル場は：

（$\bx_0$ と $\bx_1$ を結ぶ定数速度の直線）。Flow Matching の損失は：

Rectified Flow（ReFlow）

1 回の Flow Matching 学習後、学習済みモデルの軌道からペア $(\hat{\bx}_0, \hat{\bx}_1)$ を再サンプルし、 それらを直線で結び直す reflow 手順を繰り返すと、 軌道がさらに直線に近づき、1〜4 ステップでの生成品質が劇的に改善する。

SD 3.x の具体的な設定

FLUX のアーキテクチャ

Black Forest Labs の FLUX（2024）は、Rectified Flow + DiT をさらに発展させ：

• Single/Double ストリームブロック: 浅い層で画像・テキストの Joint Attention（Double）、深い層で画像のみの Self-Attention（Single）に切り替え
• Rotary Position Embedding: 2D 画像パッチに RoPE を適用し、任意のアスペクト比に対応
• ガイダンス蒸留: CFG なしでも高品質な生成が可能な蒸留モデル（FLUX.1-schnell は 1〜4 ステップ）
• CLIP-L + T5-XXL: SD 3.x の 3 エンコーダから OpenCLIP-bigG を外し、T5-XXL を主軸に CLIP-L の pooled 埋め込みを併用する（具体的な構成はチェックポイントや実装によって異なる場合がある）

まとめ

参考文献

• Ho et al., "Denoising Diffusion Probabilistic Models" (DDPM, 2020)
• Song et al., "Denoising Diffusion Implicit Models" (DDIM, 2020)
• Song et al., "Score-Based Generative Modeling through Stochastic Differential Equations" (2021)
• Rombach et al., "High-Resolution Image Synthesis with Latent Diffusion Models" (Stable Diffusion, 2022)
• Ho & Salimans, "Classifier-Free Diffusion Guidance" (2022)
• Nichol & Dhariwal, "Improved Denoising Diffusion Probabilistic Models" (2021)
• Vincent, "A Connection Between Score Matching and Denoising Autoencoders" (2011)
• Salimans & Ho, "Progressive Distillation for Fast Sampling of Diffusion Models" (v-prediction, 2022)
• Podell et al., "SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis" (2023)
• Peebles & Xie, "Scalable Diffusion Models with Transformers" (DiT, 2023)
• Esser et al., "Scaling Rectified Flow Transformers for High-Resolution Image Synthesis" (SD 3.0, 2024)
• Lipman et al., "Flow Matching for Generative Modeling" (2023)
• Liu et al., "Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow" (2023)
• Diffusion model - Wikipedia
• 確率微分方程式 - Wikipedia

関連記事

• 拡散モデル（概要）
• 変分オートエンコーダ（VAE）
• 注意機構（Attention）
• Transformer
• 敵対的生成ネットワーク（GAN）

よくある質問