確率論中級

測度論的確率論（大学3-4年レベル）

中級の概要

中級では、測度論に基づく現代的な確率論を学ぶ。初級までの「離散的」な確率論を、より一般的な枠組みで再構築する。

学習目標

確率論の公理的な基礎を理解する
σ加法族と測度の概念を習得する
一般の確率変数と期待値を扱える
連続分布と密度関数を理解する
確率変数の収束概念を区別できる
大数の法則を証明できる
最尤推定の原理と漸近的性質を理解する

第1章確率論の公理化
コルモゴロフの公理、確率空間 $(\Omega, \mathcal{F}, P)$ の厳密な定義
第2章 σ加法族と測度
σ加法族の定義、ボレル集合 $\mathcal{B}(\mathbb{R})$、測度の拡張
第3章確率変数の一般化
可測関数、分布関数、確率変数の変換
第4章連続分布
密度関数、正規分布 $N(\mu, \sigma^2)$、指数分布、ガンマ分布
第5章期待値の再定義
ルベーグ積分による期待値、単調収束定理、優収束定理
第6章収束概念
概収束、確率収束、$L^p$ 収束、分布収束とその関係
第7章大数の法則
弱法則、強法則、ボレル・カンテリの補題
第8章統計的推定
尤度関数、最尤推定、一致性、漸近正規性

トピック別

確率分布
離散・連続の確率分布の定義と性質
クロスエントロピー
交差エントロピーの定義、KLダイバージェンスとの関係、機械学習の損失関数
シャノンエントロピー
エントロピーの定義と基本性質、相互情報量、KLダイバージェンス、情報源符号化定理
モンテカルロ法
モンテカルロ法の基本原理、分散低減法、MCMC（メトロポリス・ヘイスティングス法・ギブスサンプリング）、収束診断
ランダムウォーク
ランダムウォークの定義と基本性質、マルチンゲール性、破産問題、ポリアの再帰定理、ブラウン運動との関係
コーシー分布
コーシー分布の定義と性質、期待値・分散の非存在性、特性関数、安定性、大数の法則の不成立、ローレンツ分布
大数の法則（証明と応用）
弱法則と強法則の違い、チェビシェフの不等式による証明、モンテカルロ法・保険・世論調査への応用
キュムラント
キュムラント母関数、モーメントとの関係、加法性、正規分布の特徴付け、エッジワース展開、ICAへの応用
積率母関数
積率母関数 $M_X(t)=E[e^{tX}]$ の定義、モーメントの生成、一意性定理、主要分布のMGF一覧、中心極限定理の証明への応用
相互情報量
相互情報量の定義、エントロピーとの関係、KLダイバージェンスとの関係、基本性質、条件付き相互情報量と連鎖律、応用
多変量正規分布
定義（PDF）・共分散行列と相関行列・周辺分布・条件付き分布・マハラノビス距離・アフィン変換での閉包性・応用（PCA、ガウス過程、ポートフォリオ理論）
順序統計量（Order Statistics）
標本を昇順に並べた統計量の分布。一様分布の順序統計量とベータ分布。
全変動距離（Total Variation Distance）
確率測度間の距離。カップリング表現と Pinsker 不等式。
コピュラ（Copula）
スクラーの定理による周辺分布と依存構造の分離。裾依存とリスク管理。
ピンスカーの不等式（Pinsker's Inequality）
全変動距離と KL ダイバージェンスを結ぶ不等式と最良定数。

分布リファレンス

ベータ分布
ベータ分布（Beta Distribution）の定義、ベータ関数との関係、期待値・分散・最頻値、特殊ケース…
ガンマ分布
ガンマ分布（Gamma Distribution）の定義、形状パラメータとレートパラメータの意味、期待値・分…
対数正規分布
対数正規分布（Log-Normal Distribution）の定義、確率密度関数、期待値・分散、幾何平均と…
ワイブル分布
ワイブル分布（Weibull Distribution）の定義、形状パラメータと尺度パラメータ、期待値・分散…
パレート分布
パレート分布（Pareto Distribution）の定義、確率密度関数、期待値・分散、パレートの法則（8…
ラプラス分布
ラプラス分布（Laplace Distribution）の定義、確率密度関数、期待値・分散、モーメント母関数…
レイリー分布
レイリー分布（Rayleigh Distribution）の確率密度関数、累積分布関数、期待値・分散、二次元…
グンベル分布
グンベル分布（Gumbel Distribution）：極値分布Type Iの定義、PDF・CDF、期待値（…
アーラン分布
アーラン分布（Erlang Distribution）：k個の指数分布の和として表される連続分布を、定義・P…
半正規分布
半正規分布（Half-Normal Distribution）の定義・確率密度関数・平均と分散・正規分布との…
逆ガウス分布
逆ガウス分布（Inverse Gaussian Distribution）の定義・PDF・平均・分散・応用を…
非心カイ二乗分布
非心カイ二乗分布（Noncentral Chi-Squared Distribution）の定義・PDF・平…
ロジスティック分布
ロジスティック分布（Logistic Distribution）のPDF・CDF（ロジスティック関数）、期待…
ディリクレ分布
ディリクレ分布（Dirichlet Distribution）の定義・確率密度関数・平均と分散・多項分布の共…
フォン・ミーゼス分布
フォン・ミーゼス分布（Von Mises Distribution）：円周上の確率分布を、定義・PDF・平均…
マクスウェル分布
マクスウェル分布（Maxwell Distribution）の確率密度関数、期待値・最頻値・二乗平均、カイ分…
ベンフォードの法則
ベンフォードの法則（Benford's Law）：自然界のデータの先頭桁が一様でなく log10(1+1/d…
ジップの法則
ジップの法則（Zipf's Law）：単語の出現頻度が順位に反比例するべき乗則を、定義・PMF・平均・応用（…
フレシェ分布
フレシェ分布（Fréchet distribution）の定義・PDF・平均・分散・応用を入門レベルで解説す…
ベータ二項分布
ベータ二項分布（Beta-Binomial Distribution）の定義・確率質量関数・平均と分散・過分…
歪正規分布
歪正規分布（Skew Normal Distribution）の定義・確率密度関数・平均と分散・歪度・応用を…
対数ロジスティック分布
対数ロジスティック分布（Log-Logistic Distribution）の定義・PDF・CDF・平均・分…
一般化ガンマ分布
一般化ガンマ分布（Generalized Gamma Distribution）の定義・PDF・平均・分散・…
一般化パレート分布
一般化パレート分布（Generalized Pareto Distribution）の定義・PDF・平均・分…

読み物

偶然を厳密にする［読み物］
二百年あやしい土台のままだった確率論。ヒルベルトの第6問題からコルモゴロフの公理系へ、「確率とは測度である」という一行の物語。
釣鐘はなぜ至るところに現れるのか［読み物］
身長も誤差も平均点も、出自はバラバラなのに同じ釣鐘型へ落ち着く。小さなゆらぎの足し算が正規分布を生む、中心極限定理という偶然の収束点の物語。
平均が嘘をつくとき［読み物］
期待値が無限大になり、存在せず、現実から外れる。サンクトペテルブルクの逆説と裾の重い分布から、「たった一つの数で要約する」ことの危うさを眺める物語。

前提知識

確率論初級の内容
実解析の基礎（上限・下限、極限）
ルベーグ積分の基礎（あれば望ましい）

確率論中級

中級の概要

学習目標

目次

トピック別

関連用語

分布リファレンス

読み物

前提知識