正規分布

Q: 正規分布の確率密度関数の形を教えてください。

正規分布 $N(\mu,\sigma^2)$ の確率密度関数は$f(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$ です。$\mu$ を中心とする左右対称な釣り鐘形で、$\sigma$ が大きいほど裾野が広くなります。分布関数 $\Phi(x)=\int_{-\infty}^x f(t)\,dt$ は閉じた形では書けないため数値表（z-表）が使われます。

Normal Distribution (Gaussian Distribution)

初級

概要

正規分布（Normal Distribution）は、自然界や社会現象において最も頻繁に現れる連続確率分布であり、統計学の中心的な分布である。Carl Friedrich Gauss (1777–1855) の名にちなんでガウス分布（Gaussian Distribution）とも呼ばれる。

正規分布は、身長・体重、測定誤差、試験の成績、株価の変動など、多くのランダム現象を記述する。中心極限定理により、独立な確率変数の和は正規分布に近づくため、実用上極めて重要である。

定義

定義：正規分布

確率変数 $X$ が平均 $\mu$、分散 $\sigma^2$ の正規分布に従うとき、$X \sim N(\mu, \sigma^2)$ と書く。その確率密度関数（PDF）は

$$f(x) = \dfrac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\dfrac{(x - \mu)^2}{2\sigma^2}\right)$$

ここで：

$\mu \in \mathbb{R}$: 期待値（平均）
$\sigma^2 > 0$: 分散
$\sigma$: 標準偏差

グラフの形状

正規分布の確率密度関数は、$x = \mu$ を中心とする釣鐘型（ベル型）の曲線である。$\mu$ が大きいほど右に、$\sigma$ が大きいほど幅広くなる。

性質

期待値と分散

期待値: $E[X] = \mu$
分散: $\text{Var}(X) = \sigma^2$
標準偏差: $\text{SD}(X) = \sigma$

証明：期待値が $\mu$、分散が $\sigma^2$ になること

定義の確率密度関数から直接示す。偏差 $t = x-\mu$ とおくと（$dx = dt$）、

$$g(t) := f(t+\mu) = \dfrac{1}{\sqrt{2\pi}\,\sigma}\,\exp\!\left(-\dfrac{t^2}{2\sigma^2}\right)$$

は $t$ の偶関数である。また $f$ は確率密度なので、全区間にわたる積分は全確率 1 に等しい。これを規格化といい、置換 $t=x-\mu$ でそのまま $g$ にも引き継がれる：

$$\int_{-\infty}^{\infty} g(t)\,dt = \int_{-\infty}^{\infty} f(x)\,dx = 1.$$

「$1$ になる」こと自体は、正規化定数 $\dfrac{1}{\sqrt{2\pi}\,\sigma}$ がガウス積分 $\displaystyle\int_{-\infty}^{\infty} e^{-t^2/(2\sigma^2)}\,dt = \sqrt{2\pi}\,\sigma$ をちょうど打ち消すことと同値である。このガウス積分自体は、2乗して極座標に変換すると得られる：

$$\left(\int_{-\infty}^{\infty} e^{-u^2/2}\,du\right)^{\!2} = \iint_{\mathbb{R}^2} e^{-(u^2+v^2)/2}\,du\,dv = 2\pi.$$

期待値 $E[X]=\mu$：

$$E[X] = \int_{-\infty}^{\infty} x\,f(x)\,dx = \int_{-\infty}^{\infty} (t+\mu)\,g(t)\,dt = \underbrace{\int_{-\infty}^{\infty} t\,g(t)\,dt}_{=\,0} \;+\; \mu\underbrace{\int_{-\infty}^{\infty} g(t)\,dt}_{=\,1} = \mu.$$

第1項は被積分関数 $t\,g(t)$ が奇関数（偶関数 $g$ に $t$ を掛けたもの）であり、対称区間 $(-\infty,\infty)$ 上の積分が $0$ になることによる。

分散 $\text{Var}(X)=\sigma^2$：偏差の2乗の期待値を同じ置換で書き換える。

$$\text{Var}(X) = E[(X-\mu)^2] = \int_{-\infty}^{\infty}(x-\mu)^2 f(x)\,dx = \int_{-\infty}^{\infty} t^2\,g(t)\,dt.$$

指数部の微分 $\dfrac{d}{dt}e^{-t^2/(2\sigma^2)} = -\dfrac{t}{\sigma^2}\,e^{-t^2/(2\sigma^2)}$ から $t\,e^{-t^2/(2\sigma^2)} = -\sigma^2\,\dfrac{d}{dt}e^{-t^2/(2\sigma^2)}$ が得られる。これを用いて部分積分すると、

$$\int_{-\infty}^{\infty} t^2 g(t)\,dt = \dfrac{-\sigma^2}{\sqrt{2\pi}\,\sigma}\int_{-\infty}^{\infty} t\,\dfrac{d}{dt}e^{-t^2/(2\sigma^2)}\,dt = \dfrac{-\sigma^2}{\sqrt{2\pi}\,\sigma}\left(\Bigl[\,t\,e^{-t^2/(2\sigma^2)}\Bigr]_{-\infty}^{\infty} - \int_{-\infty}^{\infty} e^{-t^2/(2\sigma^2)}\,dt\right).$$

境界項は $|t|\to\infty$ で $t\,e^{-t^2/(2\sigma^2)}\to 0$ より消える。残りは規格化 $\displaystyle\dfrac{1}{\sqrt{2\pi}\,\sigma}\int_{-\infty}^{\infty} e^{-t^2/(2\sigma^2)}\,dt = \int_{-\infty}^{\infty} g(t)\,dt = 1$ を使って

$$\int_{-\infty}^{\infty} t^2 g(t)\,dt = \dfrac{\sigma^2}{\sqrt{2\pi}\,\sigma}\int_{-\infty}^{\infty} e^{-t^2/(2\sigma^2)}\,dt = \sigma^2 \cdot 1 = \sigma^2.$$

よって $\text{Var}(X) = \sigma^2$。$\blacksquare$

対称性

正規分布は平均 $\mu$ に関して対称である：$f(\mu + x) = f(\mu - x)$。

図1: 正規分布は平均 μ を通る対称軸に関して左右対称。μ から等距離の2点では高さが等しい（f(μ−a) = f(μ+a)）。

累積分布関数（CDF）

累積分布関数 $F(x) = P(X \leq x)$ は $$F(x) = \displaystyle\int_{-\infty}^{x} f(t) \, dt = \Phi\left(\dfrac{x - \mu}{\sigma}\right)$$ ここで $\Phi$ は標準正規分布の累積分布関数である。$\Phi$ は初等関数で表せないため、数値計算または統計表が用いられる。

図2: 累積分布関数 F(x) = P(X ≤ x)。0 から 1 へ単調増加するS字曲線で、x=μ で F(μ)=1/2（このとき曲線の変曲点）。

68-95-99.7規則

経験則（Empirical Rule）

$X \sim N(\mu, \sigma^2)$ のとき：

$P(\mu - \sigma \leq X \leq \mu + \sigma) \approx 0.683$ （約68%）
$P(\mu - 2\sigma \leq X \leq \mu + 2\sigma) \approx 0.954$ （約95%）
$P(\mu - 3\sigma \leq X \leq \mu + 3\sigma) \approx 0.997$ （約99.7%）

すなわち、ほとんどのデータは平均の3標準偏差以内に収まる。

標準正規分布

平均0、分散1の正規分布を標準正規分布といい、$Z \sim N(0, 1)$ と書く。確率密度関数は $$\varphi(z) = \dfrac{1}{\sqrt{2\pi}} e^{-z^2/2}$$ 累積分布関数は $$\Phi(z) = \displaystyle\int_{-\infty}^{z} \varphi(t) \, dt$$

図3: 標準正規分布 N(0, 1) の確率密度関数 φ(z)。平均0・分散1の釣鐘型で、±1σ（z = −1〜1）の範囲に全確率の約 68.3% が含まれる。

標準化

$X \sim N(\mu, \sigma^2)$ のとき、変数変換 $$Z = \dfrac{X - \mu}{\sigma}$$ により $Z \sim N(0, 1)$ となる。この操作を標準化（standardization）という。

これにより、任意の正規分布の確率計算は標準正規分布の統計表を用いて行える： $$P(a \leq X \leq b) = \Phi\left(\dfrac{b - \mu}{\sigma}\right) - \Phi\left(\dfrac{a - \mu}{\sigma}\right)$$

例

例1: 身長の分布

ある集団の成人男性の身長が平均 $\mu = 170$ cm、標準偏差 $\sigma = 6$ cm の正規分布に従うとする。

問: 身長が176 cm以上の人の割合は？

解: $Z = (176 - 170) / 6 = 1$ より $$P(X \geq 176) = 1 - \Phi(1) \approx 1 - 0.8413 = 0.1587$$ 約15.9%の人が176 cm以上である。

例2: 試験の成績

試験の点数が $N(70, 10^2)$ に従うとき、上位10%に入るために必要な点数は？

解: $\Phi^{-1}(0.9) \approx 1.28$ より $$x = \mu + \sigma \cdot 1.28 = 70 + 10 \times 1.28 = 82.8$$ 約83点以上で上位10%に入る。

中心極限定理

中心極限定理（Central Limit Theorem）

$X_1, X_2, \ldots, X_n$ が独立同分布（期待値 $\mu$、分散 $\sigma^2$）のとき、標本平均 $$\bar{X}_n = \dfrac{1}{n}\displaystyle\sum_{i=1}^{n} X_i$$ は $n \to \infty$ で正規分布 $N(\mu, \sigma^2/n)$ に近づく： $$\dfrac{\bar{X}_n - \mu}{\sigma/\sqrt{n}} \xrightarrow{d} N(0, 1)$$

この定理により、元の分布が何であれ、標本平均は正規分布で近似できる。これは統計的推測の基礎となる。

中心極限定理の証明（特性関数とレヴィの連続性定理による）は、上級編「中心極限定理の証明」を参照。

正規分布の和と積

和の再生性

正規分布の和

$X \sim N(\mu_1, \sigma_1^2)$, $Y \sim N(\mu_2, \sigma_2^2)$ が独立ならば $$X + Y \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)$$ （正規分布の再生性）

証明：独立な正規分布の和がまた正規分布になること

$X, Y$ は独立なので、和 $Z = X+Y$ の確率密度は畳み込みで与えられる：

$$f_Z(z) = \int_{-\infty}^{\infty} f_X(x)\,f_Y(z-x)\,dx.$$

2つの正規密度を代入すると、指数の中身（$-\tfrac{1}{2}$ を除いた部分）は $\dfrac{(x-\mu_1)^2}{\sigma_1^2} + \dfrac{(z-x-\mu_2)^2}{\sigma_2^2}$ となる。これを $x$ について平方完成する。$\sigma^2 := \sigma_1^2 + \sigma_2^2$ とおくと、次の恒等式が成り立つ（右辺を展開すれば確かめられる）：

$$\dfrac{(x-\mu_1)^2}{\sigma_1^2} + \dfrac{(z-x-\mu_2)^2}{\sigma_2^2} = \dfrac{\sigma^2}{\sigma_1^2\sigma_2^2}\,(x-x_0)^2 + \dfrac{\bigl(z-(\mu_1+\mu_2)\bigr)^2}{\sigma^2},\quad x_0 = \dfrac{\sigma_2^2\mu_1 + \sigma_1^2(z-\mu_2)}{\sigma^2}.$$

右辺の第2項は $x$ を含まない。よって $x$ に関する積分はガウス積分で定数となり、$z$ への依存はすべて第2項に集約される：

$$f_Z(z) = \underbrace{\dfrac{1}{2\pi\sigma_1\sigma_2}\int_{-\infty}^{\infty} \exp\!\left(-\dfrac{\sigma^2}{2\sigma_1^2\sigma_2^2}(x-x_0)^2\right)dx}_{=\;1/\sqrt{2\pi\sigma^2}}\;\exp\!\left(-\dfrac{\bigl(z-(\mu_1+\mu_2)\bigr)^2}{2\sigma^2}\right).$$

下線部は、$\displaystyle\int_{-\infty}^{\infty} e^{-(x-x_0)^2/(2\tau^2)}\,dx = \sqrt{2\pi}\,\tau$（ここで $\tau^2 = \sigma_1^2\sigma_2^2/\sigma^2$）を用いると $\dfrac{1}{2\pi\sigma_1\sigma_2}\cdot\sqrt{2\pi}\,\tau = \dfrac{1}{\sqrt{2\pi\sigma^2}}$ となる。したがって

$$f_Z(z) = \dfrac{1}{\sqrt{2\pi(\sigma_1^2+\sigma_2^2)}}\,\exp\!\left(-\dfrac{\bigl(z-(\mu_1+\mu_2)\bigr)^2}{2(\sigma_1^2+\sigma_2^2)}\right),$$

これは $N(\mu_1+\mu_2,\ \sigma_1^2+\sigma_2^2)$ の確率密度関数そのものである。よって $X+Y \sim N(\mu_1+\mu_2,\ \sigma_1^2+\sigma_2^2)$。$\blacksquare$

線形変換

$X \sim N(\mu, \sigma^2)$ に対し、$Y = aX + b$ とすると $$Y \sim N(a\mu + b, a^2\sigma^2)$$

証明：線形変換すると正規分布のままになること（$a \ne 0$）

$a \ne 0$ とする（$a = 0$ なら $Y = b$ は定数となり分布は退化する）。$Y = aX+b$ は単調な変換で、逆変換は $X = \dfrac{Y-b}{a}$、$\left|\dfrac{dx}{dy}\right| = \dfrac{1}{|a|}$。変数変換の公式より $Y$ の密度は

$$f_Y(y) = f_X\!\left(\dfrac{y-b}{a}\right)\cdot\dfrac{1}{|a|}.$$

正規密度を代入する。指数の中身に注目すると

$$\dfrac{y-b}{a} - \mu = \dfrac{y - (a\mu+b)}{a} \quad\Longrightarrow\quad \left(\dfrac{y-b}{a}-\mu\right)^2 = \dfrac{\bigl(y-(a\mu+b)\bigr)^2}{a^2}$$

となるので、$|a|\,\sigma = \sqrt{a^2\sigma^2}$ に注意すると

$$f_Y(y) = \dfrac{1}{|a|}\cdot\dfrac{1}{\sqrt{2\pi}\,\sigma}\exp\!\left(-\dfrac{\bigl(y-(a\mu+b)\bigr)^2}{2a^2\sigma^2}\right) = \dfrac{1}{\sqrt{2\pi\,a^2\sigma^2}}\exp\!\left(-\dfrac{\bigl(y-(a\mu+b)\bigr)^2}{2a^2\sigma^2}\right).$$

これは $N(a\mu+b,\ a^2\sigma^2)$ の確率密度関数そのものである。よって $Y = aX+b \sim N(a\mu+b,\ a^2\sigma^2)$。$\blacksquare$

応用

統計的推測

信頼区間、仮説検定（$t$検定、$z$検定）の基礎として用いられる。中心極限定理により、標本平均の分布を正規分布で近似する。

品質管理

製品の寸法、重量などの測定値は正規分布に従うことが多い。管理図（control chart）で工程管理を行う。

機械学習

ガウス過程、ガウス混合モデル（GMM）、ベイズ推論において正規分布が中心的役割を果たす。

金融工学

株価の対数収益率は正規分布で近似される（実際にはファットテールを持つ）。Black-Scholesモデルなどで用いられる。

信号処理

熱雑音、ショット雑音などは正規分布に従う（中心極限定理による）。フィルタ設計、雑音除去で重要。

自然科学

測定誤差は正規分布に従うと仮定される（最小二乗法の基礎）。物理学、化学、生物学で広く用いられる。

多変量正規分布

$n$ 次元ベクトル $\mathbf{X} = (X_1, \ldots, X_n)^T$ が平均ベクトル $\boldsymbol{\mu}$、共分散行列 $\Sigma$ の多変量正規分布に従うとき、 $$f(\mathbf{x}) = \dfrac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}} \exp\left(-\dfrac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu})\right)$$

多変量正規分布は、多変量統計解析、主成分分析、機械学習（判別分析、ガウス過程）で基礎となる。

参考文献

Ross, S. M. (2014). Introduction to Probability Models (11th ed.). Academic Press.
Casella, G., & Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury.
Feller, W. (1968). An Introduction to Probability Theory and Its Applications, Vol. 1 (3rd ed.). Wiley.
Weisstein, E. W. "Normal Distribution." From MathWorld--A Wolfram Web Resource.

よくある質問

正規分布はなぜ重要なのですか？

正規分布（ガウス分布）$N(\mu,\sigma^2)$ が重要な理由は中心極限定理にあります：独立同一分布に従う確率変数の標本平均は $n\to\infty$ で正規分布に収束します。また多くの自然現象（身長、測定誤差等）が正規分布で近似でき、最大エントロピー原理（平均・分散が固定のとき最も情報量の少ない分布）でも特徴付けられます。

標準正規分布への標準化はどのように行いますか？

$X\sim N(\mu,\sigma^2)$ のとき $Z=(X-\mu)/\sigma\sim N(0,1)$（標準正規分布）となります。標準化により確率 $P(a\leq X\leq b)=\Phi((b-\mu)/\sigma)-\Phi((a-\mu)/\sigma)$ で計算できます（$\Phi$ は標準正規CDF）。68-95-99.7ルールより $P(\mu-\sigma<X<\mu+\sigma)\approx 68\%$ などが覚えやすいです。

正規分布の確率密度関数の形を教えてください。

正規分布 $N(\mu,\sigma^2)$ の確率密度関数は$f(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$ です。$\mu$ を中心とする左右対称な釣り鐘形で、$\sigma$ が大きいほど裾野が広くなります。分布関数 $\Phi(x)=\int_{-\infty}^x f(t)\,dt$ は閉じた形では書けないため数値表（z-表）が使われます。