証明集 第1章: スカラ1変数の微分
Proofs Chapter 1: Scalar Derivatives of Single Variable
1. スカラ1変数の微分
本章では、行列微分の基礎となるスカラ1変数関数の微分について、定義から基本公式までを厳密に証明する。行列微分の多くの公式は、1変数微分の結果を成分ごとに適用することで導出される。したがって、1変数微分の理解は行列微分を学ぶ上での必須の前提知識である。
本証明集シリーズでは、第2章以降の行列微分において分母レイアウト(denominator layout)を採用している。分母レイアウトでは、スカラをベクトルで微分した結果は列ベクトル、ベクトルをスカラで微分した結果は行ベクトルとなる。詳細はレイアウト規約を参照。
本章のロードマップ
本章は以下の構成で微分理論を展開する。各定理・公式は、それを使用する前に証明される論理的順序で配置されている。
- 1.1 微分の定義と基本概念(1.1–1.3):微分係数・導関数の定義、微分可能性と連続性
- 1.2 基礎定理と恒等式(1.4–1.10):Pascal恒等式、二項定理、三角関数の恒等式と基本極限
- 1.3 線形代数の基礎定理(1.11–1.15):トレースと行列式の性質
- 1.4 基本関数の微分(1.16–1.23):定数、べき、指数、対数関数
- 1.5 微分の演算法則(1.24–1.29):線形性、積・商・合成・逆関数の微分
- 1.6 三角関数の微分(1.30–1.33):sin, cos, tan 等
- 1.7 逆三角関数の微分(1.34–1.36):arcsin, arccos, arctan
- 1.8 双曲線関数の微分(1.37–1.39):sinh, cosh, tanh
- 1.9 その他の重要な微分公式(1.40–1.43):絶対値、シグモイド、Softplus、Leibniz公式
1.1 微分の定義と基本概念
関数 $f(x)$ の点 $x = a$ における微分係数は、その点での瞬間変化率を表す。これは物理学における速度(位置の時間変化率)や、経済学における限界効用(効用の消費量変化率)など、様々な分野で本質的な概念である。
1.1 点での微分係数の定義
解説
この定義を幾何学的に解説する。
点 $(a, f(a))$ と点 $(a+h, f(a+h))$ を結ぶ直線(割線)の傾きを考える。
\begin{equation}\text{割線の傾き} = \frac{f(a+h) - f(a)}{(a+h) - a} = \frac{f(a+h) - f(a)}{h} \label{eq:1-1-1}\end{equation}
$h \to 0$ のとき、点 $(a+h, f(a+h))$ は曲線に沿って点 $(a, f(a))$ に近づく。このとき割線は接線に近づく。
\begin{equation}f'(a) = \lim_{h \to 0} \frac{f(a+h) - f(a)}{h} \label{eq:1-1-2}\end{equation}
微分係数の表記法として、$f'(a)$ のほかに $\displaystyle \frac{df}{dx}\bigg|_{x=a}$ とも書く。
1.2 導関数の定義(微分係数を関数としてみる)
解説
微分係数 $f'(a)$ は特定の点 $a$ での値であった。$a$ を変数 $x$ に置き換えると、$x$ の関数としての導関数が定義される。
\begin{equation}f'(x) = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h} \label{eq:1-2-1}\end{equation}
導関数の表記法には複数の流儀がある。
Leibniz記法:$\displaystyle \frac{df}{dx}$、$\displaystyle \frac{d}{dx}f(x)$
Lagrange記法:$f'(x)$
Newton記法:$\dot{f}$(時間微分によく使用)
高階微分は以下のように定義される。
\begin{equation}f''(x) = \frac{d^2f}{dx^2} = \frac{d}{dx}\left(\frac{df}{dx}\right) \label{eq:1-2-2}\end{equation}
\begin{equation}f^{(n)}(x) = \frac{d^n f}{dx^n} = \frac{d}{dx}\left(\frac{d^{n-1}f}{dx^{n-1}}\right) \label{eq:1-2-3}\end{equation}
1.3 微分可能性と連続性
証明
前提:本証明では、極限の基本性質(和・積・定数倍の極限法則)を既知として用いる。
$f$ が点 $a$ で微分可能であると仮定する。微分可能の定義より、極限
\begin{equation}f'(a) = \lim_{h \to 0} \frac{f(a+h) - f(a)}{h} \label{eq:1-3-1}\end{equation}
が存在する。
連続性を示すには、$\lim_{h \to 0} f(a+h) = f(a)$ を証明すればよい。
$h \neq 0$ のとき、$f(a+h) - f(a)$ を以下のように変形する。
\begin{equation}f(a+h) - f(a) = \frac{f(a+h) - f(a)}{h} \cdot h \label{eq:1-3-2}\end{equation}
$\eqref{eq:1-3-2}$ の両辺で $h \to 0$ の極限を取る。極限の積の法則 $\lim (AB) = (\lim A)(\lim B)$(両極限が存在する場合)より
\begin{equation}\lim_{h \to 0} [f(a+h) - f(a)] = \lim_{h \to 0} \frac{f(a+h) - f(a)}{h} \cdot \lim_{h \to 0} h \label{eq:1-3-3}\end{equation}
$\eqref{eq:1-3-1}$ より第1因子は $f'(a)$(有限値)に収束し、第2因子は 0 に収束する。
\begin{equation}\lim_{h \to 0} [f(a+h) - f(a)] = f'(a) \cdot 0 = 0 \label{eq:1-3-4}\end{equation}
$\eqref{eq:1-3-4}$ より
\begin{equation}\lim_{h \to 0} f(a+h) = f(a) \label{eq:1-3-5}\end{equation}
$\eqref{eq:1-3-5}$ は $f$ が点 $a$ で連続であることを意味する。
1.2 基礎定理と恒等式
本節では、微分公式の導出に必要となる基礎的な定理・恒等式を証明する。これらは後続の証明で参照される土台となる。
1.4 Pascalの恒等式
証明
二項係数の定義から直接計算する。
二項係数の定義より
\begin{equation}\binom{n}{k-1} = \frac{n!}{(k-1)!(n-k+1)!}, \quad \binom{n}{k} = \frac{n!}{k!(n-k)!} \label{eq:1-4-1}\end{equation}
左辺を計算する。通分のため、分母を $k!(n-k+1)!$ に揃える。
\begin{equation}\binom{n}{k-1} + \binom{n}{k} = \frac{n! \cdot k}{k!(n-k+1)!} + \frac{n! \cdot (n-k+1)}{k!(n-k+1)!} \label{eq:1-4-2}\end{equation}
分子を整理する。
\begin{equation}\binom{n}{k-1} + \binom{n}{k} = \frac{n! (k + n - k + 1)}{k!(n-k+1)!} = \frac{n! (n + 1)}{k!(n-k+1)!} \label{eq:1-4-3}\end{equation}
$n! (n + 1) = (n + 1)!$ であるから
\begin{equation}\binom{n}{k-1} + \binom{n}{k} = \frac{(n+1)!}{k!(n+1-k)!} = \binom{n+1}{k} \label{eq:1-4-4}\end{equation}
1.5 二項定理
証明
数学的帰納法で証明する。
基底:$n = 0$ のとき、左辺は $(x + y)^0 = 1$、右辺は $\sum_{k=0}^{0} \binom{0}{0} x^0 y^0 = 1$ で一致する。
帰納段階:$n = m$ で成立すると仮定する。
\begin{equation}(x + y)^m = \sum_{k=0}^{m} \binom{m}{k} x^{m-k} y^k \label{eq:1-5-1}\end{equation}
$n = m + 1$ の場合を考える。
\begin{equation}(x + y)^{m+1} = (x + y)(x + y)^m = (x + y) \sum_{k=0}^{m} \binom{m}{k} x^{m-k} y^k \label{eq:1-5-2}\end{equation}
$\eqref{eq:1-5-2}$ を展開する。
\begin{equation}(x + y)^{m+1} = \sum_{k=0}^{m} \binom{m}{k} x^{m+1-k} y^k + \sum_{k=0}^{m} \binom{m}{k} x^{m-k} y^{k+1} \label{eq:1-5-3}\end{equation}
第2項で $j = k + 1$ と置換すると($k = j - 1$)
\begin{equation}\sum_{k=0}^{m} \binom{m}{k} x^{m-k} y^{k+1} = \sum_{j=1}^{m+1} \binom{m}{j-1} x^{m+1-j} y^j \label{eq:1-5-4}\end{equation}
$\eqref{eq:1-5-3}$ と $\eqref{eq:1-5-4}$ を合わせると
\begin{equation}(x + y)^{m+1} = \binom{m}{0} x^{m+1} + \sum_{k=1}^{m} \left[ \binom{m}{k} + \binom{m}{k-1} \right] x^{m+1-k} y^k + \binom{m}{m} y^{m+1} \label{eq:1-5-5}\end{equation}
Pascalの恒等式(1.4)$\binom{m}{k} + \binom{m}{k-1} = \binom{m+1}{k}$ と、$\binom{m}{0} = \binom{m+1}{0} = 1$、$\binom{m}{m} = \binom{m+1}{m+1} = 1$ を用いると
\begin{equation}(x + y)^{m+1} = \sum_{k=0}^{m+1} \binom{m+1}{k} x^{m+1-k} y^k \label{eq:1-5-6}\end{equation}
数学的帰納法により、すべての非負整数 $n$ について二項定理が成立する。
1.6 ピタゴラスの恒等式
証明
単位円の定義から証明する。
単位円は原点を中心とする半径 1 の円であり、方程式は
\begin{equation}x^2 + y^2 = 1 \label{eq:1-6-1}\end{equation}
角度 $\theta$ に対応する単位円上の点の座標は $(\cos\theta, \sin\theta)$ と定義される。
\begin{equation}(x, y) = (\cos\theta, \sin\theta) \label{eq:1-6-2}\end{equation}
$\eqref{eq:1-6-2}$ を $\eqref{eq:1-6-1}$ に代入すると
\begin{equation}\cos^2\theta + \sin^2\theta = 1 \label{eq:1-6-3}\end{equation}
変数名を変えて、すべての $x \in \mathbb{R}$ に対して
\begin{equation}\sin^2 x + \cos^2 x = 1 \label{eq:1-6-4}\end{equation}
1.7 三角関数の加法定理
証明
単位円と回転行列を用いて証明する。
角度 $\theta$ に対応する単位円上の点は $(\cos\theta, \sin\theta)$ で表される。これは点 $(1, 0)$ を原点周りに角度 $\theta$ だけ回転させた点に等しい。
角度 $\theta$ の回転を表す行列は
\begin{equation}R(\theta) = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix} \label{eq:1-7-1}\end{equation}
回転の合成より、角度 $x$ の回転に続けて角度 $y$ の回転を行うと、合計で角度 $x + y$ の回転になる。
\begin{equation}R(x + y) = R(y) R(x) \label{eq:1-7-2}\end{equation}
$\eqref{eq:1-7-2}$ の右辺を計算する。
\begin{equation}R(y) R(x) = \begin{pmatrix} \cos y & -\sin y \\ \sin y & \cos y \end{pmatrix} \begin{pmatrix} \cos x & -\sin x \\ \sin x & \cos x \end{pmatrix} \label{eq:1-7-3}\end{equation}
行列積を展開する。
\begin{equation}R(y) R(x) = \begin{pmatrix} \cos y \cos x - \sin y \sin x & -\cos y \sin x - \sin y \cos x \\ \sin y \cos x + \cos y \sin x & -\sin y \sin x + \cos y \cos x \end{pmatrix} \label{eq:1-7-4}\end{equation}
$\eqref{eq:1-7-2}$ の左辺は
\begin{equation}R(x + y) = \begin{pmatrix} \cos(x + y) & -\sin(x + y) \\ \sin(x + y) & \cos(x + y) \end{pmatrix} \label{eq:1-7-5}\end{equation}
$\eqref{eq:1-7-4}$ と $\eqref{eq:1-7-5}$ の成分を比較すると
\begin{equation}\cos(x + y) = \cos x \cos y - \sin x \sin y \label{eq:1-7-6}\end{equation}
\begin{equation}\sin(x + y) = \sin x \cos y + \cos x \sin y \label{eq:1-7-7}\end{equation}
1.8 正弦関数の基本極限
証明
単位円を用いた幾何学的証明を行う。$0 < x < \frac{\pi}{2}$ の場合を考える。
単位円において、中心角 $x$(ラジアン)に対応する弧、弦、接線を考える。原点を $O$、単位円上の点を $A = (1, 0)$、角度 $x$ に対応する点を $B = (\cos x, \sin x)$、点 $A$ における単位円の接線と直線 $OB$ の延長との交点を $C = (1, \tan x)$ とする。
これらの図形の面積を比較する。
\begin{equation}\text{三角形 } OAB \text{ の面積} < \text{扇形 } OAB \text{ の面積} < \text{三角形 } OAC \text{ の面積} \label{eq:1-8-1}\end{equation}
各面積を計算する。
\begin{equation}\text{三角形 } OAB = \frac{1}{2} \cdot 1 \cdot \sin x = \frac{\sin x}{2} \label{eq:1-8-2}\end{equation}
\begin{equation}\text{扇形 } OAB = \frac{1}{2} \cdot 1^2 \cdot x = \frac{x}{2} \label{eq:1-8-3}\end{equation}
\begin{equation}\text{三角形 } OAC = \frac{1}{2} \cdot 1 \cdot \tan x = \frac{\tan x}{2} \label{eq:1-8-4}\end{equation}
$\eqref{eq:1-8-1}$ に $\eqref{eq:1-8-2}$、$\eqref{eq:1-8-3}$、$\eqref{eq:1-8-4}$ を代入する。
\begin{equation}\frac{\sin x}{2} < \frac{x}{2} < \frac{\tan x}{2} = \frac{\sin x}{2 \cos x} \label{eq:1-8-5}\end{equation}
$\sin x > 0$($0 < x < \frac{\pi}{2}$ より)で全体を割り、逆数をとる。
\begin{equation}1 > \frac{\sin x}{x} > \cos x \label{eq:1-8-6}\end{equation}
すなわち
\begin{equation}\cos x < \frac{\sin x}{x} < 1 \label{eq:1-8-7}\end{equation}
$x \to 0^+$ のとき $\cos x \to 1$ であるから、はさみうちの原理より
\begin{equation}\lim_{x \to 0^+} \frac{\sin x}{x} = 1 \label{eq:1-8-8}\end{equation}
$\frac{\sin x}{x}$ は偶関数($\sin(-x) = -\sin x$ より $\frac{\sin(-x)}{-x} = \frac{\sin x}{x}$)であるから、$x \to 0^-$ のときも同じ極限値をもつ。
\begin{equation}\lim_{x \to 0} \frac{\sin x}{x} = 1 \label{eq:1-8-9}\end{equation}
1.9 余弦関数の基本極限
証明
半角公式と 1.8 を用いて証明する。
半角公式より
\begin{equation}1 - \cos x = 2\sin^2\frac{x}{2} \label{eq:1-9-1}\end{equation}
$\eqref{eq:1-9-1}$ を用いると
\begin{equation}\frac{1 - \cos x}{x} = \frac{2\sin^2\frac{x}{2}}{x} = \frac{2\sin^2\frac{x}{2}}{2 \cdot \frac{x}{2}} = \sin\frac{x}{2} \cdot \frac{\sin\frac{x}{2}}{\frac{x}{2}} \label{eq:1-9-2}\end{equation}
$x \to 0$ のとき、$\frac{x}{2} \to 0$ であるから、1.8 より $\frac{\sin\frac{x}{2}}{\frac{x}{2}} \to 1$。また $\sin\frac{x}{2} \to 0$ であるから
\begin{equation}\lim_{x \to 0} \frac{1 - \cos x}{x} = 0 \cdot 1 = 0 \label{eq:1-9-3}\end{equation}
1.10 双曲線恒等式
証明
双曲線関数の定義から直接計算する。
$\cosh^2 x$ を計算する。
\begin{equation}\cosh^2 x = \left( \frac{e^x + e^{-x}}{2} \right)^2 = \frac{e^{2x} + 2 + e^{-2x}}{4} \label{eq:1-10-1}\end{equation}
$\sinh^2 x$ を計算する。
\begin{equation}\sinh^2 x = \left( \frac{e^x - e^{-x}}{2} \right)^2 = \frac{e^{2x} - 2 + e^{-2x}}{4} \label{eq:1-10-2}\end{equation}
$\eqref{eq:1-10-1}$ から $\eqref{eq:1-10-2}$ を引く。
\begin{equation}\cosh^2 x - \sinh^2 x = \frac{e^{2x} + 2 + e^{-2x}}{4} - \frac{e^{2x} - 2 + e^{-2x}}{4} = \frac{4}{4} = 1 \label{eq:1-10-3}\end{equation}
1.3 線形代数の基礎定理
行列微分では、トレースや行列式の性質が頻繁に使用される。本節ではこれらの基本的な性質を証明する。
1.11 トレースの線形性
証明
トレースの定義から直接証明する。
トレースの定義は対角成分の和である。
\begin{equation}\text{tr}(\boldsymbol{A}) = \sum_{i=0}^{n-1} A_{ii} \label{eq:1-11-1}\end{equation}
$\alpha \boldsymbol{A} + \beta \boldsymbol{B}$ の $(i, i)$ 成分は $\alpha A_{ii} + \beta B_{ii}$ である。
\begin{equation}\text{tr}(\alpha \boldsymbol{A} + \beta \boldsymbol{B}) = \sum_{i=0}^{n-1} (\alpha A_{ii} + \beta B_{ii}) \label{eq:1-11-2}\end{equation}
和の線形性より
\begin{equation}\text{tr}(\alpha \boldsymbol{A} + \beta \boldsymbol{B}) = \alpha \sum_{i=0}^{n-1} A_{ii} + \beta \sum_{i=0}^{n-1} B_{ii} = \alpha \text{tr}(\boldsymbol{A}) + \beta \text{tr}(\boldsymbol{B}) \label{eq:1-11-3}\end{equation}
1.12 トレースの巡回性
証明
まず2行列の場合 $\text{tr}(\boldsymbol{AB}) = \text{tr}(\boldsymbol{BA})$ を証明し、それを3行列に拡張する。
$\boldsymbol{A} \in \mathbb{R}^{m \times n}$、$\boldsymbol{B} \in \mathbb{R}^{n \times m}$ とする。行列積の定義より
\begin{equation}(\boldsymbol{AB})_{ij} = \sum_{k=0}^{n-1} A_{ik} B_{kj} \label{eq:1-12-1}\end{equation}
$\boldsymbol{AB} \in \mathbb{R}^{m \times m}$ のトレースを計算する。
\begin{equation}\text{tr}(\boldsymbol{AB}) = \sum_{i=0}^{m-1} (\boldsymbol{AB})_{ii} = \sum_{i=0}^{m-1} \sum_{k=0}^{n-1} A_{ik} B_{ki} \label{eq:1-12-2}\end{equation}
同様に $\boldsymbol{BA} \in \mathbb{R}^{n \times n}$ のトレースを計算する。
\begin{equation}\text{tr}(\boldsymbol{BA}) = \sum_{k=0}^{n-1} (\boldsymbol{BA})_{kk} = \sum_{k=0}^{n-1} \sum_{i=0}^{m-1} B_{ki} A_{ik} \label{eq:1-12-3}\end{equation}
$\eqref{eq:1-12-2}$ と $\eqref{eq:1-12-3}$ を比較する。和の順序を入れ替えて
\begin{equation}\text{tr}(\boldsymbol{AB}) = \sum_{i=0}^{m-1} \sum_{k=0}^{n-1} A_{ik} B_{ki} = \sum_{k=0}^{n-1} \sum_{i=0}^{m-1} A_{ik} B_{ki} = \sum_{k=0}^{n-1} \sum_{i=0}^{m-1} B_{ki} A_{ik} = \text{tr}(\boldsymbol{BA}) \label{eq:1-12-4}\end{equation}
3行列の場合に拡張する。$\boldsymbol{D} = \boldsymbol{AB}$ とおくと
\begin{equation}\text{tr}(\boldsymbol{ABC}) = \text{tr}(\boldsymbol{DC}) = \text{tr}(\boldsymbol{CD}) = \text{tr}(\boldsymbol{CAB}) \label{eq:1-12-5}\end{equation}
同様に $\boldsymbol{E} = \boldsymbol{BC}$ とおくと
\begin{equation}\text{tr}(\boldsymbol{ABC}) = \text{tr}(\boldsymbol{AE}) = \text{tr}(\boldsymbol{EA}) = \text{tr}(\boldsymbol{BCA}) \label{eq:1-12-6}\end{equation}
1.13 トレースと転置
証明
転置行列の対角成分は元の行列の対角成分と同じである。
転置の定義より $(\boldsymbol{A}^\top)_{ij} = A_{ji}$ である。特に対角成分については
\begin{equation}(\boldsymbol{A}^\top)_{ii} = A_{ii} \label{eq:1-13-1}\end{equation}
トレースの定義より
\begin{equation}\text{tr}(\boldsymbol{A}^\top) = \sum_{i=0}^{n-1} (\boldsymbol{A}^\top)_{ii} = \sum_{i=0}^{n-1} A_{ii} = \text{tr}(\boldsymbol{A}) \label{eq:1-13-2}\end{equation}
1.14 行列式の積
証明
ブロック行列の行列式を用いて証明する。
次のブロック行列を考える。
\begin{equation}\boldsymbol{M} = \begin{pmatrix} \boldsymbol{A} & \boldsymbol{O} \\ -\boldsymbol{I} & \boldsymbol{B} \end{pmatrix} \label{eq:1-14-1}\end{equation}
$\boldsymbol{M}$ に対して、第1ブロック行に $\boldsymbol{B}$ を右から掛けて第2ブロック行に加える行基本変形を行う。この操作は行列式を変えない。
\begin{equation}\begin{pmatrix} \boldsymbol{I} & \boldsymbol{O} \\ \boldsymbol{O} & \boldsymbol{I} \end{pmatrix} \begin{pmatrix} \boldsymbol{A} & \boldsymbol{O} \\ -\boldsymbol{I} & \boldsymbol{B} \end{pmatrix} \begin{pmatrix} \boldsymbol{I} & \boldsymbol{B} \\ \boldsymbol{O} & \boldsymbol{I} \end{pmatrix} = \begin{pmatrix} \boldsymbol{A} & \boldsymbol{AB} \\ -\boldsymbol{I} & \boldsymbol{O} \end{pmatrix} \label{eq:1-14-2}\end{equation}
さらに第2ブロック行に $\boldsymbol{A}$ を左から掛けて第1ブロック行に加える。
\begin{equation}\begin{pmatrix} \boldsymbol{I} & \boldsymbol{A} \\ \boldsymbol{O} & \boldsymbol{I} \end{pmatrix} \begin{pmatrix} \boldsymbol{A} & \boldsymbol{AB} \\ -\boldsymbol{I} & \boldsymbol{O} \end{pmatrix} = \begin{pmatrix} \boldsymbol{O} & \boldsymbol{AB} \\ -\boldsymbol{I} & \boldsymbol{O} \end{pmatrix} \label{eq:1-14-3}\end{equation}
三角ブロック行列の行列式は対角ブロックの行列式の積に等しい。
\begin{equation}\det(\boldsymbol{M}) = \det\begin{pmatrix} \boldsymbol{A} & \boldsymbol{O} \\ -\boldsymbol{I} & \boldsymbol{B} \end{pmatrix} = \det(\boldsymbol{A}) \det(\boldsymbol{B}) \label{eq:1-14-4}\end{equation}
一方、$\eqref{eq:1-14-3}$ の行列の行列式を計算する。ブロック行・列の交換により
\begin{equation}\det\begin{pmatrix} \boldsymbol{O} & \boldsymbol{AB} \\ -\boldsymbol{I} & \boldsymbol{O} \end{pmatrix} = (-1)^n \det\begin{pmatrix} -\boldsymbol{I} & \boldsymbol{O} \\ \boldsymbol{O} & \boldsymbol{AB} \end{pmatrix} = (-1)^n \cdot (-1)^n \det(\boldsymbol{AB}) = \det(\boldsymbol{AB}) \label{eq:1-14-5}\end{equation}
行基本変形は行列式を変えないので、$\eqref{eq:1-14-4}$ と $\eqref{eq:1-14-5}$ より
\begin{equation}\det(\boldsymbol{A}) \det(\boldsymbol{B}) = \det(\boldsymbol{AB}) \label{eq:1-14-6}\end{equation}
1.15 転置の行列式
証明
行列式のLeibniz公式(A.5)を用いて証明する。
行列式のLeibniz公式は
\begin{equation}\det(\boldsymbol{A}) = \sum_{\sigma \in S_n} \text{sgn}(\sigma) \prod_{i=0}^{n-1} A_{i, \sigma(i)} \label{eq:1-15-1}\end{equation}
ここで $S_n$ は $\{0, 1, \ldots, n-1\}$ の置換全体、$\text{sgn}(\sigma)$ は置換 $\sigma$ の符号である。
転置行列 $\boldsymbol{A}^\top$ の行列式を計算する。$(\boldsymbol{A}^\top)_{ij} = A_{ji}$ より
\begin{equation}\det(\boldsymbol{A}^\top) = \sum_{\sigma \in S_n} \text{sgn}(\sigma) \prod_{i=0}^{n-1} (\boldsymbol{A}^\top)_{i, \sigma(i)} = \sum_{\sigma \in S_n} \text{sgn}(\sigma) \prod_{i=0}^{n-1} A_{\sigma(i), i} \label{eq:1-15-2}\end{equation}
$j = \sigma(i)$ と置換を導入する。$\sigma$ が全単射であるから、$i$ が $0$ から $n-1$ を動くとき $j = \sigma(i)$ も $0$ から $n-1$ のすべての値を一度ずつとる。逆置換 $\sigma^{-1}$ を用いると $i = \sigma^{-1}(j)$ である。
\begin{equation}\prod_{i=0}^{n-1} A_{\sigma(i), i} = \prod_{j=0}^{n-1} A_{j, \sigma^{-1}(j)} \label{eq:1-15-3}\end{equation}
$\sigma$ が $S_n$ を動くとき $\sigma^{-1}$ も $S_n$ を動く。また $\text{sgn}(\sigma^{-1}) = \text{sgn}(\sigma)$ である。$\tau = \sigma^{-1}$ と置き換えると
\begin{equation}\det(\boldsymbol{A}^\top) = \sum_{\tau \in S_n} \text{sgn}(\tau) \prod_{j=0}^{n-1} A_{j, \tau(j)} = \det(\boldsymbol{A}) \label{eq:1-15-4}\end{equation}
1.4 基本関数の微分
以下では、基本的な関数の導関数を定義から直接導出する。これらの結果は、合成関数の微分法則と組み合わせることで、より複雑な関数の微分を計算する際の基礎となる。
1.16 定数関数の微分
証明
$f(x) = c$(定数関数)とする。微分の定義に従って計算する。
\begin{equation}\frac{df}{dx} = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h} \label{eq:1-16-1}\end{equation}
$f(x+h) = c$ および $f(x) = c$ を $\eqref{eq:1-16-1}$ に代入する。
\begin{equation}\frac{df}{dx} = \lim_{h \to 0} \frac{c - c}{h} = \lim_{h \to 0} \frac{0}{h} = \lim_{h \to 0} 0 = 0 \label{eq:1-16-2}\end{equation}
1.17 恒等関数の微分
証明
$f(x) = x$ とする。微分の定義に従って計算する。
\begin{equation}\frac{df}{dx} = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h} \label{eq:1-17-1}\end{equation}
$f(x+h) = x + h$ および $f(x) = x$ を $\eqref{eq:1-17-1}$ に代入する。
\begin{equation}\frac{df}{dx} = \lim_{h \to 0} \frac{(x+h) - x}{h} = \lim_{h \to 0} \frac{h}{h} = \lim_{h \to 0} 1 = 1 \label{eq:1-17-2}\end{equation}
1.18 べき関数の微分(正整数)
証明
$f(x) = x^n$($n$ は正整数)とする。微分の定義に従って計算する。
\begin{equation}\frac{df}{dx} = \lim_{h \to 0} \frac{(x+h)^n - x^n}{h} \label{eq:1-18-1}\end{equation}
二項定理(1.5)を用いて $(x+h)^n$ を展開する。
\begin{equation}(x+h)^n = \sum_{k=0}^{n} \binom{n}{k} x^{n-k} h^k = x^n + nx^{n-1}h + \binom{n}{2}x^{n-2}h^2 + \cdots + h^n \label{eq:1-18-2}\end{equation}
$\eqref{eq:1-18-2}$ を $\eqref{eq:1-18-1}$ に代入する。
\begin{equation}\frac{df}{dx} = \lim_{h \to 0} \frac{x^n + nx^{n-1}h + \binom{n}{2}x^{n-2}h^2 + \cdots + h^n - x^n}{h} \label{eq:1-18-3}\end{equation}
$x^n$ が打ち消し合い、分子の各項を $h$ で割る。
\begin{equation}\frac{df}{dx} = \lim_{h \to 0} \left[ nx^{n-1} + \binom{n}{2}x^{n-2}h + \cdots + h^{n-1} \right] \label{eq:1-18-4}\end{equation}
$h \to 0$ の極限を取る。第2項以降は $h$ の正べきを含むのですべて 0 に収束する。
\begin{equation}\frac{d}{dx} x^n = nx^{n-1} \label{eq:1-18-5}\end{equation}
1.19 べき関数の微分(一般の実数)
証明
$x > 0$ のとき、$x^a = e^{a \ln x}$ と書ける。この表現を用いて微分する。
注:解析学では、自然対数 $\ln$ を $e^y$ の逆関数として定義し、$x^a = e^{a \ln x}$ を一般の実数べきの定義として採用する。これにより、べき関数の微分が指数・対数関数の微分に帰着される。
$f(x) = x^a = e^{a \ln x}$ とおく。合成関数の微分法則(1.26)を適用する。
\begin{equation}\frac{df}{dx} = \frac{d}{dx} e^{a \ln x} \label{eq:1-19-1}\end{equation}
$u = a \ln x$ とおくと、$f = e^u$ であり
\begin{equation}\frac{df}{dx} = \frac{de^u}{du} \cdot \frac{du}{dx} \label{eq:1-19-2}\end{equation}
$\displaystyle \frac{d}{du} e^u = e^u$(1.20)および $\displaystyle \frac{d}{dx}(a \ln x) = \frac{a}{x}$(1.21)より
\begin{equation}\frac{df}{dx} = e^{a \ln x} \cdot \frac{a}{x} = x^a \cdot \frac{a}{x} = a x^{a-1} \label{eq:1-19-3}\end{equation}
1.20 指数関数の微分
証明
$f(x) = e^x$ とする。微分の定義に従って計算する。
\begin{equation}\frac{df}{dx} = \lim_{h \to 0} \frac{e^{x+h} - e^x}{h} \label{eq:1-20-1}\end{equation}
指数法則 $e^{x+h} = e^x \cdot e^h$ を用いて $e^x$ を因数として括り出す。
\begin{equation}\frac{df}{dx} = \lim_{h \to 0} \frac{e^x \cdot e^h - e^x}{h} = \lim_{h \to 0} e^x \cdot \frac{e^h - 1}{h} = e^x \cdot \lim_{h \to 0} \frac{e^h - 1}{h} \label{eq:1-20-2}\end{equation}
極限 $\lim_{h \to 0} \frac{e^h - 1}{h}$ を計算する。ここでは $e^h$ のTaylor展開を既知として用いる(Taylor展開の収束性と項別操作の正当化は解析学で別途証明される)。
\begin{equation}e^h = 1 + h + \frac{h^2}{2!} + \frac{h^3}{3!} + \cdots \label{eq:1-20-3}\end{equation}
$\eqref{eq:1-20-3}$ より
\begin{equation}e^h - 1 = h + \frac{h^2}{2!} + \frac{h^3}{3!} + \cdots \label{eq:1-20-4}\end{equation}
$\eqref{eq:1-20-4}$ の両辺を $h$ で割る。
\begin{equation}\frac{e^h - 1}{h} = 1 + \frac{h}{2!} + \frac{h^2}{3!} + \cdots \label{eq:1-20-5}\end{equation}
$h \to 0$ の極限を取る。
\begin{equation}\lim_{h \to 0} \frac{e^h - 1}{h} = 1 \label{eq:1-20-6}\end{equation}
$\eqref{eq:1-20-6}$ を $\eqref{eq:1-20-2}$ に代入する。
\begin{equation}\frac{d}{dx} e^x = e^x \cdot 1 = e^x \label{eq:1-20-7}\end{equation}
1.21 自然対数の微分
証明
$f(x) = \ln x$ とする。逆関数の微分公式を用いる。
$y = \ln x$ とおくと、$x = e^y$ である。両辺を $x$ で微分する。
逆関数の微分公式(1.27)より
\begin{equation}\frac{dy}{dx} = \frac{1}{\frac{dx}{dy}} \label{eq:1-21-1}\end{equation}
$x = e^y$ を $y$ で微分すると、1.20 より $\displaystyle \frac{dx}{dy} = e^y$ である。
\begin{equation}\frac{dy}{dx} = \frac{1}{e^y} \label{eq:1-21-2}\end{equation}
$e^y = x$($y = \ln x$ の定義より)を $\eqref{eq:1-21-2}$ に代入する。
\begin{equation}\frac{d}{dx} \ln x = \frac{1}{x} \label{eq:1-21-3}\end{equation}
1.22 一般の指数関数の微分
証明
$a^x = e^{x \ln a}$ と変形する。
\begin{equation}a^x = (e^{\ln a})^x = e^{x \ln a} \label{eq:1-22-1}\end{equation}
合成関数の微分法則(1.26)を適用する。$u = x \ln a$ とおくと
\begin{equation}\frac{d}{dx} a^x = \frac{d}{dx} e^u = \frac{de^u}{du} \cdot \frac{du}{dx} \label{eq:1-22-2}\end{equation}
$\displaystyle \frac{d}{du} e^u = e^u$(1.20)および $\displaystyle \frac{d}{dx}(x \ln a) = \ln a$($\ln a$ は定数)より
\begin{equation}\frac{d}{dx} a^x = e^{x \ln a} \cdot \ln a = a^x \ln a \label{eq:1-22-3}\end{equation}
1.23 一般の対数関数の微分
証明
底の変換公式を用いて $\log_a x$ を自然対数で表す。
\begin{equation}\log_a x = \frac{\ln x}{\ln a} \label{eq:1-23-1}\end{equation}
$\ln a$ は定数なので
\begin{equation}\frac{d}{dx} \log_a x = \frac{1}{\ln a} \cdot \frac{d}{dx} \ln x \label{eq:1-23-2}\end{equation}
1.21 より $\displaystyle \frac{d}{dx} \ln x = \frac{1}{x}$ を代入する。
\begin{equation}\frac{d}{dx} \log_a x = \frac{1}{\ln a} \cdot \frac{1}{x} = \frac{1}{x \ln a} \label{eq:1-23-3}\end{equation}
1.5 微分の演算法則
微分の演算法則により、複雑な関数を基本関数の組み合わせとして微分できる。これらの法則は行列微分においても(適切に一般化された形で)成り立つ。
1.24 線形性(和と定数倍)
証明
$h(x) = af(x) + bg(x)$ とおく。微分の定義に従って計算する。
\begin{equation}\frac{dh}{dx} = \lim_{\Delta x \to 0} \frac{h(x + \Delta x) - h(x)}{\Delta x} \label{eq:1-24-1}\end{equation}
$h(x + \Delta x) = af(x + \Delta x) + bg(x + \Delta x)$ を代入する。
\begin{equation}\frac{dh}{dx} = \lim_{\Delta x \to 0} \frac{af(x + \Delta x) + bg(x + \Delta x) - af(x) - bg(x)}{\Delta x} \label{eq:1-24-2}\end{equation}
項を整理する。
\begin{equation}\frac{dh}{dx} = \lim_{\Delta x \to 0} \left[ a \cdot \frac{f(x + \Delta x) - f(x)}{\Delta x} + b \cdot \frac{g(x + \Delta x) - g(x)}{\Delta x} \right] \label{eq:1-24-3}\end{equation}
極限の線形性より
\begin{equation}\frac{dh}{dx} = a \cdot \lim_{\Delta x \to 0} \frac{f(x + \Delta x) - f(x)}{\Delta x} + b \cdot \lim_{\Delta x \to 0} \frac{g(x + \Delta x) - g(x)}{\Delta x} \label{eq:1-24-4}\end{equation}
微分の定義より
\begin{equation}\frac{d}{dx}[af(x) + bg(x)] = a\frac{df}{dx} + b\frac{dg}{dx} \label{eq:1-24-5}\end{equation}
1.25 積の微分法則(Leibniz則)
証明
$h(x) = f(x)g(x)$ とおく。微分の定義に従って計算する。
\begin{equation}\frac{dh}{dx} = \lim_{\Delta x \to 0} \frac{f(x + \Delta x)g(x + \Delta x) - f(x)g(x)}{\Delta x} \label{eq:1-25-1}\end{equation}
分子に $f(x + \Delta x)g(x) - f(x + \Delta x)g(x)$($= 0$)を加える。
\begin{equation}\frac{dh}{dx} = \lim_{\Delta x \to 0} \frac{f(x + \Delta x)g(x + \Delta x) - f(x + \Delta x)g(x) + f(x + \Delta x)g(x) - f(x)g(x)}{\Delta x} \label{eq:1-25-2}\end{equation}
項をグループ化する。
\begin{equation}\frac{dh}{dx} = \lim_{\Delta x \to 0} \left[ f(x + \Delta x) \cdot \frac{g(x + \Delta x) - g(x)}{\Delta x} + g(x) \cdot \frac{f(x + \Delta x) - f(x)}{\Delta x} \right] \label{eq:1-25-3}\end{equation}
極限を各項に適用する。$f$ は微分可能なので連続(1.3)であり、$\lim_{\Delta x \to 0} f(x + \Delta x) = f(x)$ である。
\begin{equation}\frac{dh}{dx} = f(x) \cdot \lim_{\Delta x \to 0} \frac{g(x + \Delta x) - g(x)}{\Delta x} + g(x) \cdot \lim_{\Delta x \to 0} \frac{f(x + \Delta x) - f(x)}{\Delta x} \label{eq:1-25-4}\end{equation}
微分の定義より
\begin{equation}\frac{d}{dx}[f(x)g(x)] = f(x)g'(x) + g(x)f'(x) = f'(x)g(x) + f(x)g'(x) \label{eq:1-25-5}\end{equation}
出典:G.W. Leibniz (1684) "Nova methodus pro maximis et minimis", Acta Eruditorum. 「Leibniz則」の名称で知られる。
1.26 合成関数の微分(連鎖律)
証明
$h(x) = f(g(x))$ とおく。$u = g(x)$ と置換すると $h = f(u)$ である。
微分の定義に従って計算する。
\begin{equation}\frac{dh}{dx} = \lim_{\Delta x \to 0} \frac{f(g(x + \Delta x)) - f(g(x))}{\Delta x} \label{eq:1-26-1}\end{equation}
$\Delta u = g(x + \Delta x) - g(x)$ とおく。$g$ は微分可能なので連続であり(1.3)、$\Delta x \to 0$ のとき $\Delta u \to 0$ である。
$\Delta u \neq 0$ の場合、分子分母に $\Delta u$ を乗除する($\Delta u = 0$ となる $\Delta x$ の点が存在しても、極限値には影響しない。なぜなら $\Delta x \to 0$ で $\Delta u \neq 0$ となる点列を用いて極限を評価できるからである)。
\begin{equation}\frac{dh}{dx} = \lim_{\Delta x \to 0} \frac{f(g(x) + \Delta u) - f(g(x))}{\Delta u} \cdot \frac{\Delta u}{\Delta x} \label{eq:1-26-2}\end{equation}
$u = g(x)$ とおくと、第1因子は
\begin{equation}\lim_{\Delta u \to 0} \frac{f(u + \Delta u) - f(u)}{\Delta u} = f'(u) = f'(g(x)) \label{eq:1-26-3}\end{equation}
第2因子は
\begin{equation}\lim_{\Delta x \to 0} \frac{\Delta u}{\Delta x} = \lim_{\Delta x \to 0} \frac{g(x + \Delta x) - g(x)}{\Delta x} = g'(x) \label{eq:1-26-4}\end{equation}
$\eqref{eq:1-26-3}$ と $\eqref{eq:1-26-4}$ を $\eqref{eq:1-26-2}$ に代入する。
\begin{equation}\frac{d}{dx}f(g(x)) = f'(g(x)) \cdot g'(x) \label{eq:1-26-5}\end{equation}
Leibniz記法では
\begin{equation}\frac{dh}{dx} = \frac{df}{du} \cdot \frac{du}{dx} \label{eq:1-26-6}\end{equation}
出典:G.W. Leibniz (1684) "Nova methodus pro maximis et minimis" で微分記法とともに導入。厳密な証明は A.L. Cauchy (1821) "Cours d'analyse" による。
1.27 逆関数の微分
証明
$y = f(x)$ とし、逆関数を $x = f^{-1}(y)$ とする。
定義より $f(f^{-1}(y)) = y$ である。両辺を $y$ で微分する。
\begin{equation}\frac{d}{dy} f(f^{-1}(y)) = \frac{d}{dy} y = 1 \label{eq:1-27-1}\end{equation}
左辺に連鎖律(1.26)を適用する。$u = f^{-1}(y)$ とおくと
\begin{equation}\frac{df}{du} \cdot \frac{du}{dy} = 1 \label{eq:1-27-2}\end{equation}
$u = f^{-1}(y) = x$ なので、$\displaystyle \frac{df}{du} = \frac{dy}{dx} = f'(x)$ である。
\begin{equation}f'(x) \cdot \frac{dx}{dy} = 1 \label{eq:1-27-3}\end{equation}
$f'(x) \neq 0$ のとき、$\eqref{eq:1-27-3}$ を解いて
\begin{equation}\frac{dx}{dy} = \frac{1}{f'(x)} = \frac{1}{\frac{dy}{dx}} \label{eq:1-27-4}\end{equation}
1.28 商の微分法則
証明
$h(x) = \frac{f(x)}{g(x)} = f(x) \cdot [g(x)]^{-1}$ と書き、積の微分法則を適用する。
積の微分法則(1.25)より
\begin{equation}\frac{dh}{dx} = f'(x) \cdot [g(x)]^{-1} + f(x) \cdot \frac{d}{dx}[g(x)]^{-1} \label{eq:1-28-1}\end{equation}
$[g(x)]^{-1}$ の微分を求める。$u = g(x)$ とおくと、連鎖律(1.26)より
\begin{equation}\frac{d}{dx}[g(x)]^{-1} = \frac{d}{dx} u^{-1} = \frac{d(u^{-1})}{du} \cdot \frac{du}{dx} = (-u^{-2}) \cdot g'(x) = -\frac{g'(x)}{[g(x)]^2} \label{eq:1-28-2}\end{equation}
$\eqref{eq:1-28-2}$ を $\eqref{eq:1-28-1}$ に代入する。
\begin{equation}\frac{dh}{dx} = \frac{f'(x)}{g(x)} + f(x) \cdot \left(-\frac{g'(x)}{[g(x)]^2}\right) \label{eq:1-28-3}\end{equation}
通分して整理する。
\begin{equation}\frac{dh}{dx} = \frac{f'(x) \cdot g(x)}{[g(x)]^2} - \frac{f(x) \cdot g'(x)}{[g(x)]^2} = \frac{f'(x)g(x) - f(x)g'(x)}{[g(x)]^2} \label{eq:1-28-4}\end{equation}
1.29 対数微分法
証明
$h(x) = [f(x)]^{g(x)}$ とおく。$f(x) > 0$ より、両辺の自然対数を取る。
\begin{equation}\ln h(x) = g(x) \ln f(x) \label{eq:1-29-1}\end{equation}
$\eqref{eq:1-29-1}$ の両辺を $x$ で微分する。左辺は連鎖律より
\begin{equation}\frac{d}{dx} \ln h(x) = \frac{1}{h(x)} \cdot h'(x) = \frac{h'(x)}{h(x)} \label{eq:1-29-2}\end{equation}
右辺は積の微分法則より
\begin{equation}\frac{d}{dx}[g(x) \ln f(x)] = g'(x) \ln f(x) + g(x) \cdot \frac{f'(x)}{f(x)} \label{eq:1-29-3}\end{equation}
$\eqref{eq:1-29-2}$ と $\eqref{eq:1-29-3}$ より
\begin{equation}\frac{h'(x)}{h(x)} = g'(x) \ln f(x) + g(x) \frac{f'(x)}{f(x)} \label{eq:1-29-4}\end{equation}
両辺に $h(x) = [f(x)]^{g(x)}$ を掛ける。
\begin{equation}h'(x) = [f(x)]^{g(x)} \left[ g'(x) \ln f(x) + g(x) \frac{f'(x)}{f(x)} \right] \label{eq:1-29-5}\end{equation}
1.6 三角関数の微分
三角関数とその逆関数の微分公式を導出する。これらはフーリエ解析や信号処理で多用され、行列微分においても三角関数を含む関数の微分で必要となる。
1.30 正弦関数の微分
証明
微分の定義に従って計算する。
\begin{equation}\frac{d}{dx} \sin x = \lim_{h \to 0} \frac{\sin(x+h) - \sin x}{h} \label{eq:1-30-1}\end{equation}
加法定理(1.7) $\sin(x+h) = \sin x \cos h + \cos x \sin h$ を用いる。
\begin{equation}\frac{d}{dx} \sin x = \lim_{h \to 0} \frac{\sin x \cos h + \cos x \sin h - \sin x}{h} \label{eq:1-30-2}\end{equation}
項を整理する。
\begin{equation}\frac{d}{dx} \sin x = \lim_{h \to 0} \left[ \sin x \cdot \frac{\cos h - 1}{h} + \cos x \cdot \frac{\sin h}{h} \right] \label{eq:1-30-3}\end{equation}
\begin{equation}\lim_{h \to 0} \frac{\sin h}{h} = 1 \label{eq:1-30-4}\end{equation}
\begin{equation}\lim_{h \to 0} \frac{\cos h - 1}{h} = 0 \label{eq:1-30-5}\end{equation}
$\eqref{eq:1-30-4}$、$\eqref{eq:1-30-5}$ を $\eqref{eq:1-30-3}$ に代入する。
\begin{equation}\frac{d}{dx} \sin x = \sin x \cdot 0 + \cos x \cdot 1 = \cos x \label{eq:1-30-7}\end{equation}
1.31 余弦関数の微分
証明
$\cos x = \sin\left(\frac{\pi}{2} - x\right)$ の関係を用いる。
連鎖律(1.26)を適用する。$u = \displaystyle \frac{\pi}{2} - x$ とおくと
\begin{equation}\frac{d}{dx} \cos x = \frac{d}{dx} \sin u = \frac{d(\sin u)}{du} \cdot \frac{du}{dx} \label{eq:1-31-1}\end{equation}
1.30 より $\displaystyle \frac{d(\sin u)}{du} = \cos u$ である。また $\displaystyle \frac{du}{dx} = -1$ である。
\begin{equation}\frac{d}{dx} \cos x = \cos u \cdot (-1) = -\cos\left(\frac{\pi}{2} - x\right) = -\sin x \label{eq:1-31-2}\end{equation}
最後の等号では $\cos\left(\frac{\pi}{2} - x\right) = \sin x$ を用いた。
1.32 正接関数の微分
証明
$\tan x = \frac{\sin x}{\cos x}$ に商の微分法則(1.28)を適用する。
\begin{equation}\frac{d}{dx} \tan x = \frac{(\sin x)' \cos x - \sin x (\cos x)'}{\cos^2 x} \label{eq:1-32-1}\end{equation}
1.30、1.31 より $(\sin x)' = \cos x$、$(\cos x)' = -\sin x$ を代入する。
\begin{equation}\frac{d}{dx} \tan x = \frac{\cos x \cdot \cos x - \sin x \cdot (-\sin x)}{\cos^2 x} = \frac{\cos^2 x + \sin^2 x}{\cos^2 x} \label{eq:1-32-2}\end{equation}
ピタゴラスの恒等式(1.6) $\cos^2 x + \sin^2 x = 1$ より
\begin{equation}\frac{d}{dx} \tan x = \frac{1}{\cos^2 x} = \sec^2 x \label{eq:1-32-3}\end{equation}
1.33 その他の三角関数の微分
$\displaystyle \frac{d}{dx} \cot x = -\csc^2 x$
$\displaystyle \frac{d}{dx} \sec x = \sec x \tan x$
$\displaystyle \frac{d}{dx} \csc x = -\csc x \cot x$
証明
$\cot x$ の微分:
$\cot x = \frac{\cos x}{\sin x}$ に商の微分法則を適用する。
\begin{equation}\frac{d}{dx} \cot x = \frac{-\sin x \cdot \sin x - \cos x \cdot \cos x}{\sin^2 x} = \frac{-(\sin^2 x + \cos^2 x)}{\sin^2 x} = -\frac{1}{\sin^2 x} = -\csc^2 x \label{eq:1-33-1}\end{equation}
$\sec x$ の微分:
$\sec x = \frac{1}{\cos x} = (\cos x)^{-1}$ に連鎖律を適用する。
\begin{equation}\frac{d}{dx} \sec x = -(\cos x)^{-2} \cdot (-\sin x) = \frac{\sin x}{\cos^2 x} = \frac{1}{\cos x} \cdot \frac{\sin x}{\cos x} = \sec x \tan x \label{eq:1-33-2}\end{equation}
$\csc x$ の微分:
$\csc x = \frac{1}{\sin x} = (\sin x)^{-1}$ に連鎖律を適用する。
\begin{equation}\frac{d}{dx} \csc x = -(\sin x)^{-2} \cdot \cos x = -\frac{\cos x}{\sin^2 x} = -\frac{1}{\sin x} \cdot \frac{\cos x}{\sin x} = -\csc x \cot x \label{eq:1-33-3}\end{equation}
1.7 逆三角関数の微分
1.34 逆正弦関数の微分
証明
$y = \arcsin x$ とおくと $x = \sin y$ であり、$-\frac{\pi}{2} \leq y \leq \frac{\pi}{2}$ である。
逆関数の微分公式(1.27)を適用する。
\begin{equation}\frac{dy}{dx} = \frac{1}{\frac{dx}{dy}} = \frac{1}{\cos y} \label{eq:1-34-1}\end{equation}
$\cos y$ を $x$ で表す。$\sin^2 y + \cos^2 y = 1$ より
\begin{equation}\cos y = \pm\sqrt{1 - \sin^2 y} = \pm\sqrt{1 - x^2} \label{eq:1-34-2}\end{equation}
$-\frac{\pi}{2} \leq y \leq \frac{\pi}{2}$ の範囲で $\cos y \geq 0$ なので、正の平方根を取る。
\begin{equation}\cos y = \sqrt{1 - x^2} \label{eq:1-34-3}\end{equation}
$\eqref{eq:1-34-3}$ を $\eqref{eq:1-34-1}$ に代入する。
\begin{equation}\frac{d}{dx} \arcsin x = \frac{1}{\sqrt{1 - x^2}} \label{eq:1-34-4}\end{equation}
1.35 逆余弦関数の微分
証明
$y = \arccos x$ とおくと $x = \cos y$ であり、$0 \leq y \leq \pi$ である。
逆関数の微分公式を適用する。
\begin{equation}\frac{dy}{dx} = \frac{1}{\frac{dx}{dy}} = \frac{1}{-\sin y} \label{eq:1-35-1}\end{equation}
$\sin y$ を $x$ で表す。$\sin^2 y + \cos^2 y = 1$ より
\begin{equation}\sin y = \pm\sqrt{1 - \cos^2 y} = \pm\sqrt{1 - x^2} \label{eq:1-35-2}\end{equation}
$0 \leq y \leq \pi$ の範囲で $\sin y \geq 0$ なので、正の平方根を取る。
\begin{equation}\sin y = \sqrt{1 - x^2} \label{eq:1-35-3}\end{equation}
$\eqref{eq:1-35-3}$ を $\eqref{eq:1-35-1}$ に代入する。
\begin{equation}\frac{d}{dx} \arccos x = -\frac{1}{\sqrt{1 - x^2}} \label{eq:1-35-4}\end{equation}
1.36 逆正接関数の微分
証明
$y = \arctan x$ とおくと $x = \tan y$ であり、$-\frac{\pi}{2} < y < \frac{\pi}{2}$ である。
逆関数の微分公式を適用する。
\begin{equation}\frac{dy}{dx} = \frac{1}{\frac{dx}{dy}} = \frac{1}{\sec^2 y} = \cos^2 y \label{eq:1-36-1}\end{equation}
$\cos^2 y$ を $x$ で表す。$\sec^2 y = 1 + \tan^2 y$ より
\begin{equation}\cos^2 y = \frac{1}{\sec^2 y} = \frac{1}{1 + \tan^2 y} = \frac{1}{1 + x^2} \label{eq:1-36-2}\end{equation}
$\eqref{eq:1-36-2}$ を $\eqref{eq:1-36-1}$ に代入する。
\begin{equation}\frac{d}{dx} \arctan x = \frac{1}{1 + x^2} \label{eq:1-36-3}\end{equation}
1.8 双曲線関数の微分
1.37 双曲線正弦の微分
証明
$\sinh x = \frac{e^x - e^{-x}}{2}$ の定義に従って微分する。
\begin{equation}\frac{d}{dx} \sinh x = \frac{d}{dx} \frac{e^x - e^{-x}}{2} = \frac{1}{2} \left( \frac{d}{dx} e^x - \frac{d}{dx} e^{-x} \right) \label{eq:1-37-1}\end{equation}
1.20 と連鎖律より、$\displaystyle \frac{d}{dx} e^x = e^x$ および $\displaystyle \frac{d}{dx} e^{-x} = -e^{-x}$ である。
\begin{equation}\frac{d}{dx} \sinh x = \frac{1}{2} (e^x - (-e^{-x})) = \frac{e^x + e^{-x}}{2} = \cosh x \label{eq:1-37-2}\end{equation}
1.38 双曲線余弦の微分
証明
$\cosh x = \frac{e^x + e^{-x}}{2}$ の定義に従って微分する。
\begin{equation}\frac{d}{dx} \cosh x = \frac{d}{dx} \frac{e^x + e^{-x}}{2} = \frac{1}{2} \left( \frac{d}{dx} e^x + \frac{d}{dx} e^{-x} \right) \label{eq:1-38-1}\end{equation}
\begin{equation}\frac{d}{dx} \cosh x = \frac{1}{2} (e^x + (-e^{-x})) = \frac{e^x - e^{-x}}{2} = \sinh x \label{eq:1-38-2}\end{equation}
1.39 双曲線正接の微分
証明
$\tanh x = \frac{\sinh x}{\cosh x}$ に商の微分法則を適用する。
\begin{equation}\frac{d}{dx} \tanh x = \frac{(\sinh x)' \cosh x - \sinh x (\cosh x)'}{\cosh^2 x} \label{eq:1-39-1}\end{equation}
1.37、1.38 より $(\sinh x)' = \cosh x$、$(\cosh x)' = \sinh x$ を代入する。
\begin{equation}\frac{d}{dx} \tanh x = \frac{\cosh x \cdot \cosh x - \sinh x \cdot \sinh x}{\cosh^2 x} = \frac{\cosh^2 x - \sinh^2 x}{\cosh^2 x} \label{eq:1-39-2}\end{equation}
双曲線恒等式(1.10) $\cosh^2 x - \sinh^2 x = 1$ より
\begin{equation}\frac{d}{dx} \tanh x = \frac{1}{\cosh^2 x} = \text{sech}^2 x \label{eq:1-39-3}\end{equation}
また、$\text{sech}^2 x = 1 - \tanh^2 x$ も成り立つ($\frac{1}{\cosh^2 x} = \frac{\cosh^2 x - \sinh^2 x}{\cosh^2 x}$)。
1.9 その他の重要な微分公式
1.40 絶対値関数の微分
証明
$|x| = \sqrt{x^2}$ と書ける。連鎖律を適用する。
$u = x^2$ とおくと $|x| = u^{1/2}$ である。
\begin{equation}\frac{d}{dx}|x| = \frac{d(u^{1/2})}{du} \cdot \frac{du}{dx} = \frac{1}{2}u^{-1/2} \cdot 2x = \frac{x}{\sqrt{x^2}} = \frac{x}{|x|} \label{eq:1-40-1}\end{equation}
$x > 0$ のとき $\frac{x}{|x|} = \frac{x}{x} = 1$、$x < 0$ のとき $\frac{x}{|x|} = \frac{x}{-x} = -1$ である。
\begin{equation}\frac{d}{dx}|x| = \text{sgn}(x) = \begin{cases} 1 & (x > 0) \\ -1 & (x < 0) \end{cases} \label{eq:1-40-2}\end{equation}
1.41 シグモイド関数の微分
証明
$\sigma(x) = \frac{1}{1 + e^{-x}} = (1 + e^{-x})^{-1}$ を連鎖律で微分する。
$u = 1 + e^{-x}$ とおくと $\sigma = u^{-1}$ である。
\begin{equation}\frac{d\sigma}{dx} = \frac{d(u^{-1})}{du} \cdot \frac{du}{dx} = (-u^{-2}) \cdot (-e^{-x}) = \frac{e^{-x}}{(1 + e^{-x})^2} \label{eq:1-41-1}\end{equation}
この結果を $\sigma(x)$ で表す。$\sigma = \frac{1}{1 + e^{-x}}$ より
\begin{equation}1 - \sigma = 1 - \frac{1}{1 + e^{-x}} = \frac{e^{-x}}{1 + e^{-x}} \label{eq:1-41-2}\end{equation}
したがって
\begin{equation}\sigma(1 - \sigma) = \frac{1}{1 + e^{-x}} \cdot \frac{e^{-x}}{1 + e^{-x}} = \frac{e^{-x}}{(1 + e^{-x})^2} \label{eq:1-41-3}\end{equation}
$\eqref{eq:1-41-1}$ と $\eqref{eq:1-41-3}$ を比較して
\begin{equation}\frac{d\sigma}{dx} = \sigma(1 - \sigma) \label{eq:1-41-4}\end{equation}
1.42 Softplus関数の微分
証明
$f(x) = \ln(1 + e^x)$(Softplus関数)を連鎖律で微分する。
$u = 1 + e^x$ とおくと $f = \ln u$ である。
\begin{equation}\frac{df}{dx} = \frac{d(\ln u)}{du} \cdot \frac{du}{dx} = \frac{1}{u} \cdot e^x = \frac{e^x}{1 + e^x} \label{eq:1-42-1}\end{equation}
分子分母に $e^{-x}$ を掛ける。
\begin{equation}\frac{df}{dx} = \frac{e^x \cdot e^{-x}}{(1 + e^x) \cdot e^{-x}} = \frac{1}{e^{-x} + 1} = \frac{1}{1 + e^{-x}} = \sigma(x) \label{eq:1-42-2}\end{equation}
1.43 Leibnizの公式(高階微分の積)
証明
数学的帰納法で証明する。
基底ケース($n = 1$):
\begin{equation}(fg)' = f'g + fg' = \binom{1}{0}f^{(0)}g^{(1)} + \binom{1}{1}f^{(1)}g^{(0)} \label{eq:1-43-1}\end{equation}
これは積の微分法則(1.25)と一致する。
帰納ステップ:
$n = m$ で公式が成り立つと仮定する。
\begin{equation}(fg)^{(m)} = \sum_{k=0}^{m} \binom{m}{k} f^{(k)} g^{(m-k)} \label{eq:1-43-2}\end{equation}
$n = m + 1$ の場合を示す。$\eqref{eq:1-43-2}$ の両辺を微分する。
\begin{equation}(fg)^{(m+1)} = \sum_{k=0}^{m} \binom{m}{k} \left( f^{(k+1)} g^{(m-k)} + f^{(k)} g^{(m-k+1)} \right) \label{eq:1-43-3}\end{equation}
$\eqref{eq:1-43-3}$ を整理し、Pascalの恒等式(1.4) $\binom{m}{k-1} + \binom{m}{k} = \binom{m+1}{k}$ を用いると
\begin{equation}(fg)^{(m+1)} = \sum_{k=0}^{m+1} \binom{m+1}{k} f^{(k)} g^{(m+1-k)} \label{eq:1-43-4}\end{equation}
参考文献
- Petersen, K. B., & Pedersen, M. S. (2012). The Matrix Cookbook. Technical University of Denmark.
- Magnus, J. R., & Neudecker, H. (1999). Matrix Differential Calculus with Applications in Statistics and Econometrics (Revised ed.). Wiley.
- Matrix calculus - Wikipedia