劣微分

Subdifferential

上級（大学院レベル）

1. はじめに：角では接線が引けない

微分の核心は「関数を局所的に最もよく近似する接線」を引くことである。しかし 凸関数には、 絶対値 $f(x)=|x|$ の原点や $\ell_1$ ノルム、$\max$ 関数のように微分できない角を持つものが多い。 そこでは接線が一意に定まらず、勾配 $\nabla f$ が存在しない。

だが凸関数には、微分できない点でも救いがある。角の点でグラフを下から支える直線は、 1 本ではなく扇状に何本も引ける。この「支える直線の傾き全体」を勾配の代わりに使うのが 劣微分（subdifferential）である。劣微分は勾配を 1 個のベクトルから集合へ拡張し、 微分可能な点では通常の勾配に一致し、角では複数の傾きの集合になる。これにより、非平滑な凸最適化に 「$\nabla f=0$」に代わる最適性条件 $\partial f\ni 0$ を与える。

2. 定義（劣勾配と劣微分）

劣勾配・劣微分

$f:\mathbb{R}^n\to\mathbb{R}\cup\{+\infty\}$ を真凸関数、$x$ を $f(x)<+\infty$ なる点とする。ベクトル $g\in\mathbb{R}^n$ が

$$f(p)\ \ge\ f(x)+\langle g,\,p-x\rangle\qquad(\forall p\in\mathbb{R}^n)$$

を満たすとき、$g$ を点 $x$ における $f$ の劣勾配（subgradient）と呼ぶ。劣勾配全体の集合

$$\partial f(x)=\bigl\{\,g\in\mathbb{R}^n\ :\ f(p)\ge f(x)+\langle g,\,p-x\rangle\ \ (\forall p)\,\bigr\}$$

を、点 $x$ における $f$ の劣微分（subdifferential）と呼ぶ。

不等式 $f(p)\ge f(x)+\langle g,p-x\rangle$ は、傾き $g$・点 $(x,f(x))$ を通る線形関数 $\ell(p)=f(x)+\langle g,p-x\rangle$ が、グラフ全体を下回る（下から支える）ことを意味する。 微分可能な場合の 1 次近似 $f(p)\approx f(x)+\langle\nabla f(x),p-x\rangle$ が、凸性のおかげで 近似ではなく大域的な下界になっている点が本質である。 接線がグラフに局所的に接する近似であるのに対し、支持直線はグラフ全体を下から支えるという大域的な条件を満たす。 この大域的な下界を常に引けるのは凸関数だからで、凸でない関数ではどの直線もグラフを下回れない点があり、そこでは劣微分が空集合になる。

p x p ⟨g, p−x⟩ f ℓ(p)=f(x)+⟨g,p−x⟩ (x, f(x)) f(p) ≥ ℓ(p) 支持直線はグラフを下回る
図1. 劣勾配不等式の幾何的意味。凸関数 $f$ のグラフを、点 $(x,f(x))$ で接して全体を下から支える線形関数 $\ell(p)=f(x)+\langle g,p-x\rangle$ を支持直線と呼ぶ。傾き $g$ が点 $x$ の劣勾配であることは、どの $p$ でも $f(p)\ge\ell(p)$（グラフが支持直線の上側にある）ことと同値であり、これが劣勾配不等式 $f(p)\ge f(x)+\langle g,p-x\rangle$ の意味である。図の緑の縦線 $\langle g,p-x\rangle$ は支持直線が $x$ から $p$ まで上がる高さ（$\ell(p)-f(x)$）、赤の縦線は $f(p)-\ell(p)$（グラフが支持直線を上回る隙間）であり、両者は別物である。

⟨·,·⟩ は内積（向きの一致度）

記号 $\langle g, v\rangle$ はベクトル $g$ と $v$ の内積（ドット積）で、成分ごとの積の和 $\langle g,v\rangle=g_1 v_1+\cdots+g_n v_n$、幾何的には $\langle g,v\rangle=\lVert g\rVert\,\lVert v\rVert\cos\theta$（$\theta$ は $g$ と $v$ のなす角）である。「$v$ が $g$ の向きにどれだけ沿っているか」を測る量で、同じ向きなら正、直交なら $0$、逆向きなら負になる。

ここでは $v=p-x$（点 $x$ から $p$ への変位）なので、$\langle g,p-x\rangle$ は劣勾配 $g$ の向きに沿った変位の大きさを表す。1 次元（$n=1$）では $\langle g,p-x\rangle=g\,(p-x)$＝傾き $\times$ 横の変位、すなわち図1の支持直線が $x$ から $p$ までに上がる高さ（緑の縦線の長さ）である。

θ x（起点） g（劣勾配） v = p − x v の射影 |v|cos θ ⟨g, v⟩ = |g| · |v| cos θ　（g と v の向きの一致度）
図2. 内積 $\langle g,\,p-x\rangle$ の意味。点 $x$ を起点に劣勾配ベクトル $g$ と変位ベクトル $v=p-x$ を描き、$v$ を $g$ の向きへ正射影する。内積は $\langle g,v\rangle=\lVert g\rVert\,\lVert v\rVert\cos\theta$、すなわち $\lVert g\rVert$ と「$v$ の $g$ 方向への射影 $\lVert v\rVert\cos\theta$」の積であり、$g$ と $v$ の向きがどれだけ一致しているかを表す。

1 次元では区間になる

$n=1$ のとき、劣微分は左右の片側微分で挟まれた閉区間として書ける:

$$\partial f(x)=\bigl[\,f'_-(x),\ f'_+(x)\,\bigr],\qquad f'_-(x)=\lim_{t\uparrow 0}\frac{f(x+t)-f(x)}{t},\quad f'_+(x)=\lim_{t\downarrow 0}\frac{f(x+t)-f(x)}{t}.$$

左微分 $f'_-$ と右微分 $f'_+$ が一致すれば区間はつぶれて 1 点（＝通常の微分係数）になり、角では $f'_-<f'_+$ となって区間が幅を持つ。なお凸性から差分商が単調に増えるので $f'_-\le f'_+$ は常に成り立ち、区間 $[f'_-,f'_+]$ が逆さま（$f'_->f'_+$）になることはない。$f'_->f'_+$ となるのは $-\lvert x\rvert$ のような凹の（上に尖った）角で、そこでは下から支える直線が引けず劣微分は空になる。

3. 幾何的意味：下から支える直線の扇

絶対値関数 $f(x)=|x|$ を例にとる。$x\neq 0$ ではグラフは直線であり、支える直線はその直線自身（傾き $\pm1$）ただ 1 本 なので $\partial f(x)=\{\operatorname{sign}(x)\}$ と 1 点になる。ところが原点では、傾きが $-1$ から $+1$ までの どの直線でもグラフを下から支えられる。したがって $\partial f(0)=[-1,1]$ という区間になる。

x y O f(x)=|x| 傾き −1〜+1 で可変 ∂f(0)=[−1,1] x>0 では ∂f={+1}（1本）
図3. 劣微分の幾何的意味。凸関数 $f(x)=|x|$ を下から支える直線（支持超平面）を考える。滑らかな点 $x>0$ では支える直線は接線ただ 1 本で $\partial f(x)=\{+1\}$。原点の角では傾き $-1$ から $+1$ までの直線が扇状にすべてグラフを下から支えるため、その傾き全体が劣微分 $\partial f(0)=[-1,1]$ になる。図の下向きオレンジ破線は傾き $\pm1$ の支持直線（青い V 字の延長）である。支持直線は左右の楔（水平寄りの領域）を掃き、右の楔では傾き $+1$（青い右腕）から傾き $-1$（右下の破線）まで連続的に回る。両矢印の弧はこの可変範囲を表す。劣微分は「支える直線の傾きの集合」である。

4. 基本性質

劣微分の基本性質

$f,g$ を真凸関数とする。

  1. 閉凸集合：$\partial f(x)$ は（空でありうるが）常に閉凸集合である。$x$ が定義域の相対内部にあれば空でなく有界。
  2. 微分可能性との同値：$f$ が $x$ で微分可能 $\iff$ $\partial f(x)=\{\nabla f(x)\}$（1 点集合）。したがって劣微分は勾配の真の拡張である。
  3. 単調性：$g_x\in\partial f(x)$、$g_p\in\partial f(p)$ ならば $\langle g_x-g_p,\ x-p\rangle\ge 0$。1 変数の「凸関数の傾きは単調非減少」の一般化。
  4. スカラー倍：$\alpha>0$ に対し $\partial(\alpha f)(x)=\alpha\,\partial f(x)$。
  5. 和の公式：$\partial(f+g)(x)\supseteq\partial f(x)+\partial g(x)$。適当な制約想定（例：定義域の相対内部が交わる）のもとで等号 $\partial(f+g)=\partial f+\partial g$ が成り立つ（Moreau–Rockafellar の定理）。

「集合になる」ことの意味

劣微分は点 $x$ に対してベクトルの集合を返す集合値写像 $\partial f:\mathbb{R}^n\rightrightarrows\mathbb{R}^n$ である。単調性は、この集合値写像が極大単調作用素であるという構造につながり、近接点法や作用素分割法の理論的基盤になる。

5. 代表的な例

例 5.1：絶対値と $\ell_1$ ノルム

絶対値 $f(x)=|x|$（$x\in\mathbb{R}$）の劣微分は

$$\partial |x|=\begin{cases}\{+1\} & x>0,\\[2pt] [-1,1] & x=0,\\[2pt] \{-1\} & x<0.\end{cases}$$

成分ごとに分離するので、$\ell_1$ ノルム $\|x\|_1=\sum_i|x_i|$ の劣微分は各成分の集合の直積になり、$g\in\partial\|x\|_1$ は $g_i=\operatorname{sign}(x_i)$（$x_i\neq0$）、$g_i\in[-1,1]$（$x_i=0$）で与えられる。これが Lasso のスパース性の源である。

例 5.2：一般のノルムと $\max$

ノルム $f(x)=\|x\|$ に対し、原点では劣微分は双対ノルムの単位球 $\partial\|\cdot\|(0)=\{g:\|g\|_*\le1\}$ になり、$x\neq0$ では $\|g\|_*=1$ かつ $\langle g,x\rangle=\|x\|$ を満たす $g$ の集合になる。

有限個の滑らかな関数の $\max$、$f(x)=\max_i f_i(x)$ は、最大を達成する添字集合 $I(x)=\{i:f_i(x)=f(x)\}$ を使って

$$\partial f(x)=\operatorname{conv}\{\nabla f_i(x):i\in I(x)\}$$

（達成する勾配たちの凸包）となる。複数の関数が同時に最大になる点が角であり、そこで劣微分が広がる。

例 5.3：指示関数と法錐

凸集合 $C$ の指示関数 $\iota_C(x)$（$x\in C$ で $0$、それ以外で $+\infty$）の劣微分は、点 $x\in C$ における法錐 $N_C(x)$ に一致する:

$$\partial\iota_C(x)=N_C(x)=\{\,g:\langle g,\,p-x\rangle\le0\ \ (\forall p\in C)\,\}.$$

これにより制約付き最適化の最適性条件（KKT 条件）が、劣微分の言葉で統一的に書ける。

多変数では劣微分は「領域」になる（ℓ¹・ℓ∞ の双対）

1 変数の $|x|$ では劣微分は区間 $[-1,1]$ だったが、多変数では領域になる。ノルムの原点での劣微分は双対ノルムの単位球（例 5.2）で、$\ell_1$ ノルム $|x|+|y|$ では正方形 $[-1,1]^2$、$\ell_\infty$ ノルム $\max(|x|,|y|)$ では菱形になる。次の 3D 図で、グラフの角（微分できない点）と劣微分の領域を対にして見る。

x y z g₁ g₂ (1,1) (−1,−1) z = |x| + |y| ∂f(0) = [−1,1] × [−1,1] → 支持平面の傾き
図4. $f(x,y)=|x|+|y|$（$\ell_1$ ノルム）の 3D 図と原点での劣微分。左のグラフは 4 枚の平面が原点の角で交わる谷型で、そこを下から支える平面の傾き $(g_1,g_2)$ は各成分が独立に $[-1,1]$ を動ける。したがって劣微分 $\partial f(0)=[-1,1]\times[-1,1]$ は正方形の領域（右・半透明）になる。
x y z g₁ g₂ (1,0) (0,1) z = max(|x|, |y|) ∂f(0) : |g₁| + |g₂| ≤ 1 → 支持平面の傾き
図5. $f(x,y)=\max(|x|,|y|)$（$\ell_\infty$ ノルム）の 3D 図と原点での劣微分。支える平面の傾きは 4 頂点 $(\pm1,0),(0,\pm1)$ の凸包、すなわち菱形 $\{|g_1|+|g_2|\le1\}$（右・半透明）になる。$\ell_1$ と $\ell_\infty$ は互いに双対で、劣微分の形（正方形 ↔ 菱形）も双対に入れ替わる。

6. 最適性条件と応用

定理（劣微分版フェルマーの定理）

真凸関数 $f$ に対し、$x^\star$ が $f$ の大域的最小点であることは次と同値である:

$$\partial f(x^\star)\ni 0.$$

証明は定義そのものである。$\partial f(x^\star)\ni 0$ は劣勾配不等式で $g=0$ を選べること、すなわち すべての $p$ で $f(p)\ge f(x^\star)$ を意味し、これは $x^\star$ が最小点であることに他ならない。 微分可能な場合の $\nabla f(x^\star)=0$ を、角を持つ関数へそのまま拡張した条件である。

この条件は非平滑最適化の中心にある。制約なしでは 劣勾配法が $x_{k+1}=x_k-\eta_k g_k$（$g_k\in\partial f(x_k)$）で最小点へ収束する。合成最小化 $\min f(x)+g(x)$ では、最適性条件 $\nabla f(x^\star)+\partial g(x^\star)\ni 0$ が 近接作用素の不動点に書き換えられ、 近接勾配法（ISTA/FISTA）が導かれる。 制約付き問題では、指示関数の劣微分＝法錐（例 5.3）を通じて KKT 条件が劣微分の言葉で表現される。

7. 微分の一般化の中での位置づけ

劣微分は「微分の一般化」の一つの方向である。 方向微分・ ガトー微分・ フレシェ微分が 「微分可能性をどこまで弱められるか（極限の取り方）」を追うのに対し、劣微分は 「微分できない凸関数を、下界としての線形近似の集合でどう扱うか」という別方向の拡張である。 双対の視点ではルジャンドル＝フェンシェル変換と密接に結びつき、 $g\in\partial f(x)\iff x\in\partial f^\ast(g)\iff f(x)+f^\ast(g)=\langle g,x\rangle$ という美しい対応がある。 全体の見取り図は微分の一般化マップを参照してほしい。

8. よくある質問

Q1. 劣微分とは何か

微分できない凸関数に対して勾配を一般化した概念である。すべての $p$ で $f(p)\ge f(x)+\langle g,p-x\rangle$ を満たす $g$（劣勾配）の全体集合 $\partial f(x)$ を指す。幾何的には、点 $(x,f(x))$ でグラフを下から支える直線の傾きの集合である。

Q2. 劣微分と勾配はどう違うか

勾配 $\nabla f(x)$ は接する唯一の傾きを表す 1 個のベクトル、劣微分 $\partial f(x)$ は下から支える傾き全体を表す集合である。$f$ が $x$ で微分可能であることと $\partial f(x)=\{\nabla f(x)\}$ が 1 点であることは同値で、微分可能な点では両者は一致する。角では扇状に複数の傾きがあり集合に広がる。

Q3. なぜ $\partial f(x)\ni 0$ が最小化の条件になるのか

$\partial f(x)\ni 0$ は劣勾配不等式で $g=0$ を選べること、すなわちすべての $p$ で $f(p)\ge f(x)$ を意味し、これは $x$ が大域的最小点であることそのものである。微分可能な場合の $\nabla f(x)=0$（フェルマーの定理）を非平滑な凸関数へ拡張した条件で、劣勾配法や近接作用素の土台になる。

9. 参考資料

  • Rockafellar, R. T. (1970). Convex Analysis. Princeton University Press.
  • Hiriart-Urruty, J.-B., & Lemaréchal, C. (2001). Fundamentals of Convex Analysis. Springer.
  • Boyd, S., & Vandenberghe, L. (2004). Convex Optimization. Cambridge University Press.
  • Beck, A. (2017). First-Order Methods in Optimization. SIAM.
  • Wikipedia: Subderivative (English)