最適化 入門
Mathematical Optimization - Introduction
大学初年級レベルこの章の目標
- 最適化問題の定式化（目的関数・制約条件・実行可能領域）を理解する
- 1変数関数の極値問題を微分を用いて解けるようになる
- 多変数関数の臨界点とヘッセ行列による分類を理解する
- 勾配ベクトルの幾何学的意味と最適性条件を理解する
- ラグランジュの未定乗数法を使って等式制約付き最適化問題を解ける
- 凸集合・凸関数の定義と、なぜ凸性が最適化で重要かを理解する
前提知識
- 微分積分（1変数・多変数の微分）
- 線形代数の基礎（行列・連立方程式）
- 関数の基礎（関数の定義、グラフ、連続性）
章の構成
最適化問題の定式化
目的関数とは何か、制約条件とは何か。最大化と最小化、実行可能領域について具体例を通して学ぶ。
1変数関数の最適化
極値の定義、1次導関数テスト、2次導関数テスト。閉区間上での最大値・最小値の求め方。
多変数関数の最適化
偏微分と勾配ベクトル、臨界点の分類、ヘッセ行列と2次条件を具体例とともに学ぶ。
勾配と最適性条件
勾配の幾何学的意味、1次の必要条件、2次の十分条件、等高線と勾配の関係。
ラグランジュの未定乗数法
等式制約付き最適化問題の解法。ラグランジュ乗数の意味と複数制約への拡張。
凸集合と凸関数
凸集合・凸関数の定義と性質。ヘッセ行列による凸性の判定と、凸性が最適化で重要な理由。
練習問題
入門レベルの理解を確認するための演習問題集。
概要
最適化（optimization）とは、与えられた条件の下で「最も良い」解を見つける数学的手法である。日常生活から工学、経済学、機械学習まで、あらゆる分野で活用されている。
例えば：
- 与えられた材料で最大の容積の箱を作る
- コストを最小化しながら製品を生産する
- 機械学習モデルの誤差を最小化する
これらはすべて「ある関数（目的関数）を最大化または最小化する」という最適化問題として定式化できる。
この入門では、まず最適化問題の基本的な定式化を学び、1変数関数の微分を使った最適化から始めて、多変数関数、制約付き最適化へと進む。高校数学で学んだ微分の知識を活かしながら、最適化の基礎を身につけよう。
よくある質問
最適化理論の入門では何を学びますか？
最適化問題の基本的な定式化（目的関数・制約条件・実行可能領域）、1変数・多変数関数の微分を用いた最適化、勾配と最適性条件、ラグランジュの未定乗数法、凸集合と凸関数の概念を学びます。「最小化したい量を数式で表し、体系的に最小値を求める」という最適化の本質を習得する段階です。
最適化問題とはどのような問題ですか？
制約条件 $x\in\mathcal{X}$ のもとで目的関数 $f(x)$ を最小化（または最大化）する変数 $x^*$ を求める問題です。工学設計・機械学習（損失関数最小化）・経営科学（コスト最小化・利益最大化）・制御（最適制御）・統計（最尤推定）など、実世界の意思決定問題の大半が最適化として定式化できます。
凸最適化はなぜ重要ですか？
凸最適化では局所的最小値が大域的最小値と一致することが保証され、効率的なアルゴリズム（内点法・切除平面法）が利用できます。線形計画・2次計画・半正定値計画などの重要問題が凸最適化の特殊ケースです。非凸問題も凸近似・凸緩和で解く場合が多く、凸最適化の理解は必須の基盤となっています。