最適化 初級
Mathematical Optimization - Basic
大学1-2年レベルこの章の目標
- 線形計画問題の定式化と解法を理解する
- シンプレックス法のアルゴリズムを習得する
- 双対理論の基礎を学び、主問題と双対問題の関係を理解する
- 凸最適化問題の基本的な性質を学ぶ
- KKT条件を導出し、その意味を理解する
- 二次計画問題の定式化と解法を学ぶ
前提知識
- 入門の内容(最適化問題の定式化、微分による最適性条件)
- 線形代数の基礎(行列演算、連立一次方程式、基底)
- 微分積分の基礎(偏微分、勾配、ヘッセ行列)
章の構成
第1章: 線形計画問題
線形計画問題の定式化、標準形と正準形、実行可能領域と頂点、グラフによる解法を学ぶ。
第2章: シンプレックス法
シンプレックス法のアイデア、基底解と実行可能基底解、ピボット操作を学ぶ。
第3章: 双対理論
主問題と双対問題、弱双対定理と強双対定理、相補性条件を理解する。
第4章: 凸最適化の理論
凸最適化問題の定義、局所最適と大域最適の関係、典型的な凸問題を学ぶ。
第5章: KKT条件
不等式制約付き最適化、KKT条件の導出、制約想定と幾何学的意味を学ぶ。
第6章: 二次計画問題
二次計画問題の定式化、凸QPと非凸QP、等式・不等式制約付きQPを学ぶ。
第7章: スラック変数と制約緩和
スラック変数の導入、ソフトマージン最適化、制約違反の許容と制御を学ぶ。
第8章: カーネル法とカーネルトリック
カーネル関数、特徴量写像、カーネルトリックにより非線形問題を効率的に解く。
第9章: 練習問題
初級レベルの理解を確認するための演習問題集。
第10章: ノーフリーランチ定理
万能な最適化アルゴリズムは存在しない — NFL定理の意味と実務への示唆。
第11章: ベンチマーク関数集
Rosenbrock, Ackley, Rastrigin 等の標準テスト関数。最適化アルゴリズムの評価・比較に使う。
概要
初級では、最適化の基礎理論を体系的に学びます。最適化とは、与えられた制約条件のもとで目的関数を最小(または最大)にする変数の値を見つける問題です。
この章で扱う主なトピックは以下の通りです:
- 線形計画問題:目的関数と制約がすべて線形の最適化問題
- シンプレックス法:線形計画問題を効率的に解くアルゴリズム
- 双対理論:主問題と双対問題の関係、最適性の特徴づけ
- 凸最適化:局所最適が大域最適になる問題クラス
- KKT条件:制約付き最適化問題の最適性必要条件
- 二次計画問題:目的関数が二次、制約が線形の問題
これらの概念は、機械学習、オペレーションズリサーチ、制御工学など多くの分野で応用される重要な基礎となります。