最適化 初級

Mathematical Optimization - Basic

大学1-2年レベル

この章の目標

  • 線形計画問題の定式化と解法を理解する
  • シンプレックス法のアルゴリズムを習得する
  • 双対理論の基礎を学び、主問題と双対問題の関係を理解する
  • 凸最適化問題の基本的な性質を学ぶ
  • KKT条件を導出し、その意味を理解する
  • 二次計画問題の定式化と解法を学ぶ

前提知識

  • 入門の内容(最適化問題の定式化、微分による最適性条件)
  • 線形代数の基礎(行列演算、連立一次方程式、基底)
  • 微分積分の基礎(偏微分、勾配、ヘッセ行列)

章の構成

第1章: 線形計画問題

線形計画問題の定式化、標準形と正準形、実行可能領域と頂点、グラフによる解法を学ぶ。

第2章: シンプレックス法

シンプレックス法のアイデア、基底解と実行可能基底解、ピボット操作を学ぶ。

第3章: 双対理論

主問題と双対問題、弱双対定理と強双対定理、相補性条件を理解する。

第4章: 凸最適化の理論

凸最適化問題の定義、局所最適と大域最適の関係、典型的な凸問題を学ぶ。

第5章: KKT条件

不等式制約付き最適化、KKT条件の導出、制約想定と幾何学的意味を学ぶ。

第6章: 二次計画問題

二次計画問題の定式化、凸QPと非凸QP、等式・不等式制約付きQPを学ぶ。

第7章: スラック変数と制約緩和

スラック変数の導入、ソフトマージン最適化、制約違反の許容と制御を学ぶ。

第8章: カーネル法とカーネルトリック

カーネル関数、特徴量写像、カーネルトリックにより非線形問題を効率的に解く。

第9章: 練習問題

初級レベルの理解を確認するための演習問題集。

第10章: ノーフリーランチ定理

万能な最適化アルゴリズムは存在しない — NFL定理の意味と実務への示唆。

第11章: ベンチマーク関数集

Rosenbrock, Ackley, Rastrigin 等の標準テスト関数。最適化アルゴリズムの評価・比較に使う。

概要

初級では、最適化の基礎理論を体系的に学びます。最適化とは、与えられた制約条件のもとで目的関数を最小(または最大)にする変数の値を見つける問題です。

この章で扱う主なトピックは以下の通りです:

  • 線形計画問題:目的関数と制約がすべて線形の最適化問題
  • シンプレックス法:線形計画問題を効率的に解くアルゴリズム
  • 双対理論:主問題と双対問題の関係、最適性の特徴づけ
  • 凸最適化:局所最適が大域最適になる問題クラス
  • KKT条件:制約付き最適化問題の最適性必要条件
  • 二次計画問題:目的関数が二次、制約が線形の問題

これらの概念は、機械学習、オペレーションズリサーチ、制御工学など多くの分野で応用される重要な基礎となります。