機械学習 中級
Deep Learning Foundations — 中級（大学 3-4 年レベル）
この章について
中級では、ニューラルネットワークと深層学習の基礎を学ぶ。多層パーセプトロンから始め、画像認識の CNN、系列データの RNN へと進む。誤差逆伝播、最適化アルゴリズム、正則化技法を理解し、深層学習の「なぜ動くのか」を把握することが目標である。
前提知識
- 初級レベルの内容（古典的 ML 手法）
- 線形代数（行列演算、固有値）
- 微分（連鎖律、勾配）
- 確率論の基礎
目次
主要な概念・手法
多層パーセプトロン
層 $l$ の出力：$\boldsymbol{h}^{(l)} = \sigma(\boldsymbol{W}^{(l)} \boldsymbol{h}^{(l-1)} + \boldsymbol{b}^{(l)})$
非線形活性化関数 $\sigma$ により、複雑な関数を表現。
誤差逆伝播法
損失 $L$ のパラメータ $\boldsymbol{W}^{(l)}$ に対する勾配を、連鎖律を用いて出力層から入力層へ逆向きに計算： $$\dfrac{\partial L}{\partial \boldsymbol{W}^{(l)}} = \dfrac{\partial L}{\partial \boldsymbol{h}^{(l)}} \dfrac{\partial \boldsymbol{h}^{(l)}}{\partial \boldsymbol{W}^{(l)}}$$
畳み込み演算
入力 $\boldsymbol{X}$ とフィルタ $\boldsymbol{K}$ の畳み込み：
$(\boldsymbol{X} * \boldsymbol{K})_{i,j} = \displaystyle\sum_{m,n} X_{i+m, j+n} K_{m,n}$
局所的パターンを検出し、平行移動不変性を獲得。
残差接続（ResNet）
$\boldsymbol{y} = F(\boldsymbol{x}) + \boldsymbol{x}$（スキップ接続）。恒等写像を学習しやすくし、非常に深いネットワークの訓練を可能に。
LSTM
ゲート機構（入力・忘却・出力ゲート）により、長期の依存関係を学習。セル状態 $\boldsymbol{c}_t$ が情報を保持・更新。
このレベルで理解できる応用
画像分類
CNN による画像認識。ImageNet で学習済みモデルを転移学習で活用。
物体検出
YOLO, Faster R-CNN などのアーキテクチャ。バウンディングボックスの予測。
感情分析
LSTM/GRU によるテキスト分類。レビューからポジティブ/ネガティブを判定。
時系列予測
RNN による株価、需要、センサーデータの予測。
学習のポイント
- 順伝播と逆伝播：手計算で小さな例を追う
- 勾配の流れ：なぜ深いネットで学習が難しいか理解
- アーキテクチャ設計：タスクに応じた構造を選ぶ
- 実装と実験：コードを書き、ハイパーパラメータを調整する経験