第2章 時間領域での導出

Time Domain Derivation

1. 問題設定

観測信号ベクトル $\boldsymbol{x} \in \mathbb{C}^N$ から目標信号 $d \in \mathbb{C}$（スカラー）を線形推定する：

\begin{equation} \hat{d} = \boldsymbol{w}^H \boldsymbol{x} \end{equation}

ここで $\boldsymbol{w}$ は推定係数ベクトル、$(\cdot)^H$ はエルミート転置（複素共役転置）である。

観測信号 x フィルタ w 推定 d̂ = wᴴx − d e = d − d̂
図1. 時間領域での線形推定モデル

2. 目的関数

推定誤差 $e = d - \hat{d} = d - \boldsymbol{w}^H\boldsymbol{x}$ の平均二乗誤差を最小化する：

\begin{equation} J = E[|e|^2] = E[|d - \boldsymbol{w}^H\boldsymbol{x}|^2] \to \min \label{eq:J} \end{equation}

3. 記号の定義

  • 目標信号のパワー：$\sigma_d^2 = E[|d|^2]$
  • 相互相関ベクトル：$\boldsymbol{p} = E[\boldsymbol{x}d^*]$（$N \times 1$）
  • 自己相関行列：$\boldsymbol{R} = E[\boldsymbol{x}\boldsymbol{x}^H]$（$N \times N$、エルミート行列）

これらの記号を用いて、目的関数 \eqref{eq:J} を展開する。$|e|^2 = e \cdot e^*$ であるから：

\begin{align} J &= E[|d - \boldsymbol{w}^H\boldsymbol{x}|^2] \nonumber \\ &= E\bigl[(d - \boldsymbol{w}^H\boldsymbol{x})(d - \boldsymbol{w}^H\boldsymbol{x})^*\bigr] \nonumber \\ &= E\bigl[(d - \boldsymbol{w}^H\boldsymbol{x})(d^* - \boldsymbol{x}^H\boldsymbol{w})\bigr] \nonumber \\ &= E[dd^*] - E[d \cdot \boldsymbol{x}^H\boldsymbol{w}] - E[\boldsymbol{w}^H\boldsymbol{x} \cdot d^*] + E[\boldsymbol{w}^H\boldsymbol{x}\boldsymbol{x}^H\boldsymbol{w}] \end{align}

$\boldsymbol{w}$ は確定的なベクトル（確率変数でない）であるから、期待値の外に出せる：

\begin{align} J &= E[|d|^2] - E[d\boldsymbol{x}^H]\boldsymbol{w} - \boldsymbol{w}^H E[\boldsymbol{x}d^*] + \boldsymbol{w}^H E[\boldsymbol{x}\boldsymbol{x}^H]\boldsymbol{w} \nonumber \\ &= \sigma_d^2 - \boldsymbol{p}^H\boldsymbol{w} - \boldsymbol{w}^H\boldsymbol{p} + \boldsymbol{w}^H\boldsymbol{R}\boldsymbol{w} \label{eq:J_symbols} \end{align}

ここで $E[d\boldsymbol{x}^H] = (E[\boldsymbol{x}d^*])^H = \boldsymbol{p}^H$ を用いた。

4. 直交性原理による導出

$J$ を最小にする $\boldsymbol{w}$ が満たすべき条件を幾何学的に導く。 最適推定 $\hat{d} = \boldsymbol{w}^H\boldsymbol{x}$ に対する誤差を $e = d - \hat{d}$ とし、 任意の別の推定 $\hat{d}' = \boldsymbol{w}'^H\boldsymbol{x}$ との差を $\delta = \hat{d}' - \hat{d}$ とおくと：

\begin{align} E[|d - \hat{d}'|^2] &= E[|e - \delta|^2] \nonumber \\ &= E[|e|^2] - 2\operatorname{Re}\,E[e\,\delta^*] + E[|\delta|^2] \end{align}

$\boldsymbol{w}$ が $J$ を最小にするためには、$\hat{d}'$ をどのように変えても $E[|d - \hat{d}'|^2] \ge E[|e|^2]$ でなければならない。$\delta$ は $\boldsymbol{x}$ の任意の線形結合を取りうるから、中央の交差項が消えること、すなわち

$$E[e\,\delta^*] = 0 \quad \text{（$\boldsymbol{x}$ の任意の線形結合 $\delta$ に対して）}$$

が必要十分条件である。これは各成分について

\begin{equation} E[e \cdot x_k^*] = 0 \quad \text{for all } k = 1, 2, \ldots, N \label{eq:orthogonality} \end{equation}

と等価であり、次の原理を得る：

直交性原理（Orthogonality Principle）

線形最小二乗推定において、平均二乗誤差 $J = E[|e|^2]$ が最小になるのは、 誤差 $e$ が観測データのすべてと直交（無相関）するとき、かつそのときに限る。

span{x₁, x₂, …, xₙ} O d̂ d e
図2. 直交射影としての最適推定。誤差 $e$ は部分空間に直交する

式\eqref{eq:orthogonality}をベクトル形式で書くと：

\begin{equation} E[\boldsymbol{x} e^*] = \boldsymbol{0} \end{equation}

$e = d - \boldsymbol{w}^H\boldsymbol{x}$ を代入し、$e^* = d^* - \boldsymbol{x}^H\boldsymbol{w}$ に注意して展開する：

\begin{align} E[\boldsymbol{x} e^*] &= E[\boldsymbol{x}(d^* - \boldsymbol{x}^H\boldsymbol{w})] \nonumber \\ &= E[\boldsymbol{x}d^*] - E[\boldsymbol{x}\boldsymbol{x}^H]\boldsymbol{w} \nonumber \\ &= \boldsymbol{p} - \boldsymbol{R}\boldsymbol{w} = \boldsymbol{0} \end{align}

ここで $\boldsymbol{w}$ は確定的ベクトルであるから期待値の外に出した。整理すると：

Wiener-Hopf方程式（直交性原理による導出）

\begin{equation} \boldsymbol{R}\boldsymbol{w} = \boldsymbol{p} \end{equation}

$\boldsymbol{R}$ が正則であれば：

\begin{equation} \boldsymbol{w}_{\rm opt} = \boldsymbol{R}^{-1}\boldsymbol{p} \end{equation}

5. Wirtinger微分による導出

式\eqref{eq:J_symbols}の各項を $\boldsymbol{w}^*$ で微分する。 Wirtinger微分の公式（ベクトルに対するWirtinger微分参照）より：

\begin{align} \frac{\partial J}{\partial \boldsymbol{w}^*} &= \frac{\partial}{\partial \boldsymbol{w}^*}\left(\sigma_d^2 - \boldsymbol{p}^H\boldsymbol{w} - \boldsymbol{w}^H\boldsymbol{p} + \boldsymbol{w}^H\boldsymbol{R}\boldsymbol{w}\right) \nonumber \\ &= 0 - 0 - \boldsymbol{p} + \boldsymbol{R}\boldsymbol{w} \nonumber \\ &= \boldsymbol{R}\boldsymbol{w} - \boldsymbol{p} \end{align}

ここで、$\boldsymbol{p}^H\boldsymbol{w}$ は $\boldsymbol{w}^*$ を含まないので微分は $\boldsymbol{0}$ になり、 $\boldsymbol{w}^H\boldsymbol{p}$ の微分は $\boldsymbol{p}$、 $\boldsymbol{w}^H\boldsymbol{R}\boldsymbol{w}$ の微分は $\boldsymbol{R}\boldsymbol{w}$（$\boldsymbol{R}$ がエルミート行列のため）となる。

$\dfrac{\partial J}{\partial \boldsymbol{w}^*} = \boldsymbol{0}$ より：

Wiener-Hopf方程式（正規方程式）

\begin{equation} \boldsymbol{R}\boldsymbol{w}_{\rm opt} = \boldsymbol{p} \end{equation}

すなわち：

\begin{equation} \boldsymbol{w}_{\rm opt} = \boldsymbol{R}^{-1}\boldsymbol{p} \label{eq:wiener_time} \end{equation}

6. 直感的解釈

  • $\boldsymbol{p} = E[\boldsymbol{x}d^*]$：観測信号 $\boldsymbol{x}$ のどの成分が目標信号 $d$ と相関があるかを表す
  • $\boldsymbol{R}^{-1}$：観測信号同士の相関を打ち消す（白色化）

結果として、$d$ と相関のある成分だけを歪みなく取り出せる。

本章の時間領域の解 $\boldsymbol{w}_{\rm opt} = \boldsymbol{R}^{-1}\boldsymbol{p}$ は、第1章の周波数領域の解 $G(\omega) = H^* P_S / (|H|^2 P_S + P_N)$ とフーリエ変換を介して完全に等価である。両者の対応関係と等価性の証明は第3章で詳しく扱う。