Introduction:近い点を探すだけで十分だろうか

第1回は、固有値が同じでも対角化可能性が変わる例を扱いました。第2回では、ベクトルを直線上の点で近似する問題を考えます。点を動かすだけなら簡単ですが、なぜその点が最も近いのかは、内積と直交性を使って説明する必要があります。

問い

最も近い点は「見た目」で決まるのでしょうか。それとも、すべての候補点に対して最小であることを証明できるのでしょうか。

1.数学的問題を設定する

固定ベクトル \(b=(2,1)^{\top}\) と、傾き \(t\in[-2,2]\) に依存する方向ベクトル \(a(t)=(1,t)^{\top}\) を考えます。直線 \(L(t)=\operatorname{span}\{a(t)\}\) 上の点 \(q=\alpha a(t)\) を動かし、次の二乗誤差を最小化します。

\[ F_t(\alpha)=\|b-\alpha a(t)\|_{\mathbb R^2}^{2} =(2-\alpha)^2+(1-t\alpha)^2. \tag{1} \]

この問題は、行列 \(A(t)\in\mathbb R^{2\times1}\) を列ベクトル \(a(t)\) とした最小二乗問題 \(\min_{\alpha\in\mathbb R}\|A(t)\alpha-b\|_{\mathbb R^2}^2\) です。

2.最良近似の係数を導く

\(\|a(t)\|_{\mathbb R^2}^2=1+t^2>0\) なので、式(1)を \(\alpha\) で微分すると、停留条件は

\[ F_t'(\alpha)=2\bigl((1+t^2)\alpha-(2+t)\bigr)=0. \tag{2} \]

従って、候補係数は

\[ \alpha_*(t)=\frac{2+t}{1+t^2},\qquad p(t)=\alpha_*(t)a(t). \tag{3} \]

最良近似点 \(p(t)\) に対応する残差を \(r(t)=b-p(t)\) とおきます。このとき

\[ (a(t),r(t))_{\mathbb R^2} =(2+t)-(1+t^2)\alpha_*(t)=0. \tag{4} \]

つまり、残差は近似空間 \(L(t)\) に直交します。さらに、任意の \(\alpha\in\mathbb R\) に対して

\[ \|b-\alpha a(t)\|_{\mathbb R^2}^{2} =\|b-p(t)\|_{\mathbb R^2}^{2} +(\alpha-\alpha_*(t))^2\|a(t)\|_{\mathbb R^2}^{2}. \tag{5} \]

式(5)はピタゴラスの定理です。第2項が非負で、\(\alpha=\alpha_*\) 以外では正になるので、式(3)が一意の最小二乗解であることが証明できました。

3.予想してから観察する

直交射影の操作教材を開く

まず傾き \(t\) と候補係数 \(\alpha\) を選び、最良近似点を予想してください。予想の確定後に、候補点 \(q=\alpha a(t)\)、最良近似点 \(p=\alpha_*a(t)\)、それぞれから \(b\) への残差を表示します。最適係数、二乗誤差、残差と方向ベクトルの内積も数値で比較できます。

例えば \(t=\tfrac12\) では \(b=2a(\tfrac12)\) が成り立つため、最小二乗誤差は0です。一方、\(t=-2\) では \(a(-2)\) と \(b\) が直交しているため、射影は原点になります。どちらも式(3)から説明できます。

4.Codexへの指示と実装方針

今回も、数学的な式を先に定め、それから画面とテストを作る順序を守りました。実装用の指示の要点を示します。

b=(2,1), a(t)=(1,t), -2<=t<=2 とする。
学生が候補係数 alpha を予想してから結果を表示する。
alpha*=(2+t)/(1+t^2) を使って直交射影を計算する。
候補点、射影点、残差を別の色と線種で描く。
残差の直交性とピタゴラスの恒等式を3段階で証明する。
tを変更したら、予想・観察・証明を初期化する。
式と表示の対応を独立テストで検証する。
数値実験は証明の代用としない。

数学モデルは blog/demos/linear-algebra-projection.js に置き、coefficient(t)、projection(t)、cost(t,alpha) の関数を分けています。描画と学習状態は別の処理が担います。ブラウザでは数値を小数に丸めて表示しますが、証明は上の恒等式に依拠しています。

5.テストの観点と再現方法

独立テストでは、41個の \(t\) に対して、射影点の座標、残差の直交性、式(5)と最小性を調べます。特別なケース \(t=\tfrac12\) と \(t=-2\) も確認します。状態管理のテストでは、予想前に結果を返さないこと、パラメータを変更したら学習状態が消えることを調べます。

node --test tests/projection-math.test.js

別途PlaywrightとChromiumを用意すると、実際のブラウザでの操作も検査できます。現在のリポジトリには package.json を追加せず、検証用依存ライブラリは公開教材から分離しています。

npm install --no-save --no-package-lock playwright
# Linux: Chromiumが /usr/bin/chromium にある場合
PROJECTION_BROWSER_TESTS=1 node --test tests/projection-math.test.js

macOSでGoogle Chromeを使う場合は、実行ファイルの場所を環境変数 PROJECTION_CHROMIUM_PATH で指定します。

PROJECTION_CHROMIUM_PATH="/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" PROJECTION_BROWSER_TESTS=1 node --test tests/projection-math.test.js

6.一般の最小二乗問題との関係

より一般に \(A\in\mathbb R^{m\times n}\)、\(b\in\mathbb R^m\) に対して \(\|Ax-b\|_{\mathbb R^m}^2\) を最小化すると、正規方程式

\[ A^\top Ax=A^\top b \tag{6} \]

を得ます。係数ベクトル \(x\) が一意になるためには、\(A\) の列が一次独立であることが必要十分です。一方、射影点 \(Ax\) は、\(\operatorname{range}(A)\) への直交射影として一意です。今回の \(A(t)=a(t)\) はどの \(t\) でも零列でないため、最良係数が一意に決まります。[1][2]

この点は大規模計算に限りません。\(A\) が列フルランクのとき、2-ノルム条件数について \(\kappa_2(A^\top A)=\kappa_2(A)^2\) が成立します。したがって、正規方程式を直接解くと条件数が二乗され、数値誤差が増幅されやすくなります。QR分解や特異値分解が重要になる理由については、別の教材で扱う余地があります。

7.授業で考えてほしいこと

候補係数を0.1刻みで動かす操作だけでは、最小性を厳密に確かめられません。学生には、観察後に式(4)と式(5)の意味を説明してもらいます。また、候補係数が最適値と一致しない場合でも、なぜ誤差が増えるかを式(5)から説明できます。自分の予想が正解したかどうかだけでなく、一般の係数に対する証明を重視します。

参考文献・資料

  1. Dahleh, M., Dahleh, M. A. and Verghese, G., The Projection Theorem and the Least Squares Estimate, MIT OpenCourseWare / Engineering LibreTexts.
  2. Massachusetts Institute of Technology, 18.06 Problem Set 6 Solutions, 2022(階数と最小二乗解の一意性).
  3. OpenAI, Codex Documentation.

操作教材へ戻る / 第1回 / ブログ一覧