Mathematics Education with Codex · 第2回
直交射影と最小二乗法:最も近い点はどこか
固定ベクトル b=(2,1) を直線上の点で近似します。どの係数が最も誤差を小さくするか、まず予想してください。
- 1.予想する
- 2.観察する
- 3.証明する
1.直線と候補点を選んで予想する
方向ベクトル \(a(t)=(1,t)^\top\)、直線 \(L(t)=\{\alpha a(t):\alpha\in\mathbb R\}\) とします。\(A(t)\) を2行1列の行列とみなせば、これは \(\|A(t)\alpha-b\|_{\mathbb R^2}^2\) の最小化問題です。
tを変えると予想・観察・証明が初期化されます。予想は0.1刻みの近似値です。最適係数は必ずしも0.1刻みとは限りません。
まず係数を予想してください。
2.候補点と直交射影を比べる
緑の残差は直線と直交します。表示数値はJavaScriptの浮動小数点計算による近似値です。ごく小さい残差内積は丸め誤差であり、厳密な証明ではありません。
3.最小になることを証明する
「次の段階」で証明を一つずつ開きます。
段階1:二乗誤差を展開する
\[F_t(\alpha)=\|\alpha a(t)-b\|_{\mathbb R^2}^2=(\alpha-2)^2+(t\alpha-1)^2.\]
方向 \(a(t)=(1,t)^\top\) は零ベクトルではないので、\(F_t\) は \(\alpha\) について狭義凸な二次式です。
段階2:正規方程式から最適係数を求める
\[F_t'(\alpha)=2\bigl((1+t^2)\alpha-(2+t)\bigr)=0.\]
\[\alpha_*=\frac{2+t}{1+t^2}.\]
射影 \(p=\alpha_*a(t)\) の残差 \(r=b-p\) について \((a(t),r)_{\mathbb R^2}=0\) が成立します。
段階3:ピタゴラスの定理で最小性を証明する
\[\|b-\alpha a(t)\|_{\mathbb R^2}^2=\|b-p\|_{\mathbb R^2}^2+(\alpha-\alpha_*)^2\|a(t)\|_{\mathbb R^2}^2.\]
右辺の第2項は非負なので、\(\alpha=\alpha_*\) で最小値を取ります。さらに \(\|a(t)\|_{\mathbb R^2}^2=1+t^2>0\) なので、\(\alpha\ne\alpha_*\) なら第2項は正です。従って、この最小点は一意です。一般の行列 \(A\) については、残差の直交条件 \(A^\top(b-Ax)=0\) が正規方程式 \(A^\top Ax=A^\top b\) になります。ただし \(A\) の列が一次独立でない場合、係数の一意性には注意が必要です。
考えてみよう
- t=0.5のとき、bが直線上に乗ることを式で説明してください。
- なぜ残差の直交性だけで最小性が分かるのでしょうか。
- 列が従属なAでは、射影点と係数の一意性はどう違いますか。