第5回:コードと数学の辞書
連載:PINNsはなぜ失敗するのか — 1次元から探る幾何条件の役割 | 27th June 2026
この回の目的
第4回まで,コードを書いて動かすことに集中してきました. この回では一歩引いて,コードの各部分が何の数学的対象に対応するかを言語化します.
これは単なる「コードの解説」ではありません. コードと数学の対応を明示することで,次の問いが立てられるようになります:
- このコードが「正しい」とはどういう意味か?
- 誤差はどこから来るか?それぞれ何に依存するか?
- FEM の理論のどの部分が,そのままここに使えるか?
数学的解析への入口はここにあります.
コードの構成要素と数学的対象の対応
第4回のコードを数学の言葉で読み直します.
ネットワーク = 試験関数(trial function)
コード上の net_u(p, x) は,パラメータ \(\theta = (W_1, b_1, W_2, b_2)\) で決まる
関数 \(u_\theta : [0,1] \to \mathbb{R}\) です:
$$ u_\theta(x) = W_2^\top \tanh(W_1 x + b_1) + b_2, \quad W_1, b_1, W_2 \in \mathbb{R}^n,\; b_2 \in \mathbb{R}. $$
これは FEM の近似解 \(u_h = \sum_i c_i \varphi_i\) に対応します. ただし,FEM では \(c_i\) への依存性が線形であるのに対し, \(\theta\) への依存性は非線形です.これが最大の違いです.
| コード | 数学的対象 | FEM での対応物 |
|---|---|---|
p = [W1, b1, W2, b2] |
パラメータ \(\theta \in \mathbb{R}^{3n+1}\) | 係数ベクトル \(\mathbf{c} = (c_i)\) |
net_u(p, x) |
試験関数 \(u_\theta(x) \in C^\infty([0,1])\) | 近似解 \(u_h = \sum_i c_i \varphi_i \in V_h\) |
net_up(p, x) |
\(u_\theta'(x)\),\(u_\theta \in H^1(0,1)\) | \(u_h' = \sum_i c_i \varphi_i'\) |
net_upp(p, x) |
\(u_\theta''(x)\),\(u_\theta \in H^2(0,1)\) | \(u_h'' = \sum_i c_i \varphi_i''\)(各要素内) |
x_c(残差点) |
数値積分点 \(\{x_i\}_{i=1}^N \subset (0,1)\) | ガウス積分点 \(\hat{x}_q \in \hat{K}\)(参照要素) |
x_q, w_q(ガウス点) |
ガウス–ルジャンドル点 \((\xi_q, \omega_q)\) | FEM の数値積分(全く同じ) |
minimize(...) |
\(\hat\theta = \arg\min_\theta \mathcal{L}(\theta)\) | 連立一次方程式 \(K\mathbf{c} = \mathbf{f}\) を解く |
損失関数の数学的読み方
PINNs の損失:強形式残差の最小 2 乗近似
$$ \mathcal{L}_{\rm PINNs}(\theta) = \frac{1}{N}\sum_{i=1}^N \bigl(-u_\theta''(x_i) - f(x_i)\bigr)^2 \approx \int_0^1 \bigl(-u_\theta'' - f\bigr)^2 dx = \|-u_\theta'' - f\|_{L^2}^2. $$
「積分を点評価で近似した」という構造です. \(\mathcal{L}_{\rm PINNs}(\theta) \to 0\) は \(\|-u_\theta'' - f\|_{L^2}^2 \to 0\) の近似的な条件です.
しかし,損失 \(\approx 0\) は \(\|u - u_\theta\|_{L^2} \approx 0\) を直接意味しない点に注意が必要です. これは,離散的な評価点での残差がゼロでも, 評価点間での挙動が制御されないためです(第3回の \(h_{\max}\) の問題がここに現れます).
Deep Ritz の損失:エネルギー汎関数の数値積分
$$ \mathcal{L}_{\rm DeepRitz}(\theta) = \sum_{i} w_i \Bigl[\frac{1}{2}(u_\theta'(x_i))^2 - f(x_i)u_\theta(x_i)\Bigr] \approx \int_0^1 \Bigl[\frac{1}{2}(u_\theta')^2 - fu_\theta\Bigr]dx = E(u_\theta). $$
\(E(u_\theta)\) は Poisson 問題のエネルギー汎関数で,真の解 \(u\) において最小値を取ります: $$ E(u) = \min_{v \in H^1_0} E(v) = -\frac{1}{2}\|u\|_{H^1_0}^2. $$ したがって,\(\mathcal{L}_{\rm DeepRitz}(\hat\theta) \approx E(u)\) になれば \(u_{\hat\theta} \approx u\) が期待できます. これは最小化の目標が数学的に意味を持っているという点で PINNs より理論的に健全です.
また,被積分関数の滑らかさが PINNs と異なります: PINNs の被積分関数は \((-u_\theta''-f)^2\)(2階微分を含む), Deep Ritz は \((u_\theta')^2 - fu_\theta\)(1階微分のみ). 滑らかな関数の積分の方が,離散点での近似精度が高くなります(Koksma–Hlawka 不等式の \(V(g)\) 項).
VPINN の損失:双線形形式の離散化
弱形式の双線形形式 \(a(u,v) = \int_0^1 u'v'\,dx\) と 線形形式 \(\ell(v) = \int_0^1 fv\,dx\) を使うと, 弱形式は「任意の \(v\in H^1_0\) に対して \(a(u,v)=\ell(v)\)」です.
VPINN の損失はこれをテスト関数 \(\phi_k\)(Legendre 多項式)でサンプリングし: $$ \mathcal{L}_{\rm VPINN}(\theta) = \sum_{k=1}^K \bigl(a_N(u_\theta, \phi_k) - \ell_N(\phi_k)\bigr)^2, $$ ここで \(a_N, \ell_N\) はガウス数値積分による近似です.
FEM の Galerkin 方程式 \(a(u_h, \phi_k) = \ell(\phi_k)\) と比べると, 違いは2点のみです:
- 試験関数空間:FEM は有限次元の多項式空間,VPINN はニューラルネットワーク(非線形空間)
- 最適化手法:FEM は連立一次方程式,VPINN は非線形最小化
テスト関数 \(\phi_k\) と積分点(ガウス点)はFEM と全く同じものが使えます.
誤差の分解:3 つの誤差源
真の解 \(u\) と計算された近似解 \(u_{\hat\theta}\) の誤差を分解します:
$$ \|u - u_{\hat\theta}\| \leq \underbrace{\inf_{\theta} \|u - u_\theta\|}_{\text{①近似誤差}} + \underbrace{\|u_{\theta^*} - u_{\hat\theta}\|}_{\text{②最適化誤差}} + \underbrace{\text{(積分の離散化誤差)}}_{\text{③幾何誤差}} $$
① 近似誤差:ネットワークで \(u\) をどこまで近似できるか
FEM では Céa の補題が: $$ \|u - u_h\|_{H^1} \leq C \inf_{v_h \in V_h} \|u - v_h\|_{H^1} $$ を与え,さらに補間誤差評価が右辺を \(Ch|u|_{H^2}\) と評価します.
ニューラルネットワークの場合,Barron (1993) の定理が: 任意の \(f \in H^1\) に対して,\(n\) 個のニューロンを持つ 1 隠れ層ネットワークが \(\|f - u_\theta\|_{L^2} \leq C / \sqrt{n}\) で近似できることを示します. ただしこの評価は FEM の \(O(h^2)\) より遅く,次元の呪いの影響も異なります.
② 最適化誤差:L-BFGS-B は最小値に到達するか
これが現在最も理論的に難しい部分です. 損失関数 \(\mathcal{L}(\theta)\) は \(\theta\) に関して非凸であるため, L-BFGS-B は局所最小値に収束する可能性があります.
FEM では,剛性行列 \(K\) が対称正定値であれば連立方程式は一意解を持ちます. ニューラルネットワークではこれに対応する保証がなく, 最適化誤差の定量的な評価は開問題です.
実験的には,十分な隠れ層幅 \(n\) と適切な初期化で最適化が収束しやすくなることが観察されていますが, 理論的保証はありません.
③ 幾何誤差:積分点の配置が積分近似精度を決める
これが第1〜4回で数値的に探索してきた部分です. Koksma–Hlawka 不等式: $$ \left|\frac{1}{N}\sum_i g(x_i) - \int_0^1 g(x)dx\right| \leq D_N^* \cdot V(g) $$ から,積分点の乖離度 \(D_N^*\) と被積分関数の全変動 \(V(g)\) の積で誤差が抑えられます.
ここで:
- \(D_N^* \leq h_{\max}\) より,最大ギャップが誤差の上界を与える(第3回の実験結果)
- \(V(g)\) は被積分関数の滑らかさによる:PINNs の \((-u''-f)^2\) より Deep Ritz の \((u')^2/2-fu\) の方が一般に滑らかで \(V(g)\) が小さい
- VPINN でガウス点を使えば,\(n_q\) 点で次数 \(2n_q-1\) の多項式が厳密に積分され, 積分誤差は指数的に小さくなる(③がほぼゼロ)
3 つの誤差のうち,③だけが幾何的量(点の配置)によって完全にコントロール可能です. これが,幾何条件の研究が意味を持つ理由です.
FEM とのの本質的な違い:線形性 vs 非線形性
FEM と NN ベース手法の最大の違いを1行で言うと:
FEM は線形空間で最適化する.NN は非線形空間で最適化する.
FEM の近似解 \(u_h = \sum_i c_i \varphi_i\) は係数 \(\mathbf{c}\) に線形に依存します. そのため:
- 剛性行列 \(K_{ij} = a(\varphi_i, \varphi_j)\) が一度計算できれば連立一次方程式 \(K\mathbf{c}=\mathbf{f}\) を解くだけ
- 最適化誤差はゼロ(一意解が存在)
- Céa の補題が使える
NN の近似解 \(u_\theta\) はパラメータ \(\theta\) に非線形に依存します:
- 損失関数 \(\mathcal{L}(\theta)\) が非凸 → 局所最小への収束可能性
- Céa の補題の類似が(まだ)証明されていない
- しかし,①近似誤差については NN 近似論が整備されつつある
この違いから,今研究が最も必要な部分が②最適化誤差であることが分かります. 一方,③幾何誤差は数値積分の理論(Koksma–Hlawka,ガウス積分)がそのまま使えます.
コードを読むための数学用語集
| コード / 操作 | 数学的な言葉 | 関係する理論 |
|---|---|---|
net_u(p, x) |
試験関数 \(u_\theta \in C^\infty \subset H^1_0\) | 普遍近似定理(Cybenko 1989) |
net_up(p, x) |
\(u_\theta' \in L^2(0,1)\),\(H^1\) の元の導関数 | Sobolev 空間 \(H^1\) の理論 |
net_upp(p, x) |
\(u_\theta'' \in L^2(0,1)\),\(H^2\) 正則性を必要とする | 楕円型方程式の正則性理論 |
loss_pinns |
\(\|{-u_\theta''-f}\|_{L^2}^2\) の離散近似 | Koksma–Hlawka 不等式,\(D_N^*\) |
loss_deepritz |
エネルギー汎関数 \(E(u_\theta)\) の数値積分 | 変分原理,Lax–Milgram の定理 |
loss_vpinn |
\(\sum_k (a_N(u_\theta,\phi_k)-\ell_N(\phi_k))^2\) | Galerkin 法,双線形形式,ガウス積分 |
gauss_points(n_q) |
次数 \(2n_q-1\) の多項式を厳密積分する点集合 | Gauss–Legendre 求積法 |
minimize(..., "L-BFGS-B") |
\(\hat\theta \approx \arg\min_\theta \mathcal{L}(\theta)\) | 非線形最適化,準 Newton 法(開問題あり) |
h_max |
\(h_{\max} = \max_i \Delta_i\),乖離度 \(D_N^*\) の上界 | Koksma–Hlawka,FEM の最大要素径 |
eval_L2(p) |
\(\|u - u_\theta\|_{L^2}\) の離散近似 | \(L^2\) ノルム,Monte Carlo 誤差評価 |
まとめ:数学的解析への入口
コードの各部分と数学の対応を整理すると,誤差解析の構造が見えます:
- ③幾何誤差は Koksma–Hlawka とガウス積分の理論で評価できる. \(h_{\max}\)(最大ギャップ)が鍵となる量(第1〜3回で数値的に確認).
- ①近似誤差は NN 近似論(Barron の定理など)で評価できる. FEM の補間誤差評価とは異なる枠組みが必要.
- ②最適化誤差は現在開問題.非凸損失の大域的最小化への収束保証がない.
FEM 研究から直接持ち込める道具は③幾何誤差の部分です. 次回(第6回)では,FEM のフラットネスパラメーターが この③の分析においてどう登場するかを見ていきます.
← 第4回:PINNs / Deep Ritz / VPINN / WAN を並べて比べる
→ 第6回:私の研究との接続(準備中)
→ Blog トップへ戻る
