第3回:どの幾何的量が誤差を支配するか
連載:PINNsはなぜ失敗するのか — 1次元から探る幾何条件の役割 | 27th June 2026
この回の目的
第2回では,残差点の配置を変えると PINNs の近似誤差が大きく変わること, そして最大ギャップ \(h_{\max}\) が誤差と相関するらしいことを数値的に観察しました.
しかし,これは5種類の配置を比べた段階の印象です. 次の問いに答えるには,より系統的な実験が必要です:
残差点の配置から計算できる幾何的量のうち,どれが PINNs の誤差を最もよく予測するか?
この回では,複数の配置族・複数の点数 \(N\) にわたって誤差を計測し, 5つの幾何的量との相関を系統的に調べます. 数値実験の前に,なぜ幾何的量が誤差に現れるかを,損失関数の構造から確認します.
なぜ幾何的量が現れるか:損失関数を積分として読む
PINNs の PDE 損失は $$ \mathcal{L}_{\rm pde}(\theta) = \frac{1}{N} \sum_{i=1}^{N} r_\theta(x_i)^2, \qquad r_\theta(x) := -u_\theta''(x) - f(x) $$ です.これは積分 $$ I[r^2] := \int_0^1 r_\theta(x)^2\, dx $$ の数値求積近似とみなせます.
数値求積の誤差は,点集合 \(\{x_i\}\) の均一性に依存します. これを定量化する理論が Koksma–Hlawka の不等式 です: $$ \left| \frac{1}{N} \sum_{i=1}^{N} g(x_i) - \int_0^1 g(x)\, dx \right| \leq D_N^* \cdot V(g). $$ ここで \(D_N^*\) は点集合のスター乖離度(star discrepancy), \(V(g)\) は \(g\) の全変動です.
したがって,損失関数 \(\mathcal{L}_{\rm pde}\) が小さくなっても, それは \(I[r^2]\) が小さいことを意味するわけではありません. 乖離度 \(D_N^*\) が大きいほど,損失と真の積分の差が大きくなり得ます. これが,残差点の配置が誤差に影響する根本的な理由です.
最大ギャップと乖離度の関係
スター乖離度と最大ギャップ \(h_{\max}\) の間には,次の関係があります: $$ \frac{h_{\max}}{2} \leq D_N^* \leq h_{\max}. $$ つまり,\(h_{\max}\) は \(D_N^*\) の上下界を与えます. 有限要素法の誤差評価で最大要素径 \(h = \max_K h_K\) が主役を演じるのと 同じ構造が,ここにも現れています.
調べる幾何的量
残差点 \(0 < x_1 < \cdots < x_N < 1\) に対して, \(x_0 := 0,\, x_{N+1} := 1\) とおき, ギャップ列 \(\Delta_i := x_i - x_{i-1}\)(\(i=1,\ldots,N+1\))を定義します. 今回調べる5つの幾何的量:
- \(h_{\max} = \max_i \Delta_i\):最大ギャップ.FEM の最大要素径に対応.
- \(\bar{h} = 1/(N+1)\):平均ギャップ.点数のみで決まる基準値.
- \(\sigma_h = \mathrm{std}(\Delta_i)\):ギャップの標準偏差.配置の不均一さを測る.
- \(\rho = h_{\max} / \min_i \Delta_i\):最大最小比.FEM の異方性比に対応.
- \(D_N^*\):スター乖離度.Koksma–Hlawka 不等式に直接現れる量.
Google Colab で動かす
以下のコードは,PyTorch の代わりに numpy と scipy のみで動作します. 1 隠れ層 MLP の 2 階微分を解析的に計算し,L-BFGS-B で最適化します.
セル 1:共通定義(MLP・PDE 残差・幾何的量)
import numpy as np
from scipy.optimize import minimize
from scipy import stats
import matplotlib.pyplot as plt
np.random.seed(42)
N_HIDDEN = 32
# 問題設定
def u_exact(x): return np.sin(np.pi * x)
def f_rhs(x): return np.pi**2 * np.sin(np.pi * x)
# ── ネットワーク(1 隠れ層, tanh) ──────────────────
# params = [W1(n), b1(n), W2(n), b2(1)]
def _unpack(p, n=N_HIDDEN):
return p[:n], p[n:2*n], p[2*n:3*n], p[3*n]
def net_forward(p, x):
W1, b1, W2, b2 = _unpack(p)
z = W1[None,:] * x[:,None] + b1[None,:]
return np.tanh(z) @ W2 + b2
def net_uxx(p, x):
"""2 階微分を解析的に計算: u'' = Σ_j W2_j (-2 tanh z_j sech² z_j) W1_j²"""
W1, b1, W2, b2 = _unpack(p)
z = W1[None,:] * x[:,None] + b1[None,:]
th = np.tanh(z)
s2 = 1 - th**2
return (-2 * th * s2 * W1[None,:]**2) @ W2
def loss_fn(p, x_c, x_bc, lam=100.0):
res = -net_uxx(p, x_c) - f_rhs(x_c)
l_pde = np.mean(res**2)
l_bc = np.mean(net_forward(p, x_bc)**2)
return l_pde + lam * l_bc
def train(pts, maxiter=3000, seed=0):
rng = np.random.default_rng(seed)
p0 = rng.standard_normal(3*N_HIDDEN + 1) * 0.1
res = minimize(loss_fn, p0, args=(pts, np.array([0.0, 1.0])),
method="L-BFGS-B",
options={"maxiter": maxiter, "ftol": 1e-14})
return res.x
def eval_L2(p, n=500):
x = np.linspace(0, 1, n)
return float(np.sqrt(np.mean((net_forward(p, x) - u_exact(x))**2)))
# ── 幾何的量 ────────────────────────────────────────
def geometric_quantities(pts):
pts_s = np.sort(pts)
gaps = np.diff(np.concatenate([[0.0], pts_s, [1.0]]))
N = len(pts)
h_max = gaps.max()
h_mean = 1.0 / (N + 1)
h_std = gaps.std()
h_ratio = gaps.max() / (gaps.min() + 1e-12)
i_arr = np.arange(1, N + 1)
disc = max(np.max(i_arr/N - pts_s), np.max(pts_s - (i_arr-1)/N))
return dict(h_max=h_max, h_mean=h_mean, h_std=h_std,
h_ratio=h_ratio, disc=disc)
# ── 配置生成 ────────────────────────────────────────
def pts_uniform(N): return np.linspace(0,1,N+2)[1:-1]
def pts_random(N, s): return np.sort(np.random.default_rng(s).uniform(0,1,N))
def pts_power(N, pw): return np.linspace(0,1,N+2)[1:-1]**pw
def pts_cheb(N):
return 0.5*(1 - np.cos(np.pi*np.arange(1,N+1)/(N+1)))
def pts_center(N, w):
return (1-w)/2 + np.linspace(0,1,N+2)[1:-1]*w
セル 2:系統的データ収集(33 件)
records = []
def record(label, pts, family, seed=0):
geom = geometric_quantities(pts)
p = train(pts, maxiter=3000, seed=seed)
err = eval_L2(p)
records.append({"label": label, "family": family, "err": err, **geom})
print(f"{label:35s} h_max={geom['h_max']:.4f} "
f"disc={geom['disc']:.4f} L2={err:.3e}")
# Uniform: N を変える
for N in [5, 8, 10, 15, 20, 30, 50]:
record(f"uniform N={N:3d}", pts_uniform(N), "uniform")
# Random: N=30, シードを変える
for s in range(10):
record(f"random seed={s}", pts_random(30, s), "random", seed=s)
# Power: N=30, べき乗を変える
for pw in [1.5, 2.0, 3.0, 4.0, 6.0]:
record(f"power={pw:.1f} N=30", pts_power(30, pw), "power")
# Chebyshev: N を変える
for N in [10, 15, 20, 30, 50]:
record(f"chebyshev N={N:3d}", pts_cheb(N), "chebyshev")
# Center-clustered: 幅を変える
for w in [0.10, 0.20, 0.30, 0.50, 0.70, 0.90]:
record(f"center w={w:.2f} N=30", pts_center(30, w), "center")
print(f"\n合計 {len(records)} 件")
セル 3:相関分析と散布図
qty_keys = ["h_max", "h_mean", "h_std", "h_ratio", "disc"]
qty_disp = {
"h_max" : r"Max gap $h_{\max}$",
"h_mean" : r"Mean gap $\bar{h}$",
"h_std" : r"Std $\sigma_h$",
"h_ratio": r"Max/min ratio $\rho$",
"disc" : r"Discrepancy $D_N^*$",
}
fam_colors = {
"uniform":"steelblue", "random":"orange",
"power":"green", "chebyshev":"purple", "center":"red"
}
err_arr = np.array([r["err"] for r in records])
qty_arrs = {k: np.array([r[k] for r in records]) for k in qty_keys}
# 相関表
print(f"{'quantity':12s} {'Pearson':>8s} {'Spearman':>8s}")
print("-"*35)
for k in qty_keys:
x = qty_arrs[k]
pe, _ = stats.pearsonr(np.log(x + 1e-12), np.log(err_arr))
sp, _ = stats.spearmanr(x, err_arr)
print(f"{k:12s} {pe:8.4f} {sp:8.4f}")
# 散布図(5 量 × 誤差)
fig, axes = plt.subplots(1, 5, figsize=(22, 4))
for ax, k in zip(axes, qty_keys):
for r in records:
ax.scatter(r[k], r["err"],
color=fam_colors[r["family"]], s=40, alpha=0.75)
rho, pv = stats.spearmanr(qty_arrs[k], err_arr)
ax.set_xscale("log"); ax.set_yscale("log")
ax.set_xlabel(qty_disp[k], fontsize=9)
if ax is axes[0]: ax.set_ylabel("L2 error", fontsize=10)
ax.set_title(f"Spearman rho={rho:.3f}", fontsize=9)
ax.grid(True, alpha=0.3)
for fam, col in fam_colors.items():
axes[0].scatter([], [], color=col, label=fam, s=40)
axes[0].legend(fontsize=8)
plt.tight_layout()
plt.show()
セル 4:\(h_{\max}\) vs 誤差(配置族別・収束次数)
fig, ax = plt.subplots(figsize=(8, 5))
for r in records:
ax.scatter(r["h_max"], r["err"],
color=fam_colors[r["family"]], s=50, alpha=0.75)
# Uniform だけで収束次数を推定
idx_u = [i for i,r in enumerate(records) if r["family"]=="uniform"]
h_u = qty_arrs["h_max"][idx_u]
e_u = err_arr[idx_u]
alpha, logC = np.polyfit(np.log(h_u), np.log(e_u), 1)
C = np.exp(logC)
h_rng = np.logspace(np.log10(h_u.min())-0.2, np.log10(h_u.max())+0.2, 50)
ax.plot(h_rng, C * h_rng**alpha, "k-", lw=2,
label=fr"fit (uniform): $h^{{{alpha:.2f}}}$")
ax.plot(h_rng, C * h_rng**1, "k--", lw=1, label=r"$h^1$")
ax.plot(h_rng, C * h_rng**2, "k:", lw=1, label=r"$h^2$")
for fam, col in fam_colors.items():
ax.scatter([], [], color=col, label=fam, s=50)
ax.set_xscale("log"); ax.set_yscale("log")
ax.set_xlabel(r"Max gap $h_{\max}$", fontsize=12)
ax.set_ylabel("L2 error", fontsize=12)
ax.set_title(r"$h_{\max}$ vs PINNs error")
ax.legend(fontsize=9); ax.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()
実際の数値結果
以下は著者の環境(numpy + scipy, L-BFGS-B, maxiter=3000, N_HIDDEN=32)で実行した結果です.
5種類の配置(N=30)の比較
| 配置 | L2 誤差 | \(h_{\max}\) | \(D_N^*\) |
|---|---|---|---|
| Uniform | 3.6e−4 | 0.032 | 0.032 |
| Random | 3.0e−4 | 0.119 | 0.175 |
| Left-clustered(\(t^4\)) | 5.7e−4 | 0.123 | 0.493 |
| Chebyshev | 2.9e−4 | 0.051 | 0.113 |
| Center-clustered | 3.3e−2 | 0.360 | 0.360 |
Center-clustered だけが 2 桁悪化しており,その \(h_{\max} = 0.36\)(全区間の 36%)が 原因として明確に読み取れます.Chebyshev は N=10 でも L2=1.4e−4 と, Uniform の N=30 に匹敵する精度を出しており,点の質が点の数を上回る例になっています.
33 件の系統実験:相関係数
| 幾何的量 | Pearson(log) | Spearman |
|---|---|---|
| \(h_{\max}\) | 0.680 | 0.569 |
| \(D_N^*\)(乖離度) | 0.539 | 0.559 |
| \(\sigma_h\)(標準偏差) | 0.216 | 0.437 |
| \(\rho\)(最大最小比) | 0.159 | 0.253 |
| \(\bar{h}\)(平均ギャップ) | −0.159 | −0.274 |
\(h_{\max}\) が Pearson 0.68 で最も高い相関を示しました. \(D_N^*\) も同程度(Spearman 0.56)であり,Koksma–Hlawka 不等式との整合が取れています.
\(\bar{h}\)(点数のみで決まる平均ギャップ)の相関が負になっている点も重要です. これは,「点数を増やせば必ず誤差が改善する」とは言えないことを示しています—— N=50 の Uniform と N=10 の Chebyshev の誤差が近い(それぞれ 6.4e−4,1.4e−4)ことが, その具体例です.
一様分布での収束次数:\(\alpha \approx 0.36\)
Uniform 配置(N=5,8,10,15,20,30,50)について \(\log(\text{err}) \sim \alpha \log(h_{\max})\) で推定すると, \(\alpha \approx 0.36\) という値が得られました.
有限要素法の \(L^2\) 誤差が \(O(h^2)\) であることと比較すると低い値です. これには主に 2 つの原因が考えられます:
- 最適化の収束不足:L-BFGS-B の maxiter=3000 では, N が大きい(h_max が小さい)場合に十分収束していない可能性があります. maxiter を増やすと \(\alpha\) が改善するかが次の確認事項です.
- Spectral bias:ニューラルネットワークは低周波成分を先に学習する傾向があり, h_max を小さくしても高精度化に限界が生じることが知られています.
どちらが支配的かを切り分けるには,訓練を十分に収束させたうえで N を変えた実験が必要です.これは今後の課題です.
実験結果から読み取れること
\(h_{\max}\) が最良の予測量
5つの幾何的量の中で \(h_{\max}\) が最も高い相関を示しました. これは有限要素法の誤差評価で最大要素径が主役を演じることと対応しています.
ただし,相関係数は 0.68 であり,\(h_{\max}\) だけで誤差の全てを説明できるわけではありません. 特に Random 配置は同じ N=30 でシードによって誤差が 1.9e−4 から 1.5e−3 まで散らばっており, \(h_{\max}\) だけでは捉えきれない変動があります.
平均ギャップ(=点数)は予測量として不適切
\(\bar{h} = 1/(N+1)\) の相関が負(Pearson −0.16)というのは, 「N が大きいほど \(\bar{h}\) は小さく,誤差も小さい傾向がある」という 当然の傾向ですが,配置の悪さを識別できないということを意味します. 同じ N=30 でも,Uniform の L2 誤差(3.6e−4)と Center-clustered(幅 0.10)の L2 誤差(1.0e−1)は 300 倍近く違います. \(\bar{h}\) はこの差を全く捉えられません.
Chebyshev は「点の質」で勝る
Chebyshev 点は両端に集中するため \(D_N^*\) が中程度になりますが, 最大ギャップは Uniform より大きいのに精度が同等かそれ以上です. これは,Chebyshev 点が補間理論で最適に近い配置であることと関係しており, ネットワークが解を近似しやすい構造になっているためと考えられます. この点は \(h_{\max}\) 単独では説明しきれない部分であり,今後の検討事項です.
理論的な位置づけ:何が残っているか
この連載の数値実験から浮かび上がるのは,次の仮説です:
仮説:十分に訓練された PINNs の近似誤差は, 最大ギャップ \(h_{\max}\) によって上から抑えられる: $$ \| u - u_\theta \|_{L^2(0,1)} \leq C(\theta_*) \cdot h_{\max}^{\alpha}, \qquad \alpha > 0. $$
未解決の問いが多く残ります:
- 「十分に訓練された」とは何を意味するか? 損失がゼロになるほど訓練しても誤差が残る(spectral bias)ことが知られています.
- \(\alpha\) の値は? 問題の正則性(\(u\) の滑らかさ)に依存するはずです.
- \(C(\theta_*)\) をどう評価するか? FEM では \(|u|_{H^2}\) などのソボレフノルムが現れます.
- 2次元・3次元では,残差点の幾何はどう記述すべきか? FEM におけるフラットネスパラメーターのような量が必要になるでしょうか.
これらが,この連載の先にある研究課題です (Research Visions B1).
この連載のまとめ
3回の数値実験を通じて,次のことを確認しました:
- PINNs の PDE 損失は,残差の積分の数値求積近似である(第1回・第2回).
- 残差点の配置が変わると,同じ問題・同じネットワークでも誤差が 2 桁以上変化する(第2回).
- 最大ギャップ \(h_{\max}\) とスター乖離度 \(D_N^*\) が,誤差と最も強い相関を示す(第3回).
- 平均ギャップ(点数)だけでは配置の悪さを捉えられない(第3回).
- 一様分布での収束次数は \(\approx 0.36\) で,最適化の収束不足か spectral bias が疑われる(第3回).
1次元の最小例での探索は,ここで一区切りです. 次の段階は,2次元・高次元への拡張,および厳密な誤差評価への接続です. それらは,ブログではなく論文として扱う予定です (Research Visions B1).
← 第2回:残差点の配置を変えると何が起きるか
→ Blog トップへ戻る
→ Research Visions(Vision 2, B1)
