第26回:Deep Ritzでは点をどこに置くか — quadratureとsampling geometry
ChatGPTで作る有限要素プログラム入門 Season 3 第2回(通算第26回)
はじめに――\(N\) 点あることと,\(N\) 点分の情報があることは同じではない
前回はDeep Ritz法を
\[ \min_{\theta\in\Theta}E_N(u_\theta) \]として実装しました. ここで
\[ E_N(u_\theta) = \sum_{i=1}^N w_i \left[ \frac12|u_\theta'(x_i)|^2 - f(x_i)u_\theta(x_i) \right] \tag{1} \]です.
今回はnetwork architecture,optimizer,点数 \(N\) をいったん固定し, 点の位置とweightsだけを変えます.
\[ \boxed{ N\text{ が同じでも} \quad \{x_i,w_i\}_{i=1}^N \text{ が違えば,Deep Ritzは同じ問題を見ているのか?} } \tag{2} \]
1.continuous energyとsampled energyをもう一度分ける
1次元Poisson問題
\[ -u''=f, \qquad u(0)=u(1)=0 \]のenergyは
\[ \boxed{ E(v) = \int_0^1 \left[ \frac12|v'(x)|^2-f(x)v(x) \right]dx. } \tag{3} \]一方,training objectiveは式 (1) の \(E_N\) です.
したがってDeep Ritzには
\[ \boxed{ E_N\approx E } \tag{4} \]を保証するsampling / quadrature designが必要です.
2.equal weightsならpoint cloudそのものがmeasureになる
\(w_i=1/N\) なら
\[ \boxed{ \mu_N = \frac1N \sum_{i=1}^N \delta_{x_i} } \tag{5} \]というempirical measureを使って
\[ E_N(v) = \int \left[ \frac12|v'|^2-fv \right]d\mu_N \tag{6} \]を最小化していると読めます.
本来欲しいのはLebesgue measure \(dx\) に対するenergyです. 従って
\[ \boxed{ \mu_N \longrightarrow dx } \tag{7} \]がsampling geometryの第一の目標になります.
3.point placementとquadrature weightsは別の設計変数である
同じpoint setでも
\[ w_i=\frac1N \]とするのか,local cell sizeを反映したweightsにするのかで 近似しているmeasureは変わります.
\[ \boxed{ \text{point geometry} \neq \text{quadrature measure}. } \tag{8} \]Deep Ritzで「点を増やした」とだけ報告するのでは不十分で, 点とweightをセットで記録する必要があります.
4.1次元のsampling geometryを測る量
sorted points \[ 0<x_1<\cdots<x_N<1 \] に対して,まずcoverageを見る量として
\[ \boxed{ h_X = \max \{ x_1,\, x_2-x_1,\ldots, x_N-x_{N-1},\, 1-x_N \} } \tag{9} \]を使います.
clusteringを見る量として
\[ \boxed{ q_X = \frac12 \min_{i\ne j}|x_i-x_j| } \tag{10} \]を使い,prototype mesh ratioを
\[ \boxed{ \rho_X = \frac{h_X}{q_X} } \tag{11} \]とします.
これは今回のdiagnosticであり, Deep Ritzに対する普遍的なerror parameterだと主張しているわけではありません.
5.比較するpoint sets
\(N=32\) を固定し,次を比較します.
| name | points | 目的 |
|---|---|---|
| uniform midpoint | \((i-\tfrac12)/N\) | baseline |
| random uniform | \(U(0,1)\) | Monte Carlo型 |
| Gauss–Legendre | Gauss nodes | quadrature-oriented |
| Chebyshev-like | 両端cluster | nonuniform geometry |
| left \(p=4\) | \(x_i=t_i^4\) | 片側集中 |
| centre band | \(|x-\tfrac12|\lesssim0.05\) | 狭い領域への集中 |
| almost one point | \(|x-\tfrac12|\lesssim10^{-3}\) | degenerate limit |
6.まずnetworkを外し,samplingだけを解析する
neural optimisationのrandomnessを混ぜる前に, one-parameter trial family
\[ \boxed{ u_a(x) = a\,x(1-x) } \tag{12} \]を使います.
これはDeep Ritzのhard boundary ansatzと同じ形を持ち, parameter \(a\) だけを最適化するので, sampling geometryの効果をexactly切り出せます.
7.continuous energyの最適parameterはexactに計算できる
前回と同じ
\[ f(x)=\pi^2\sin(\pi x) \tag{13} \]を使います. \(\phi(x)=x(1-x)\) と書くと
\[ E(u_a) = \frac12a^2 \int_0^1|\phi'|^2dx - a \int_0^1f\phi\,dx. \tag{14} \]ここで
\[ \int_0^1|\phi'|^2dx = \frac13, \qquad \int_0^1f\phi\,dx = \frac4\pi. \tag{15} \]従って
\[ \boxed{ a_\ast = \frac{12}{\pi} = 3.819718634\ldots } \tag{16} \]です.
8.sampled minimiserも一行で求まる
point set \(X=\{x_i\}\) とweights \(w_i\) に対して
\[ E_X(a) = \sum_i w_i \left[ \frac12a^2|\phi'(x_i)|^2 - a f(x_i)\phi(x_i) \right]. \tag{17} \]従ってdenominatorがpositiveなら
\[ \boxed{ a_X = \frac{ \sum_iw_i f(x_i)\phi(x_i) }{ \sum_iw_i|\phi'(x_i)|^2 }. } \tag{18} \]つまりpoint placementだけで optimizerが目指すparameterそのものが変わります.
9.equal-weight comparison
Gauss–Legendreだけは標準Gauss weightsを使い, それ以外はequal weights \(w_i=1/N\) としたdeterministic auditです. random setはseed 7です.
| point set | \(a_X\) | \(h_X\) | true \(H^1\) error |
|---|---|---|---|
| uniform midpoint | 3.823454e0 | 3.125e-2 | 2.671891e-1 |
| random uniform | 4.213992e0 | 1.465e-1 | 3.510023e-1 |
| Gauss–Legendre | 3.819719e0 | 4.831e-2 | 2.671804e-1 |
| Chebyshev-like / equal | 1.895616e0 | 4.758e-2 | 1.142559e0 |
| left \(p=4\) / equal | 9.907830e-1 | 1.158e-1 | 1.654996e0 |
| centre band \(\varepsilon=0.05\) | 7.824857e2 | 4.530e-1 | 4.495631e2 |
| almost point \(\varepsilon=10^{-3}\) | 1.969936e6 | 4.991e-1 | 1.137341e6 |
最後の二行はoptimisation failureではありません. sampled objectiveそのものがwrong geometryを見ている結果です.
10.Chebyshev-like pointsにequal weightsを付けると別のmeasureを見る
Chebyshev-like points
\[ x_i = \frac12 \left( 1-\cos\frac{\pi i}{N+1} \right) \tag{19} \]へequal weightsを付けると, \(N\to\infty\) で点はLebesgue measureではなく endpoint-singularなarcsine-type distributionへ従います.
従って
\[ \boxed{ \text{good interpolation points} \not\Rightarrow \text{good equal-weight quadrature points}. } \tag{20} \]「点配置の名前」だけではなく,何を積分したいかを見る必要があります.
11.power-law clusteringも別のsampling measureを作る
\(t_i\) を一様に置き
\[ x_i=t_i^p, \qquad p>1 \tag{21} \]とすると,equal-weight empirical measureは極限で
\[ \boxed{ d\mu_p(x) = \frac1p x^{1/p-1}\,dx } \tag{22} \]へ近づきます.
\(p\) が大きいほど \(x=0\) へmassが集中します. これはLebesgue energyを解いているのではなく, 左端を過大評価したweighted energyを解いていることになります.
12.一点集中の極限はもっと劇的である
pointsを
\[ \boxed{ x_i = \frac12 + \varepsilon\xi_i, \qquad -1\le\xi_i\le1 } \tag{23} \]と置き, \(\varepsilon\to0\) とします.
equal weightsなら
\[ \boxed{ \mu_N \longrightarrow \delta_{1/2}. } \tag{24} \]つまりdomain全体のenergyではなく \(x=1/2\) のenergy densityだけを見る極限になります.
13.一点集中ではsampled minimiserが発散する
\(\phi(x)=x(1-x)\) について
\[ \phi'\left(\frac12+\varepsilon\xi\right) = -2\varepsilon\xi, \]一方
\[ f\left(\frac12+\varepsilon\xi\right) \phi\left(\frac12+\varepsilon\xi\right) = \frac{\pi^2}{4} + O(\varepsilon^2). \]従って式 (18) から
\[ \boxed{ a_X \sim \frac{\pi^2}{ 16\varepsilon^2 \left( N^{-1}\sum_i\xi_i^2 \right) } } \tag{25} \]となり,
\[ \boxed{ a_X=O(\varepsilon^{-2}) \longrightarrow\infty. } \tag{26} \]「点数を増やした」のにglobal approximationは改善しないどころか, objectiveのdegeneracyによってparameterが爆発します.
14.全点をexactly \(x=1/2\) に置くとenergyは下に有界でなくなる
さらに極端に \[ x_i=\frac12 \quad \forall i \] とします.
この点では \[ \phi'(1/2)=0, \qquad f(1/2)\phi(1/2)=\frac{\pi^2}{4}. \] 従って
\[ \boxed{ E_N(u_a) = -\frac{\pi^2}{4}a. } \tag{27} \]よって
\[ \boxed{ \inf_{a\in\mathbb R}E_N(u_a) = -\infty. } \tag{28} \]continuous energyはcoerciveなのに, samplingだけでdiscrete training objectiveのcoercivityを失う ことがあります.
15.これは「optimizerが悪い」問題ではない
一点集中でlossが崩れると, learning rateやnetwork depthを調整したくなります. しかし式 (27)–(28) はoptimizerを一切使わずに得られました.
\[ \boxed{ \text{sampling instability} \neq \text{optimisation instability}. } \tag{29} \]Season 3ではこの二つを分離して診断します.
16.weightsを直せばclusteringは救えるか
sorted points \(x_i\) に対し, 隣接点のmidpointをcell boundaryとして local Voronoi-type weightsを付けることができます.
\[ \boxed{ w_i \approx \text{point }x_i\text{ が代表するlocal interval length}. } \tag{30} \]このweightsは \[ \sum_iw_i=1 \] を満たし,nonuniform densityをある程度補正します.
17.weightsは重要だが,coverageの欠損までは直せない
同じ32点でVoronoi-type weightsを使うと, Chebyshev-like配置では
\[ a_X=3.802711 \] までcontinuous optimum \(12/\pi\) に近づきます.一方,centre bandだけに点がある場合は
\[ a_X\approx2.93\times10^2 \] となり,依然として破綻しています.理由は単純です.
\[ \boxed{ \text{weightsはdensity biasを補正できても, 観測していない領域の情報は作れない.} } \tag{31} \]18.point generatorsをコード化する
import numpy as np
def make_points(name, N, seed=7, eps=0.05):
i = np.arange(1, N + 1)
t = i / (N + 1)
if name == "uniform_midpoint":
return (np.arange(N) + 0.5) / N
if name == "random":
rng = np.random.default_rng(seed)
return np.sort(rng.random(N))
if name == "chebyshev":
return 0.5 * (
1.0 - np.cos(np.pi * i / (N + 1))
)
if name == "left_p4":
return t ** 4
if name == "centre_band":
return 0.5 + eps * (2.0 * t - 1.0)
raise ValueError(name)
19.geometry diagnosticsもコードにする
def point_geometry(x):
x = np.sort(np.asarray(x))
gaps = np.diff(
np.concatenate(([0.0], x, [1.0]))
)
hX = gaps.max()
sep = np.diff(x).min()
qX = 0.5 * sep
rhoX = hX / qX
return {
"hX": hX,
"qX": qX,
"rhoX": rhoX
}
一点集中では \[ h_X \] が大きいまま, \[ q_X \] だけが小さくなるため \[ \rho_X \] が急激に増大します.
20.one-parameter auditは数行で再現できる
def phi(x):
return x * (1.0 - x)
def dphi(x):
return 1.0 - 2.0 * x
def rhs(x):
return np.pi ** 2 * np.sin(np.pi * x)
def sampled_minimizer(x, w):
numerator = np.sum(
w * rhs(x) * phi(x)
)
denominator = np.sum(
w * dphi(x) ** 2
)
return numerator / denominator
このtestをfull neural networkより前に行うことで, sampling geometryそのもののfailureを切り出せます.
21.full Deep Ritz experimentでは何を固定するか
点配置比較でnetworkまで使う場合には,
\[ \boxed{ \begin{aligned} &\text{architecture},\\ &\text{initial parameter seed},\\ &\text{dtype},\\ &\text{optimizer},\\ &\text{number of steps},\\ &N \end{aligned} } \tag{32} \]を固定し, point setとweightsだけを変更します.
random samplingでは複数seedを使い, meanだけでなくdispersionも報告します.
22.training pointsとは別のreference quadratureで評価する
trainingに使ったpointsでtest errorまで測ると, sampling biasを二重に見落とします.
そこでevaluationには独立なhigh-order quadrature \[ \{x_j^{\mathrm{ref}},w_j^{\mathrm{ref}}\} \] を使い,
\[ \boxed{ E_{\mathrm{ref}}(u_\theta), \quad \|u_\theta-u^\ast\|_{L^2}, \quad |u_\theta-u^\ast|_{H^1} } \tag{33} \]を計算します.
training measureとevaluation measureを同じにしない.
sampled lossが小さいことと,continuous-domain errorが小さいことを分離する.
23.2次元では本当の異方的点配置が現れる
1次元では「集中」「非一様性」が中心でした. 2次元ではdirectionごとにsampling scaleを変えられます. 例えば
\[ h_x\sim N_x^{-1}, \qquad h_y\sim N_y^{-1} \tag{34} \]として
\[ \boxed{ N_y=N_x^2 } \tag{35} \]とすれば
\[ \boxed{ \kappa_X = \frac{h_x}{h_y} \sim N_x \longrightarrow\infty. } \tag{36} \]これはpoint cloud版のanisotropic refinementの最も単純なmodelです.
24.点群を一本のlineへ潰すこともできる
2次元domainで
\[ \boxed{ y_j = \frac12 + \varepsilon\eta_j, \qquad \varepsilon\to0 } \tag{37} \]とすると, sampling cloudはほぼ \[ y=\frac12 \] というlineへcollapseします.
PDEは2次元なのに,training measureは1次元measureへ退化します.
\[ \boxed{ \text{ambient dimension} \neq \text{effective sampling dimension}. } \tag{38} \]これは第31回のanisotropic samplingで本格的に調べます.
25.directional fill scalesという発想
2次元のpoint cloudに対し, 一つのscalar \(h_X\) だけでなく
\[ \boxed{ h_{X,1}, \qquad h_{X,2} } \tag{39} \]のようなdirectional coverage scalesを測る発想が自然に出てきます.
例えばprototype anisotropy indicatorとして
\[ \boxed{ \kappa_X = \frac{ \max_j h_{X,j} }{ \min_j h_{X,j} } } \tag{40} \]を考えられます.
ただしこれはここで導入するdiagnosticであり, 一般のDeep Ritz errorを支配するcanonical parameterだという定理ではありません.
26.point countではなくinformation geometryを見る
同じ \(N\) 点でも
- domain全体をcoverする \(N\) 点,
- 左端にclusterした \(N\) 点,
- ほぼ同じ位置に重なった \(N\) 点,
は全く違います.
\[ \boxed{ N \text{ points} \neq N \text{ independent pieces of information}. } \tag{41} \]この考え方は後半のoperator learningでsensor placementを考えるときに, さらに直接的なinformation-loss problemになります.
27.FEMのmesh geometryとの対応はどこまで本物か
対応は有用ですが,同一視してはいけません.
| FEM | Deep Ritz |
|---|---|
| mesh covers domain | point set samples domain |
| element size / shape | fill / separation / sampling density |
| quadrature on each element | global or local empirical quadrature |
| linear trial space | nonlinear neural trial manifold |
| mesh refinement | point-cloud refinement / resampling |
共通しているのは
\[ \boxed{ \text{finite-dimensional computationにはgeometryが入る} } \tag{42} \]ということです.
28.AIがpoint-placement studyで間違えやすい点
| mistake | 何が壊れるか |
|---|---|
| 点数だけを比較する | coverage / clusteringを無視する |
| nonuniform pointsにequal weightsを無条件使用 | 別のsampling measureを最小化する |
| Gauss pointsとequal-weight samplesを同じカテゴリで比較 | point geometryとquadrature ruleを混同する |
| 一点集中の破綻をoptimizer failureと呼ぶ | objective degeneracyを見落とす |
| training pointsでtest errorも評価 | sampling biasを検出できない |
| 1次元のclusterをanisotropyとだけ呼ぶ | directionalityとnonuniformityを混同する |
| prototype indicatorを普遍定理として扱う | 理論的裏付けを過大評価する |
29.sampling-geometry audit prompt
このDeep Ritz point-placement experimentを数学的に監査してください.
(1) continuous energy \(E\) とsampled energy \(E_N\) を区別しているか,
(2) point coordinatesとquadrature weightsを両方保存しているか,
(3) equal-weight samplingがどのempirical measureを近似するか確認しているか,
(4) nonuniform point cloudでequal weightsを使う理由を明示しているか,
(5) fill scale \(h_X\),separation \(q_X\),clusteringを記録しているか,
(6) point-placement comparisonではnetwork・optimizer・seed・dtype・\(N\) を固定しているか,
(7) random pointsでは複数seedのvariationを確認しているか,
(8) trainingとは独立なreference quadratureでcontinuous-domain errorを評価しているか,
(9) point concentrationでsampled objectiveのcoercivityが失われないか確認しているか,
(10) weightingでdensity biasを直す問題とcoverage不足を直す問題を区別しているか,
(11) 2D anisotropic studyではdirectional sampling scalesを記録しているか,
(12) point countをinformation countと同一視していないか
を順に確認してください.
30.第26回の結論
Deep Ritzでは点は単なるimplementation detailではありません.
\[ \boxed{ \{x_i,w_i\} \longrightarrow \mu_N \longrightarrow E_N \longrightarrow \text{trained solution} } \tag{43} \]という順に, 点配置がtraining objectiveそのものを決めます.
特に一点集中では
\[ \boxed{ \mu_N\to\delta_{x_0} } \tag{44} \]となり,domain全体のvariational problemから離れてしまいます. 今回の \(x_0=1/2\) の例ではさらに
\[ \boxed{ \inf E_N=-\infty } \tag{45} \]というcoercivity lossまで起きました.
従ってSeason 3では
\[ \boxed{ \text{point count} \quad\text{ではなく}\quad \text{point geometry} + \text{weights} + \text{coverage} } \tag{46} \]を見る必要があります.
点を増やすことと,domainについての情報を増やすことは同じではない.
次回はstrong-form residualへ移り, 第27回:PINNsを作る — strong residualを点で最小化する へ進みます.
参考文献・関連ページ
- W. E and B. Yu, “The Deep Ritz Method: A Deep Learning-Based Numerical Algorithm for Solving Variational Problems”, Communications in Mathematics and Statistics 6 (2018), 1–12.
- J. Dick and F. Pillichshammer, Digital Nets and Sequences: Discrepancy Theory and Quasi-Monte Carlo Integration, Cambridge University Press, 2010.
- H. Wendland, Scattered Data Approximation, Cambridge University Press, 2005.
- 第25回:Deep Ritz法を作る — FEMのenergy minimisationからneural trial spaceへ
- 関連する先行ノート:残差点の配置を変えると何が起きるか
- 関連する先行ノート:PINNsの点配置と幾何量
