第26回:Deep Ritzでは点をどこに置くか — quadratureとsampling geometry

ChatGPTで作る有限要素プログラム入門 Season 3 第2回(通算第26回)

はじめに――\(N\) 点あることと,\(N\) 点分の情報があることは同じではない

前回はDeep Ritz法を

\[ \min_{\theta\in\Theta}E_N(u_\theta) \]

として実装しました. ここで

\[ E_N(u_\theta) = \sum_{i=1}^N w_i \left[ \frac12|u_\theta'(x_i)|^2 - f(x_i)u_\theta(x_i) \right] \tag{1} \]

です.

今回はnetwork architecture,optimizer,点数 \(N\) をいったん固定し, 点の位置とweightsだけを変えます.

今回の問い
\[ \boxed{ N\text{ が同じでも} \quad \{x_i,w_i\}_{i=1}^N \text{ が違えば,Deep Ritzは同じ問題を見ているのか?} } \tag{2} \]

1.continuous energyとsampled energyをもう一度分ける

1次元Poisson問題

\[ -u''=f, \qquad u(0)=u(1)=0 \]

のenergyは

\[ \boxed{ E(v) = \int_0^1 \left[ \frac12|v'(x)|^2-f(x)v(x) \right]dx. } \tag{3} \]

一方,training objectiveは式 (1) の \(E_N\) です.

したがってDeep Ritzには

\[ \boxed{ E_N\approx E } \tag{4} \]

を保証するsampling / quadrature designが必要です.

2.equal weightsならpoint cloudそのものがmeasureになる

\(w_i=1/N\) なら

\[ \boxed{ \mu_N = \frac1N \sum_{i=1}^N \delta_{x_i} } \tag{5} \]

というempirical measureを使って

\[ E_N(v) = \int \left[ \frac12|v'|^2-fv \right]d\mu_N \tag{6} \]

を最小化していると読めます.

本来欲しいのはLebesgue measure \(dx\) に対するenergyです. 従って

\[ \boxed{ \mu_N \longrightarrow dx } \tag{7} \]

がsampling geometryの第一の目標になります.

3.point placementとquadrature weightsは別の設計変数である

同じpoint setでも

\[ w_i=\frac1N \]

とするのか,local cell sizeを反映したweightsにするのかで 近似しているmeasureは変わります.

\[ \boxed{ \text{point geometry} \neq \text{quadrature measure}. } \tag{8} \]

Deep Ritzで「点を増やした」とだけ報告するのでは不十分で, 点とweightをセットで記録する必要があります.

4.1次元のsampling geometryを測る量

sorted points \[ 0<x_1<\cdots<x_N<1 \] に対して,まずcoverageを見る量として

\[ \boxed{ h_X = \max \{ x_1,\, x_2-x_1,\ldots, x_N-x_{N-1},\, 1-x_N \} } \tag{9} \]

を使います.

clusteringを見る量として

\[ \boxed{ q_X = \frac12 \min_{i\ne j}|x_i-x_j| } \tag{10} \]

を使い,prototype mesh ratioを

\[ \boxed{ \rho_X = \frac{h_X}{q_X} } \tag{11} \]

とします.

これは今回のdiagnosticであり, Deep Ritzに対する普遍的なerror parameterだと主張しているわけではありません.

5.比較するpoint sets

\(N=32\) を固定し,次を比較します.

namepoints目的
uniform midpoint\((i-\tfrac12)/N\)baseline
random uniform\(U(0,1)\)Monte Carlo型
Gauss–LegendreGauss nodesquadrature-oriented
Chebyshev-like両端clusternonuniform geometry
left \(p=4\)\(x_i=t_i^4\)片側集中
centre band\(|x-\tfrac12|\lesssim0.05\)狭い領域への集中
almost one point\(|x-\tfrac12|\lesssim10^{-3}\)degenerate limit

6.まずnetworkを外し,samplingだけを解析する

neural optimisationのrandomnessを混ぜる前に, one-parameter trial family

\[ \boxed{ u_a(x) = a\,x(1-x) } \tag{12} \]

を使います.

これはDeep Ritzのhard boundary ansatzと同じ形を持ち, parameter \(a\) だけを最適化するので, sampling geometryの効果をexactly切り出せます.

7.continuous energyの最適parameterはexactに計算できる

前回と同じ

\[ f(x)=\pi^2\sin(\pi x) \tag{13} \]

を使います. \(\phi(x)=x(1-x)\) と書くと

\[ E(u_a) = \frac12a^2 \int_0^1|\phi'|^2dx - a \int_0^1f\phi\,dx. \tag{14} \]

ここで

\[ \int_0^1|\phi'|^2dx = \frac13, \qquad \int_0^1f\phi\,dx = \frac4\pi. \tag{15} \]

従って

\[ \boxed{ a_\ast = \frac{12}{\pi} = 3.819718634\ldots } \tag{16} \]

です.

8.sampled minimiserも一行で求まる

point set \(X=\{x_i\}\) とweights \(w_i\) に対して

\[ E_X(a) = \sum_i w_i \left[ \frac12a^2|\phi'(x_i)|^2 - a f(x_i)\phi(x_i) \right]. \tag{17} \]

従ってdenominatorがpositiveなら

\[ \boxed{ a_X = \frac{ \sum_iw_i f(x_i)\phi(x_i) }{ \sum_iw_i|\phi'(x_i)|^2 }. } \tag{18} \]

つまりpoint placementだけで optimizerが目指すparameterそのものが変わります.

9.equal-weight comparison

Gauss–Legendreだけは標準Gauss weightsを使い, それ以外はequal weights \(w_i=1/N\) としたdeterministic auditです. random setはseed 7です.

point set \(a_X\) \(h_X\) true \(H^1\) error
uniform midpoint3.823454e03.125e-22.671891e-1
random uniform4.213992e01.465e-13.510023e-1
Gauss–Legendre3.819719e04.831e-22.671804e-1
Chebyshev-like / equal1.895616e04.758e-21.142559e0
left \(p=4\) / equal9.907830e-11.158e-11.654996e0
centre band \(\varepsilon=0.05\)7.824857e24.530e-14.495631e2
almost point \(\varepsilon=10^{-3}\)1.969936e64.991e-11.137341e6

最後の二行はoptimisation failureではありません. sampled objectiveそのものがwrong geometryを見ている結果です.

10.Chebyshev-like pointsにequal weightsを付けると別のmeasureを見る

Chebyshev-like points

\[ x_i = \frac12 \left( 1-\cos\frac{\pi i}{N+1} \right) \tag{19} \]

へequal weightsを付けると, \(N\to\infty\) で点はLebesgue measureではなく endpoint-singularなarcsine-type distributionへ従います.

従って

\[ \boxed{ \text{good interpolation points} \not\Rightarrow \text{good equal-weight quadrature points}. } \tag{20} \]

「点配置の名前」だけではなく,何を積分したいかを見る必要があります.

11.power-law clusteringも別のsampling measureを作る

\(t_i\) を一様に置き

\[ x_i=t_i^p, \qquad p>1 \tag{21} \]

とすると,equal-weight empirical measureは極限で

\[ \boxed{ d\mu_p(x) = \frac1p x^{1/p-1}\,dx } \tag{22} \]

へ近づきます.

\(p\) が大きいほど \(x=0\) へmassが集中します. これはLebesgue energyを解いているのではなく, 左端を過大評価したweighted energyを解いていることになります.

12.一点集中の極限はもっと劇的である

pointsを

\[ \boxed{ x_i = \frac12 + \varepsilon\xi_i, \qquad -1\le\xi_i\le1 } \tag{23} \]

と置き, \(\varepsilon\to0\) とします.

equal weightsなら

\[ \boxed{ \mu_N \longrightarrow \delta_{1/2}. } \tag{24} \]

つまりdomain全体のenergyではなく \(x=1/2\) のenergy densityだけを見る極限になります.

13.一点集中ではsampled minimiserが発散する

\(\phi(x)=x(1-x)\) について

\[ \phi'\left(\frac12+\varepsilon\xi\right) = -2\varepsilon\xi, \]

一方

\[ f\left(\frac12+\varepsilon\xi\right) \phi\left(\frac12+\varepsilon\xi\right) = \frac{\pi^2}{4} + O(\varepsilon^2). \]

従って式 (18) から

\[ \boxed{ a_X \sim \frac{\pi^2}{ 16\varepsilon^2 \left( N^{-1}\sum_i\xi_i^2 \right) } } \tag{25} \]

となり,

\[ \boxed{ a_X=O(\varepsilon^{-2}) \longrightarrow\infty. } \tag{26} \]

「点数を増やした」のにglobal approximationは改善しないどころか, objectiveのdegeneracyによってparameterが爆発します.

14.全点をexactly \(x=1/2\) に置くとenergyは下に有界でなくなる

さらに極端に \[ x_i=\frac12 \quad \forall i \] とします.

この点では \[ \phi'(1/2)=0, \qquad f(1/2)\phi(1/2)=\frac{\pi^2}{4}. \] 従って

\[ \boxed{ E_N(u_a) = -\frac{\pi^2}{4}a. } \tag{27} \]

よって

\[ \boxed{ \inf_{a\in\mathbb R}E_N(u_a) = -\infty. } \tag{28} \]

continuous energyはcoerciveなのに, samplingだけでdiscrete training objectiveのcoercivityを失う ことがあります.

15.これは「optimizerが悪い」問題ではない

一点集中でlossが崩れると, learning rateやnetwork depthを調整したくなります. しかし式 (27)–(28) はoptimizerを一切使わずに得られました.

\[ \boxed{ \text{sampling instability} \neq \text{optimisation instability}. } \tag{29} \]

Season 3ではこの二つを分離して診断します.

16.weightsを直せばclusteringは救えるか

sorted points \(x_i\) に対し, 隣接点のmidpointをcell boundaryとして local Voronoi-type weightsを付けることができます.

\[ \boxed{ w_i \approx \text{point }x_i\text{ が代表するlocal interval length}. } \tag{30} \]

このweightsは \[ \sum_iw_i=1 \] を満たし,nonuniform densityをある程度補正します.

17.weightsは重要だが,coverageの欠損までは直せない

同じ32点でVoronoi-type weightsを使うと, Chebyshev-like配置では

\[ a_X=3.802711 \] までcontinuous optimum \(12/\pi\) に近づきます.

一方,centre bandだけに点がある場合は

\[ a_X\approx2.93\times10^2 \] となり,依然として破綻しています.

理由は単純です.

\[ \boxed{ \text{weightsはdensity biasを補正できても, 観測していない領域の情報は作れない.} } \tag{31} \]

18.point generatorsをコード化する

import numpy as np

def make_points(name, N, seed=7, eps=0.05):
    i = np.arange(1, N + 1)
    t = i / (N + 1)

    if name == "uniform_midpoint":
        return (np.arange(N) + 0.5) / N

    if name == "random":
        rng = np.random.default_rng(seed)
        return np.sort(rng.random(N))

    if name == "chebyshev":
        return 0.5 * (
            1.0 - np.cos(np.pi * i / (N + 1))
        )

    if name == "left_p4":
        return t ** 4

    if name == "centre_band":
        return 0.5 + eps * (2.0 * t - 1.0)

    raise ValueError(name)

19.geometry diagnosticsもコードにする

def point_geometry(x):
    x = np.sort(np.asarray(x))

    gaps = np.diff(
        np.concatenate(([0.0], x, [1.0]))
    )

    hX = gaps.max()

    sep = np.diff(x).min()
    qX = 0.5 * sep

    rhoX = hX / qX

    return {
        "hX": hX,
        "qX": qX,
        "rhoX": rhoX
    }

一点集中では \[ h_X \] が大きいまま, \[ q_X \] だけが小さくなるため \[ \rho_X \] が急激に増大します.

20.one-parameter auditは数行で再現できる

def phi(x):
    return x * (1.0 - x)

def dphi(x):
    return 1.0 - 2.0 * x

def rhs(x):
    return np.pi ** 2 * np.sin(np.pi * x)

def sampled_minimizer(x, w):
    numerator = np.sum(
        w * rhs(x) * phi(x)
    )

    denominator = np.sum(
        w * dphi(x) ** 2
    )

    return numerator / denominator

このtestをfull neural networkより前に行うことで, sampling geometryそのもののfailureを切り出せます.

21.full Deep Ritz experimentでは何を固定するか

点配置比較でnetworkまで使う場合には,

\[ \boxed{ \begin{aligned} &\text{architecture},\\ &\text{initial parameter seed},\\ &\text{dtype},\\ &\text{optimizer},\\ &\text{number of steps},\\ &N \end{aligned} } \tag{32} \]

を固定し, point setとweightsだけを変更します.

random samplingでは複数seedを使い, meanだけでなくdispersionも報告します.

22.training pointsとは別のreference quadratureで評価する

trainingに使ったpointsでtest errorまで測ると, sampling biasを二重に見落とします.

そこでevaluationには独立なhigh-order quadrature \[ \{x_j^{\mathrm{ref}},w_j^{\mathrm{ref}}\} \] を使い,

\[ \boxed{ E_{\mathrm{ref}}(u_\theta), \quad \|u_\theta-u^\ast\|_{L^2}, \quad |u_\theta-u^\ast|_{H^1} } \tag{33} \]

を計算します.

重要
training measureとevaluation measureを同じにしない.
sampled lossが小さいことと,continuous-domain errorが小さいことを分離する.

23.2次元では本当の異方的点配置が現れる

1次元では「集中」「非一様性」が中心でした. 2次元ではdirectionごとにsampling scaleを変えられます. 例えば

\[ h_x\sim N_x^{-1}, \qquad h_y\sim N_y^{-1} \tag{34} \]

として

\[ \boxed{ N_y=N_x^2 } \tag{35} \]

とすれば

\[ \boxed{ \kappa_X = \frac{h_x}{h_y} \sim N_x \longrightarrow\infty. } \tag{36} \]

これはpoint cloud版のanisotropic refinementの最も単純なmodelです.

24.点群を一本のlineへ潰すこともできる

2次元domainで

\[ \boxed{ y_j = \frac12 + \varepsilon\eta_j, \qquad \varepsilon\to0 } \tag{37} \]

とすると, sampling cloudはほぼ \[ y=\frac12 \] というlineへcollapseします.

PDEは2次元なのに,training measureは1次元measureへ退化します.

\[ \boxed{ \text{ambient dimension} \neq \text{effective sampling dimension}. } \tag{38} \]

これは第31回のanisotropic samplingで本格的に調べます.

25.directional fill scalesという発想

2次元のpoint cloudに対し, 一つのscalar \(h_X\) だけでなく

\[ \boxed{ h_{X,1}, \qquad h_{X,2} } \tag{39} \]

のようなdirectional coverage scalesを測る発想が自然に出てきます.

例えばprototype anisotropy indicatorとして

\[ \boxed{ \kappa_X = \frac{ \max_j h_{X,j} }{ \min_j h_{X,j} } } \tag{40} \]

を考えられます.

ただしこれはここで導入するdiagnosticであり, 一般のDeep Ritz errorを支配するcanonical parameterだという定理ではありません.

26.point countではなくinformation geometryを見る

同じ \(N\) 点でも

  • domain全体をcoverする \(N\) 点,
  • 左端にclusterした \(N\) 点,
  • ほぼ同じ位置に重なった \(N\) 点,

は全く違います.

\[ \boxed{ N \text{ points} \neq N \text{ independent pieces of information}. } \tag{41} \]

この考え方は後半のoperator learningでsensor placementを考えるときに, さらに直接的なinformation-loss problemになります.

27.FEMのmesh geometryとの対応はどこまで本物か

対応は有用ですが,同一視してはいけません.

FEMDeep Ritz
mesh covers domainpoint set samples domain
element size / shapefill / separation / sampling density
quadrature on each elementglobal or local empirical quadrature
linear trial spacenonlinear neural trial manifold
mesh refinementpoint-cloud refinement / resampling

共通しているのは

\[ \boxed{ \text{finite-dimensional computationにはgeometryが入る} } \tag{42} \]

ということです.

28.AIがpoint-placement studyで間違えやすい点

mistake何が壊れるか
点数だけを比較するcoverage / clusteringを無視する
nonuniform pointsにequal weightsを無条件使用別のsampling measureを最小化する
Gauss pointsとequal-weight samplesを同じカテゴリで比較point geometryとquadrature ruleを混同する
一点集中の破綻をoptimizer failureと呼ぶobjective degeneracyを見落とす
training pointsでtest errorも評価sampling biasを検出できない
1次元のclusterをanisotropyとだけ呼ぶdirectionalityとnonuniformityを混同する
prototype indicatorを普遍定理として扱う理論的裏付けを過大評価する

29.sampling-geometry audit prompt

Audit prompt
このDeep Ritz point-placement experimentを数学的に監査してください.
(1) continuous energy \(E\) とsampled energy \(E_N\) を区別しているか,
(2) point coordinatesとquadrature weightsを両方保存しているか,
(3) equal-weight samplingがどのempirical measureを近似するか確認しているか,
(4) nonuniform point cloudでequal weightsを使う理由を明示しているか,
(5) fill scale \(h_X\),separation \(q_X\),clusteringを記録しているか,
(6) point-placement comparisonではnetwork・optimizer・seed・dtype・\(N\) を固定しているか,
(7) random pointsでは複数seedのvariationを確認しているか,
(8) trainingとは独立なreference quadratureでcontinuous-domain errorを評価しているか,
(9) point concentrationでsampled objectiveのcoercivityが失われないか確認しているか,
(10) weightingでdensity biasを直す問題とcoverage不足を直す問題を区別しているか,
(11) 2D anisotropic studyではdirectional sampling scalesを記録しているか,
(12) point countをinformation countと同一視していないか
を順に確認してください.

30.第26回の結論

Deep Ritzでは点は単なるimplementation detailではありません.

\[ \boxed{ \{x_i,w_i\} \longrightarrow \mu_N \longrightarrow E_N \longrightarrow \text{trained solution} } \tag{43} \]

という順に, 点配置がtraining objectiveそのものを決めます.

特に一点集中では

\[ \boxed{ \mu_N\to\delta_{x_0} } \tag{44} \]

となり,domain全体のvariational problemから離れてしまいます. 今回の \(x_0=1/2\) の例ではさらに

\[ \boxed{ \inf E_N=-\infty } \tag{45} \]

というcoercivity lossまで起きました.

従ってSeason 3では

\[ \boxed{ \text{point count} \quad\text{ではなく}\quad \text{point geometry} + \text{weights} + \text{coverage} } \tag{46} \]

を見る必要があります.

Season 3 第2回の原則
点を増やすことと,domainについての情報を増やすことは同じではない.

次回はstrong-form residualへ移り, 第27回:PINNsを作る — strong residualを点で最小化する へ進みます.

参考文献・関連ページ

  1. W. E and B. Yu, “The Deep Ritz Method: A Deep Learning-Based Numerical Algorithm for Solving Variational Problems”, Communications in Mathematics and Statistics 6 (2018), 1–12.
  2. J. Dick and F. Pillichshammer, Digital Nets and Sequences: Discrepancy Theory and Quasi-Monte Carlo Integration, Cambridge University Press, 2010.
  3. H. Wendland, Scattered Data Approximation, Cambridge University Press, 2005.
  4. 第25回:Deep Ritz法を作る — FEMのenergy minimisationからneural trial spaceへ
  5. 関連する先行ノート:残差点の配置を変えると何が起きるか
  6. 関連する先行ノート:PINNsの点配置と幾何量

ページの先頭へ