第35回:sensor pointsをどこに置くか — 有限観測の限界

ChatGPTで作る有限要素プログラム入門 Season 3 第11回(通算第35回)

はじめに――学習器より前に,観測できない情報がある

第34回ではPDE solution operatorを

\[ S:X\to Y \tag{1} \]

とし,computerへinput function \(f\) を渡すために

\[ \mathcal O_mf = \bigl( \ell_1(f),\ldots,\ell_m(f) \bigr) \tag{2} \]

というfinite observation mapを導入しました.

今回はarchitecture,training,optimizerより前にある問いを扱います.

第35回の問い
\[ \boxed{ \mathcal O_mf_1 = \mathcal O_mf_2 \quad\text{なのに}\quad Sf_1\ne Sf_2 } \tag{3} \]

なら,どれほど高性能なoperator learnerでも両方を正しく予測できないのではないか?

1.deterministic learnerは同じ観測に同じ答えしか返せない

finite observationsを受け取るdecoderを

\[ \boxed{ G: \mathbb R^m \to Y } \tag{4} \]

とします.

もし \[ \mathcal O_mf_1 = \mathcal O_mf_2 \] なら

\[ \boxed{ G(\mathcal O_mf_1) = G(\mathcal O_mf_2). } \tag{5} \]

これはneural networkに限らず,すべてのdeterministic algorithmに共通します.

2.二つのindistinguishable inputsからlower boundが出る

共通のpredictionを \[ y_G = G(\mathcal O_mf_1) = G(\mathcal O_mf_2) \] とします.

triangle inequalityから

\[ \|Sf_1-Sf_2\|_Y \le \|Sf_1-y_G\|_Y + \|Sf_2-y_G\|_Y. \]

従って

\[ \boxed{ \max_{i=1,2} \|Sf_i-G(\mathcal O_mf_i)\|_Y \ge \frac12 \|Sf_1-Sf_2\|_Y. } \tag{6} \]

これはtraining failureではなく information failureです.

3.observation kernelが本質である

linear observation mapなら

\[ \boxed{ \ker\mathcal O_m = \{ h\in X: \mathcal O_mh=0 \} } \tag{7} \]

を考えます.

\(h\in\ker\mathcal O_m\) なら \[ f \] と \[ f+h \] は同じ観測を持ちます.

したがってfinite sensingが見落とす方向は

\[ \boxed{ \ker\mathcal O_m } \tag{8} \]

そのものです.

4.symmetric input classではalgorithm-independent boundが強くなる

input class \(\mathcal K\subset X\) がsymmetric, すなわち

\[ h\in\mathcal K \Longrightarrow -h\in\mathcal K \]

とします.

\(h\in\mathcal K\cap\ker\mathcal O_m\) に対し, \(+h\) と \(-h\) はどちらもzero observationです.

linear solution operatorなら

\[ S(-h)=-Sh. \]

従って任意のdecoder \(G\) に対し

\[ \boxed{ \sup_{f\in\mathcal K} \|Sf-G(\mathcal O_mf)\|_Y \ge \|Sh\|_Y. } \tag{9} \]

5.unit ballでは「見えないPDE方向」の大きさが下限になる

\[ \mathcal K = \{ f\in X: \|f\|_X\le1 \} \]

なら式 (9) から

\[ \boxed{ \inf_G \sup_{\|f\|_X\le1} \|Sf-G(\mathcal O_mf)\|_Y \ge \sup_{ \substack{ h\in\ker\mathcal O_m\\ \|h\|_X\le1 } } \|Sh\|_Y. } \tag{10} \]

右辺は sensorが完全に見落とすinput directionsをPDEへ通した大きさです.

6.input reconstruction errorだけを見るよりPDE-awareである

sensor designで

\[ \|h\|_X \]

だけを見ると,「inputをどれだけ再構成できるか」を測っています.

式 (10) は

\[ \boxed{ \|Sh\|_Y } \tag{11} \]

を見ます.

elliptic PDEはhigh-frequency forcingを強くsmoothするため, 「inputとして見えない方向」と 「solution predictionにとって危険な方向」は必ずしも同じではありません.

7.1次元Poissonでblind frequencyを明示する

\[ -u''=f \quad\text{in }(0,1), \qquad u(0)=u(1)=0 \tag{12} \]

を考えます.

equispaced sensorsを

\[ \boxed{ x_j = \frac{j}{m+1}, \qquad j=1,\ldots,m } \tag{13} \]

とします.

8.\((m+1)\)-th sine modeは全sensorでzeroになる

normalised forcing

\[ \boxed{ h_m(x) = \sqrt2 \sin\bigl((m+1)\pi x\bigr) } \tag{14} \]

を取ると

\[ \|h_m\|_{L^2(0,1)}=1 \]

であり,各sensorで

\[ \boxed{ h_m(x_j) = \sqrt2\sin(j\pi) = 0. } \tag{15} \]

つまりzero forcingと \(h_m\) はpoint sensorsから区別できません.

9.solutionはzeroではない

Poisson solution operatorを通すと

\[ \boxed{ Sh_m = \frac{ \sqrt2 }{ ((m+1)\pi)^2 } \sin\bigl((m+1)\pi x\bigr). } \tag{16} \]

従って

\[ \boxed{ \|Sh_m\|_{L^2} = \frac1{((m+1)\pi)^2}, } \tag{17} \]

\[ \boxed{ |Sh_m|_{H^1} = \frac1{(m+1)\pi}. } \tag{18} \]

10.finite sensorsだけからはこの誤差を避けられない

input classが \[ \pm h_m \] を含むなら,式 (9) から

\[ \boxed{ \sup_f |Sf-G(\mathcal O_mf)|_{H^1} \ge \frac1{(m+1)\pi}. } \tag{19} \]

同様に \(L^2\) output errorでは

\[ \boxed{ \sup_f \|Sf-G(\mathcal O_mf)\|_{L^2} \ge \frac1{((m+1)\pi)^2}. } \tag{20} \]

同じsensor setでも,output normによってinformation lower boundのscaleが変わります.

11.これは「sensor数が足りない」だけではない

\(m\) sensorsを増やせばblind modeは高frequencyへ移ります.

しかし重要なのは

\[ \boxed{ \text{sensor geometry} + \text{input class} + \text{PDE smoothing} + \text{output norm} } \tag{21} \]

が一緒にlower boundを決めることです.

単に「\(m=100\) sensorsなら十分」とは言えません.

12.sensor-free gapにはinvisible bumpを置ける

point sensors \[ X_m=\{x_1,\ldots,x_m\} \] に対し,sensorを含まないopen interval

\[ I=(a,b) \]

があるとします.

nonzero

\[ \boxed{ \psi \in C_c^\infty(I) } \tag{22} \]

なら

\[ \boxed{ \psi(x_j)=0 \qquad \forall j. } \tag{23} \]

従って \(\psi\in\ker\mathcal O_m\) です.

13.Poisson operatorを通すとinvisible bumpはglobal solutionを作る

1次元Dirichlet PoissonのGreen functionは

\[ \boxed{ G(x,y) = \min(x,y) \bigl( 1-\max(x,y) \bigr). } \tag{24} \]

従って

\[ \boxed{ (S\psi)(x) = \int_0^1 G(x,y)\psi(y)\,dy. } \tag{25} \]

\(\psi\ge0\),\(\psi\not\equiv0\) なら \[ S\psi \] は非零です.

つまりsensor-free gapは inputだけでなくsolution operatorのpredictionにもblind directionを作ります.

14.fill distanceはblind regionの大きさを測る

point set \(X_m\subset[0,1]\) に対して

\[ \boxed{ h_X = \sup_{x\in[0,1]} \min_{x_j\in X_m} |x-x_j| } \tag{26} \]

を使います.

\(h_X\) が大きいほど, 大きなsensor-free regionを作れる可能性があります.

operator learningでも

\[ \boxed{ \text{sensor count} \neq \text{domain coverage}. } \tag{27} \]

15.一点集中ではsensor数を増やしても情報次元が増えない

すべてのsensorsを \[ x_j=x_0 \] に置くと

\[ \boxed{ \mathcal O_mf = \bigl( f(x_0),\ldots,f(x_0) \bigr). } \tag{28} \]

観測vectorは \(m\)-dimensionalでも, 独立な情報は一つのscalarだけです.

従って

\[ \boxed{ \text{many sensors} \not\Rightarrow \text{many independent observations}. } \tag{29} \]

16.一点近傍への集中はconditioningを壊す

有限次元input model

\[ X_p = \operatorname{span} \{ \phi_1,\ldots,\phi_p \} \]

を考え,

\[ f_c = \sum_{k=1}^p c_k\phi_k \tag{30} \]

とします.

point sensor matrixを

\[ \boxed{ V_{jk} = \phi_k(x_j) } \tag{31} \]

とすると

\[ \mathcal O_mf_c = V\boldsymbol c. \]

17.identifiabilityはrankで決まる

finite-dimensional class \(X_p\) 上では

\[ \boxed{ \operatorname{rank}V=p } \tag{32} \]

ならnoise-free observationsからcoefficient vectorを一意に復元できます.

逆に

\[ \operatorname{rank}V<p \]

ならnonzero \[ \boldsymbol c\in\ker V \]

が存在し,有限観測だけではexact identificationできません.

18.全sensorが同一点ならrankは高々1

\(x_j=x_0\) ならmatrixの全rowsは

\[ \bigl( \phi_1(x_0),\ldots,\phi_p(x_0) \bigr) \]

で同じです.

従って

\[ \boxed{ \operatorname{rank}V \le1. } \tag{33} \]

\(p>1\) なら,sensorを何個重ねてもinput classを識別できません.

19.near concentrationではsmallest singular valueを見る

\[ x_j = x_0+\varepsilon\xi_j, \qquad \varepsilon\to0 \]

とします. \(\phi_k\) がcontinuousなら各rowは同じrowへ近づきます.

従って \(p>1\) では

\[ \boxed{ \sigma_{\min}(V) \longrightarrow 0. } \tag{34} \]

exact rankが落ちる前から, finite observationsは数値的に不安定になります.

20.noise amplificationは \(\sigma_{\min}(V)\) で決まる

observation noiseを

\[ \boldsymbol z = V\boldsymbol c + \boldsymbol\eta \tag{35} \]

とします. full-column-rankならleast-squares reconstructionは

\[ \widehat{\boldsymbol c} = V^\dagger\boldsymbol z. \]

従って

\[ \boxed{ \| \widehat{\boldsymbol c} - \boldsymbol c \|_2 \le \frac{ \|\boldsymbol\eta\|_2 }{ \sigma_{\min}(V) }. } \tag{36} \]

sensor placementはinformation量だけでなく noise stabilityも決めます.

21.PDE output errorにもnoiseが伝わる

coefficient space上のdiscrete solution operatorを \(T\) とすれば

\[ \widehat{\boldsymbol a} = T\widehat{\boldsymbol c}, \qquad \boldsymbol a = T\boldsymbol c. \]

従って

\[ \boxed{ \| \widehat{\boldsymbol a} - \boldsymbol a \|_2 \le \frac{ \|T\|_2 }{ \sigma_{\min}(V) } \|\boldsymbol\eta\|_2. } \tag{37} \]

observation conditioningとPDE amplification / smoothingが積として現れます.

22.sine basisではequispaced sensorsの構造が明確である

orthonormal basis

\[ \boxed{ \phi_k(x) = \sqrt2\sin(k\pi x), \qquad k=1,\ldots,p } \tag{38} \]

を使います.

equispaced sensors \[ x_j=j/(m+1) \] で \(p\le m\) ならdiscrete sine orthogonalityから

\[ \boxed{ V^{\top}V = (m+1)I_p. } \tag{39} \]

ここでは \(\sqrt2\) normalisationを含めているため,columnsは同じscaleで直交します.

23.しかし一つmodeを増やすとblind directionが現れる

\(p=m+1\) にするとlast basis function

\[ \phi_{m+1}(x) = \sqrt2\sin((m+1)\pi x) \]

は全sensorsでzeroです.

従って

\[ \boxed{ V \text{ loses injectivity exactly at the blind mode.} } \tag{40} \]

同じsensor setが「十分かどうか」はinput classのcomplexityに依存します.

24.sensor matrixをコードで監査する

import numpy as np

def sine_sensor_matrix(x, p):
    x = np.asarray(x)
    k = np.arange(1, p + 1)

    return (
        np.sqrt(2.0)
        * np.sin(
            np.pi
            * x[:, None]
            * k[None, :]
        )
    )


m = 16
x = np.arange(1, m + 1) / (m + 1)

V_good = sine_sensor_matrix(x, p=m)
V_blind = sine_sensor_matrix(x, p=m + 1)

s_good = np.linalg.svd(
    V_good,
    compute_uv=False
)

s_blind = np.linalg.svd(
    V_blind,
    compute_uv=False
)

print(s_good[-1])
print(s_blind[-1])

\(p=m\) ではwell-conditionedですが, \(p=m+1\) ではnontrivial nullspaceが生じます.

25.PDE-aware invisible radiusを有限次元で計算する

sine basis上のPoisson operatorはdiagonalで

\[ \boxed{ D = \operatorname{diag} \left( \frac1{\pi^2}, \frac1{(2\pi)^2}, \ldots, \frac1{(p\pi)^2} \right). } \tag{41} \]

\(N\) を \[ \ker V \] のorthonormal basis matrixとすると, unit \(L^2\) forcing class上のinvisible output radiusは

\[ \boxed{ \rho_{\rm inv}(X_m) = \|DN\|_2. } \tag{42} \]

これは「sensorが見落とすdirectionsのうち, Poisson solutionとして最も大きく残るもの」を測ります.

26.invisible radiusをコードで計算する

def nullspace(A, rtol=1.0e-12):
    U, s, Vt = np.linalg.svd(
        A,
        full_matrices=True
    )

    if s.size == 0:
        return Vt.T

    tol = rtol * s[0]
    rank = np.sum(s > tol)

    return Vt[rank:].T


def poisson_invisible_radius(x, p):
    V = sine_sensor_matrix(
        x,
        p
    )

    N = nullspace(V)

    if N.shape[1] == 0:
        return 0.0

    k = np.arange(1, p + 1)

    D = np.diag(
        1.0 / (np.pi * k) ** 2
    )

    return np.linalg.norm(
        D @ N,
        ord=2
    )

同じ \(m\) でもsensor geometryを変えれば \[ \rho_{\rm inv} \] は変わります.

27.input reconstruction optimalとPDE prediction optimalは同じではない

sensor designを

\[ \sup_{ h\in\ker\mathcal O_m, \ \|h\|_X\le1 } \|h\|_X \]

だけで考えると,input reconstructionだけを見ています.

PDE predictionでは

\[ \boxed{ \sup_{ h\in\ker\mathcal O_m, \ \|h\|_X\le1 } \|Sh\|_Y } \tag{43} \]

を小さくする方が直接的です.

elliptic smoothingによりhigh-frequency blind modesが強くattenuateされるなら, PDE-aware sensor placementはinput interpolationとは異なる最適配置を持ち得ます.

28.sensor placement自体をminimax problemとして書く

sensor set \[ X_m=\{x_1,\ldots,x_m\} \] をdesign variableとすれば,

\[ \boxed{ X_m^\ast \in \operatorname*{arg\,min}_{X_m} \; \inf_G \sup_{f\in\mathcal K} \| Sf-G(\mathcal O_{X_m}f) \|_Y. } \tag{44} \]

これはarchitecture selectionより前にある information design problemです.

29.finite-dimensional modelならconditioningもobjectiveに入れる

model class \(X_p\) が明示されるなら,

\[ \boxed{ \max_{X_m} \sigma_{\min}(V(X_m)) } \tag{45} \]

や

\[ \boxed{ \min_{X_m} \kappa(V(X_m)) } \tag{46} \]

はnoise-stable sensor placementのprototypeです.

ただしこれもbasis / input norm依存であり, PDE output normを直接最適化する式 (44) とは別です.

30.2次元ではline concentrationがdimensionを失わせる

2次元input \(f(x,y)\) を観測するのに, 全sensorsをline

\[ y=\frac12 \]

上へ置いたとします.

すると

\[ \boxed{ h(x,y) = \left( y-\frac12 \right) \psi(x,y) } \tag{47} \]

は全sensorsでzeroです.

\(\psi\) を適切に選べば \(Sh\ne0\) なので, ambient dimensionは2でもsensor informationはlineへcollapseしています.

31.anisotropic inputにはanisotropic sensorsが必要になり得る

input classが \[ x \] 方向にはslow, \[ y \] 方向にはrapidに変化するなら,

\[ \boxed{ h_y^{\rm sensor} \ll h_x^{\rm sensor} } \tag{48} \]

というdirectional sensor resolutionが自然です.

ただし必要なanisotropyは input regularityだけでなくsolution operator \(S\) がどの方向を増幅・減衰するか にも依存します.

32.sensor pointsとcollocation pointsを混同しない

points何を観測するか失うもの
quadrature pointsintegral / energyintegrand between points
PINN collocation pointsPDE residualbetween-point residual
operator sensorsinput functioninput directions in \(\ker\mathcal O_m\)
output query pointspredicted solutionunqueried output geometry

全部「点」ですが,information roleは違います.

33.adaptive sensor placementはresidual-adaptive samplingと別問題である

第32回ではcurrent solution residualから collocation pointsを更新しました.

operator sensorを更新するなら,

\[ \boxed{ \text{which input observation reduces uncertainty most?} } \tag{49} \]

というactive sensing problemになります.

sensorを全input functionsで固定するのか, 各inputごとにadaptiveに測るのかでもproblem definitionが変わります.

34.noiseがあるとexact indistinguishabilityからapproximate indistinguishabilityへ変わる

observation error levelを \(\delta\) とすると,

\[ \boxed{ \| \mathcal O_mf_1 - \mathcal O_mf_2 \|_2 \le 2\delta } \tag{50} \]

ならnoise ballがoverlapし, 二つのinputsを安定に区別することは困難になります.

従って実際にはkernelだけでなく near-kernel directionsも重要です.

35.small singular valuesはnear-kernelを可視化する

finite-dimensional observation matrix \(V\) では, right singular vector \(\boldsymbol v_{\min}\) に対して

\[ \boxed{ \|V\boldsymbol v_{\min}\|_2 = \sigma_{\min}(V). } \tag{51} \]

\(\sigma_{\min}\ll1\) なら, unit-size input perturbationがsensor dataでは非常に小さく見えます.

exact nullspaceだけでなくsingular spectrum全体を保存します.

36.operator learnerのtest setだけではinformation limitを発見できない場合がある

random test functionsがたまたま \[ \ker\mathcal O_m \] やnear-kernelへほとんど入らなければ, 平均test errorは小さく見えます.

従ってstress testとして

\[ \boxed{ \text{null / near-null observation directions} } \tag{52} \]

を意図的に作る必要があります.

これはadversarial attackではなく, observation mapそのもののnumerical auditです.

37.sensor auditで記録すべき量

少なくとも

\[ \boxed{ m, \quad X_m, \quad h_X, \quad q_X, \quad \sigma_{\min}(V), \quad \rho_{\rm inv}(X_m) } \tag{53} \]

を記録します.

ここで \(q_X\) はpoint separation, \(\rho_{\rm inv}\) はmodel classを指定したPDE-aware invisible radiusです.

sensor countだけをtableに書いてもgeometryは再現できません.

38.AIがfinite observationsで間違えやすい点

mistake何が壊れるか
sensor数だけでinformation量を判断重複・集中・rank lossを無視する
same observationsならlearnerが工夫して区別できると考えるalgorithm-independent lower boundを無視する
\(L^2\) inputにpoint sensorsを無条件に定義observation functionalがwell-definedでない
rank fullならstableとするnear-singularityとnoise amplificationを見落とす
input interpolationに良いpointsがPDE predictionにも最適とするsolution operatorのsmoothingを無視する
random test errorだけでfinite-observation limitを評価null / near-null directionsを踏まない可能性がある
sensor pointsとPINN collocation pointsを同じ役割とするinput informationとPDE residual informationを混同する

39.finite-observation audit prompt

Audit prompt
このoperator-learning sensor designを数学的に監査してください.
(1) input class \(\mathcal K\),input norm,output normを明示しているか,
(2) observation functionalsがinput class上でwell-definedか,
(3) \(\ker\mathcal O_m\) にnontrivial directionsがあるか確認しているか,
(4) indistinguishable inputsからalgorithm-independent lower boundを計算しているか,
(5) point-sensor gapとconcentrationを \(h_X\),\(q_X\) で記録しているか,
(6) finite-dimensional modelではobservation matrixのrankと \(\sigma_{\min}\) を確認しているか,
(7) repeated / near-repeated sensorsによるeffective-rank lossを監査しているか,
(8) noise levelに対するreconstruction amplificationを評価しているか,
(9) input-reconstruction errorとPDE-output errorを区別しているか,
(10) null / near-null directionsを意図的なstress testに含めているか,
(11) sensor points,collocation points,output query pointsを区別しているか,
(12) sensor placement criterionがPDE operator \(S\) とoutput normを反映しているか
を順に確認してください.

40.第35回の結論

finite observationsを使うoperator learnerには, learning algorithm以前に

\[ \boxed{ \ker\mathcal O_m } \tag{54} \]

というinformation lossがあります.

見えない方向 \(h\) がsolutionへ強く残るなら,

\[ \boxed{ \|Sh\|_Y } \tag{55} \]

がalgorithm-independent error floorになります.

従ってsensor designは

\[ \boxed{ \text{point count} + \text{coverage} + \text{conditioning} + \text{PDE-aware invisible directions} } \tag{56} \]

として考える必要があります.

特に一点集中では

\[ \boxed{ m\to\infty \quad\text{でも}\quad \text{independent information dimension}=1 } \tag{57} \]

という極端なfailureが起こります.

Season 3 第11回の原則
operator learningでsensorを置くとは, 点を増やすことではない. solution operatorにとって重要なinput directionsを, 安定に区別できる観測を設計することである.

次回はSeason 3最終回として, 第36回:geometry-aware operator learning — 点配置・異方性・有限観測 へ進みます.

参考文献・関連ページ

  1. J. F. Traub, G. W. Wasilkowski and H. Woźniakowski, Information-Based Complexity, Academic Press, 1988.
  2. L. Lu, P. Jin, G. Pang, Z. Zhang and G. E. Karniadakis, “Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators”, Nature Machine Intelligence 3 (2021), 218–229.
  3. N. Kovachki et al., “Neural Operator: Learning Maps Between Function Spaces With Applications to PDEs”, Journal of Machine Learning Research 24 (2023).
  4. 第26回:Deep Ritzでは点をどこに置くか — quadratureとsampling geometry
  5. 第28回:PINNsでは点配置で答えが変わるか — uniform・random・adaptive sampling
  6. 第31回:boundary layerでは点をどこに置くか — anisotropic sampling
  7. 第34回:解を学ぶのではなくsolution operatorを学ぶ

ページの先頭へ