第35回:sensor pointsをどこに置くか — 有限観測の限界
ChatGPTで作る有限要素プログラム入門 Season 3 第11回(通算第35回)
はじめに――学習器より前に,観測できない情報がある
第34回ではPDE solution operatorを
\[ S:X\to Y \tag{1} \]とし,computerへinput function \(f\) を渡すために
\[ \mathcal O_mf = \bigl( \ell_1(f),\ldots,\ell_m(f) \bigr) \tag{2} \]というfinite observation mapを導入しました.
今回はarchitecture,training,optimizerより前にある問いを扱います.
\[ \boxed{ \mathcal O_mf_1 = \mathcal O_mf_2 \quad\text{なのに}\quad Sf_1\ne Sf_2 } \tag{3} \]
なら,どれほど高性能なoperator learnerでも両方を正しく予測できないのではないか?
1.deterministic learnerは同じ観測に同じ答えしか返せない
finite observationsを受け取るdecoderを
\[ \boxed{ G: \mathbb R^m \to Y } \tag{4} \]とします.
もし \[ \mathcal O_mf_1 = \mathcal O_mf_2 \] なら
\[ \boxed{ G(\mathcal O_mf_1) = G(\mathcal O_mf_2). } \tag{5} \]これはneural networkに限らず,すべてのdeterministic algorithmに共通します.
2.二つのindistinguishable inputsからlower boundが出る
共通のpredictionを \[ y_G = G(\mathcal O_mf_1) = G(\mathcal O_mf_2) \] とします.
triangle inequalityから
\[ \|Sf_1-Sf_2\|_Y \le \|Sf_1-y_G\|_Y + \|Sf_2-y_G\|_Y. \]従って
\[ \boxed{ \max_{i=1,2} \|Sf_i-G(\mathcal O_mf_i)\|_Y \ge \frac12 \|Sf_1-Sf_2\|_Y. } \tag{6} \]これはtraining failureではなく information failureです.
3.observation kernelが本質である
linear observation mapなら
\[ \boxed{ \ker\mathcal O_m = \{ h\in X: \mathcal O_mh=0 \} } \tag{7} \]を考えます.
\(h\in\ker\mathcal O_m\) なら \[ f \] と \[ f+h \] は同じ観測を持ちます.
したがってfinite sensingが見落とす方向は
\[ \boxed{ \ker\mathcal O_m } \tag{8} \]そのものです.
4.symmetric input classではalgorithm-independent boundが強くなる
input class \(\mathcal K\subset X\) がsymmetric, すなわち
\[ h\in\mathcal K \Longrightarrow -h\in\mathcal K \]とします.
\(h\in\mathcal K\cap\ker\mathcal O_m\) に対し, \(+h\) と \(-h\) はどちらもzero observationです.
linear solution operatorなら
\[ S(-h)=-Sh. \]従って任意のdecoder \(G\) に対し
\[ \boxed{ \sup_{f\in\mathcal K} \|Sf-G(\mathcal O_mf)\|_Y \ge \|Sh\|_Y. } \tag{9} \]5.unit ballでは「見えないPDE方向」の大きさが下限になる
\[ \mathcal K = \{ f\in X: \|f\|_X\le1 \} \]
なら式 (9) から
\[ \boxed{ \inf_G \sup_{\|f\|_X\le1} \|Sf-G(\mathcal O_mf)\|_Y \ge \sup_{ \substack{ h\in\ker\mathcal O_m\\ \|h\|_X\le1 } } \|Sh\|_Y. } \tag{10} \]右辺は sensorが完全に見落とすinput directionsをPDEへ通した大きさです.
6.input reconstruction errorだけを見るよりPDE-awareである
sensor designで
\[ \|h\|_X \]だけを見ると,「inputをどれだけ再構成できるか」を測っています.
式 (10) は
\[ \boxed{ \|Sh\|_Y } \tag{11} \]を見ます.
elliptic PDEはhigh-frequency forcingを強くsmoothするため, 「inputとして見えない方向」と 「solution predictionにとって危険な方向」は必ずしも同じではありません.
7.1次元Poissonでblind frequencyを明示する
\[ -u''=f \quad\text{in }(0,1), \qquad u(0)=u(1)=0 \tag{12} \]
を考えます.
equispaced sensorsを
\[ \boxed{ x_j = \frac{j}{m+1}, \qquad j=1,\ldots,m } \tag{13} \]とします.
8.\((m+1)\)-th sine modeは全sensorでzeroになる
normalised forcing
\[ \boxed{ h_m(x) = \sqrt2 \sin\bigl((m+1)\pi x\bigr) } \tag{14} \]を取ると
\[ \|h_m\|_{L^2(0,1)}=1 \]であり,各sensorで
\[ \boxed{ h_m(x_j) = \sqrt2\sin(j\pi) = 0. } \tag{15} \]つまりzero forcingと \(h_m\) はpoint sensorsから区別できません.
9.solutionはzeroではない
Poisson solution operatorを通すと
\[ \boxed{ Sh_m = \frac{ \sqrt2 }{ ((m+1)\pi)^2 } \sin\bigl((m+1)\pi x\bigr). } \tag{16} \]従って
\[ \boxed{ \|Sh_m\|_{L^2} = \frac1{((m+1)\pi)^2}, } \tag{17} \]\[ \boxed{ |Sh_m|_{H^1} = \frac1{(m+1)\pi}. } \tag{18} \]
10.finite sensorsだけからはこの誤差を避けられない
input classが \[ \pm h_m \] を含むなら,式 (9) から
\[ \boxed{ \sup_f |Sf-G(\mathcal O_mf)|_{H^1} \ge \frac1{(m+1)\pi}. } \tag{19} \]同様に \(L^2\) output errorでは
\[ \boxed{ \sup_f \|Sf-G(\mathcal O_mf)\|_{L^2} \ge \frac1{((m+1)\pi)^2}. } \tag{20} \]同じsensor setでも,output normによってinformation lower boundのscaleが変わります.
11.これは「sensor数が足りない」だけではない
\(m\) sensorsを増やせばblind modeは高frequencyへ移ります.
しかし重要なのは
\[ \boxed{ \text{sensor geometry} + \text{input class} + \text{PDE smoothing} + \text{output norm} } \tag{21} \]が一緒にlower boundを決めることです.
単に「\(m=100\) sensorsなら十分」とは言えません.
12.sensor-free gapにはinvisible bumpを置ける
point sensors \[ X_m=\{x_1,\ldots,x_m\} \] に対し,sensorを含まないopen interval
\[ I=(a,b) \]があるとします.
nonzero
\[ \boxed{ \psi \in C_c^\infty(I) } \tag{22} \]なら
\[ \boxed{ \psi(x_j)=0 \qquad \forall j. } \tag{23} \]従って \(\psi\in\ker\mathcal O_m\) です.
13.Poisson operatorを通すとinvisible bumpはglobal solutionを作る
1次元Dirichlet PoissonのGreen functionは
\[ \boxed{ G(x,y) = \min(x,y) \bigl( 1-\max(x,y) \bigr). } \tag{24} \]従って
\[ \boxed{ (S\psi)(x) = \int_0^1 G(x,y)\psi(y)\,dy. } \tag{25} \]\(\psi\ge0\),\(\psi\not\equiv0\) なら \[ S\psi \] は非零です.
つまりsensor-free gapは inputだけでなくsolution operatorのpredictionにもblind directionを作ります.
14.fill distanceはblind regionの大きさを測る
point set \(X_m\subset[0,1]\) に対して
\[ \boxed{ h_X = \sup_{x\in[0,1]} \min_{x_j\in X_m} |x-x_j| } \tag{26} \]を使います.
\(h_X\) が大きいほど, 大きなsensor-free regionを作れる可能性があります.
operator learningでも
\[ \boxed{ \text{sensor count} \neq \text{domain coverage}. } \tag{27} \]15.一点集中ではsensor数を増やしても情報次元が増えない
すべてのsensorsを \[ x_j=x_0 \] に置くと
\[ \boxed{ \mathcal O_mf = \bigl( f(x_0),\ldots,f(x_0) \bigr). } \tag{28} \]観測vectorは \(m\)-dimensionalでも, 独立な情報は一つのscalarだけです.
従って
\[ \boxed{ \text{many sensors} \not\Rightarrow \text{many independent observations}. } \tag{29} \]16.一点近傍への集中はconditioningを壊す
有限次元input model
\[ X_p = \operatorname{span} \{ \phi_1,\ldots,\phi_p \} \]を考え,
\[ f_c = \sum_{k=1}^p c_k\phi_k \tag{30} \]とします.
point sensor matrixを
\[ \boxed{ V_{jk} = \phi_k(x_j) } \tag{31} \]とすると
\[ \mathcal O_mf_c = V\boldsymbol c. \]17.identifiabilityはrankで決まる
finite-dimensional class \(X_p\) 上では
\[ \boxed{ \operatorname{rank}V=p } \tag{32} \]ならnoise-free observationsからcoefficient vectorを一意に復元できます.
逆に
\[ \operatorname{rank}V<p \]ならnonzero \[ \boldsymbol c\in\ker V \]
が存在し,有限観測だけではexact identificationできません.
18.全sensorが同一点ならrankは高々1
\(x_j=x_0\) ならmatrixの全rowsは
\[ \bigl( \phi_1(x_0),\ldots,\phi_p(x_0) \bigr) \]で同じです.
従って
\[ \boxed{ \operatorname{rank}V \le1. } \tag{33} \]\(p>1\) なら,sensorを何個重ねてもinput classを識別できません.
19.near concentrationではsmallest singular valueを見る
\[ x_j = x_0+\varepsilon\xi_j, \qquad \varepsilon\to0 \]
とします. \(\phi_k\) がcontinuousなら各rowは同じrowへ近づきます.
従って \(p>1\) では
\[ \boxed{ \sigma_{\min}(V) \longrightarrow 0. } \tag{34} \]exact rankが落ちる前から, finite observationsは数値的に不安定になります.
20.noise amplificationは \(\sigma_{\min}(V)\) で決まる
observation noiseを
\[ \boldsymbol z = V\boldsymbol c + \boldsymbol\eta \tag{35} \]とします. full-column-rankならleast-squares reconstructionは
\[ \widehat{\boldsymbol c} = V^\dagger\boldsymbol z. \]従って
\[ \boxed{ \| \widehat{\boldsymbol c} - \boldsymbol c \|_2 \le \frac{ \|\boldsymbol\eta\|_2 }{ \sigma_{\min}(V) }. } \tag{36} \]sensor placementはinformation量だけでなく noise stabilityも決めます.
21.PDE output errorにもnoiseが伝わる
coefficient space上のdiscrete solution operatorを \(T\) とすれば
\[ \widehat{\boldsymbol a} = T\widehat{\boldsymbol c}, \qquad \boldsymbol a = T\boldsymbol c. \]従って
\[ \boxed{ \| \widehat{\boldsymbol a} - \boldsymbol a \|_2 \le \frac{ \|T\|_2 }{ \sigma_{\min}(V) } \|\boldsymbol\eta\|_2. } \tag{37} \]observation conditioningとPDE amplification / smoothingが積として現れます.
22.sine basisではequispaced sensorsの構造が明確である
orthonormal basis
\[ \boxed{ \phi_k(x) = \sqrt2\sin(k\pi x), \qquad k=1,\ldots,p } \tag{38} \]を使います.
equispaced sensors \[ x_j=j/(m+1) \] で \(p\le m\) ならdiscrete sine orthogonalityから
\[ \boxed{ V^{\top}V = (m+1)I_p. } \tag{39} \]ここでは \(\sqrt2\) normalisationを含めているため,columnsは同じscaleで直交します.
23.しかし一つmodeを増やすとblind directionが現れる
\(p=m+1\) にするとlast basis function
\[ \phi_{m+1}(x) = \sqrt2\sin((m+1)\pi x) \]は全sensorsでzeroです.
従って
\[ \boxed{ V \text{ loses injectivity exactly at the blind mode.} } \tag{40} \]同じsensor setが「十分かどうか」はinput classのcomplexityに依存します.
24.sensor matrixをコードで監査する
import numpy as np
def sine_sensor_matrix(x, p):
x = np.asarray(x)
k = np.arange(1, p + 1)
return (
np.sqrt(2.0)
* np.sin(
np.pi
* x[:, None]
* k[None, :]
)
)
m = 16
x = np.arange(1, m + 1) / (m + 1)
V_good = sine_sensor_matrix(x, p=m)
V_blind = sine_sensor_matrix(x, p=m + 1)
s_good = np.linalg.svd(
V_good,
compute_uv=False
)
s_blind = np.linalg.svd(
V_blind,
compute_uv=False
)
print(s_good[-1])
print(s_blind[-1])
\(p=m\) ではwell-conditionedですが, \(p=m+1\) ではnontrivial nullspaceが生じます.
25.PDE-aware invisible radiusを有限次元で計算する
sine basis上のPoisson operatorはdiagonalで
\[ \boxed{ D = \operatorname{diag} \left( \frac1{\pi^2}, \frac1{(2\pi)^2}, \ldots, \frac1{(p\pi)^2} \right). } \tag{41} \]\(N\) を \[ \ker V \] のorthonormal basis matrixとすると, unit \(L^2\) forcing class上のinvisible output radiusは
\[ \boxed{ \rho_{\rm inv}(X_m) = \|DN\|_2. } \tag{42} \]これは「sensorが見落とすdirectionsのうち, Poisson solutionとして最も大きく残るもの」を測ります.
26.invisible radiusをコードで計算する
def nullspace(A, rtol=1.0e-12):
U, s, Vt = np.linalg.svd(
A,
full_matrices=True
)
if s.size == 0:
return Vt.T
tol = rtol * s[0]
rank = np.sum(s > tol)
return Vt[rank:].T
def poisson_invisible_radius(x, p):
V = sine_sensor_matrix(
x,
p
)
N = nullspace(V)
if N.shape[1] == 0:
return 0.0
k = np.arange(1, p + 1)
D = np.diag(
1.0 / (np.pi * k) ** 2
)
return np.linalg.norm(
D @ N,
ord=2
)
同じ \(m\) でもsensor geometryを変えれば \[ \rho_{\rm inv} \] は変わります.
27.input reconstruction optimalとPDE prediction optimalは同じではない
sensor designを
\[ \sup_{ h\in\ker\mathcal O_m, \ \|h\|_X\le1 } \|h\|_X \]だけで考えると,input reconstructionだけを見ています.
PDE predictionでは
\[ \boxed{ \sup_{ h\in\ker\mathcal O_m, \ \|h\|_X\le1 } \|Sh\|_Y } \tag{43} \]を小さくする方が直接的です.
elliptic smoothingによりhigh-frequency blind modesが強くattenuateされるなら, PDE-aware sensor placementはinput interpolationとは異なる最適配置を持ち得ます.
28.sensor placement自体をminimax problemとして書く
sensor set \[ X_m=\{x_1,\ldots,x_m\} \] をdesign variableとすれば,
\[ \boxed{ X_m^\ast \in \operatorname*{arg\,min}_{X_m} \; \inf_G \sup_{f\in\mathcal K} \| Sf-G(\mathcal O_{X_m}f) \|_Y. } \tag{44} \]これはarchitecture selectionより前にある information design problemです.
29.finite-dimensional modelならconditioningもobjectiveに入れる
model class \(X_p\) が明示されるなら,
\[ \boxed{ \max_{X_m} \sigma_{\min}(V(X_m)) } \tag{45} \]や
\[ \boxed{ \min_{X_m} \kappa(V(X_m)) } \tag{46} \]はnoise-stable sensor placementのprototypeです.
ただしこれもbasis / input norm依存であり, PDE output normを直接最適化する式 (44) とは別です.
30.2次元ではline concentrationがdimensionを失わせる
2次元input \(f(x,y)\) を観測するのに, 全sensorsをline
\[ y=\frac12 \]上へ置いたとします.
すると
\[ \boxed{ h(x,y) = \left( y-\frac12 \right) \psi(x,y) } \tag{47} \]は全sensorsでzeroです.
\(\psi\) を適切に選べば \(Sh\ne0\) なので, ambient dimensionは2でもsensor informationはlineへcollapseしています.
31.anisotropic inputにはanisotropic sensorsが必要になり得る
input classが \[ x \] 方向にはslow, \[ y \] 方向にはrapidに変化するなら,
\[ \boxed{ h_y^{\rm sensor} \ll h_x^{\rm sensor} } \tag{48} \]というdirectional sensor resolutionが自然です.
ただし必要なanisotropyは input regularityだけでなくsolution operator \(S\) がどの方向を増幅・減衰するか にも依存します.
32.sensor pointsとcollocation pointsを混同しない
| points | 何を観測するか | 失うもの |
|---|---|---|
| quadrature points | integral / energy | integrand between points |
| PINN collocation points | PDE residual | between-point residual |
| operator sensors | input function | input directions in \(\ker\mathcal O_m\) |
| output query points | predicted solution | unqueried output geometry |
全部「点」ですが,information roleは違います.
33.adaptive sensor placementはresidual-adaptive samplingと別問題である
第32回ではcurrent solution residualから collocation pointsを更新しました.
operator sensorを更新するなら,
\[ \boxed{ \text{which input observation reduces uncertainty most?} } \tag{49} \]というactive sensing problemになります.
sensorを全input functionsで固定するのか, 各inputごとにadaptiveに測るのかでもproblem definitionが変わります.
34.noiseがあるとexact indistinguishabilityからapproximate indistinguishabilityへ変わる
observation error levelを \(\delta\) とすると,
\[ \boxed{ \| \mathcal O_mf_1 - \mathcal O_mf_2 \|_2 \le 2\delta } \tag{50} \]ならnoise ballがoverlapし, 二つのinputsを安定に区別することは困難になります.
従って実際にはkernelだけでなく near-kernel directionsも重要です.
35.small singular valuesはnear-kernelを可視化する
finite-dimensional observation matrix \(V\) では, right singular vector \(\boldsymbol v_{\min}\) に対して
\[ \boxed{ \|V\boldsymbol v_{\min}\|_2 = \sigma_{\min}(V). } \tag{51} \]\(\sigma_{\min}\ll1\) なら, unit-size input perturbationがsensor dataでは非常に小さく見えます.
exact nullspaceだけでなくsingular spectrum全体を保存します.
36.operator learnerのtest setだけではinformation limitを発見できない場合がある
random test functionsがたまたま \[ \ker\mathcal O_m \] やnear-kernelへほとんど入らなければ, 平均test errorは小さく見えます.
従ってstress testとして
\[ \boxed{ \text{null / near-null observation directions} } \tag{52} \]を意図的に作る必要があります.
これはadversarial attackではなく, observation mapそのもののnumerical auditです.
37.sensor auditで記録すべき量
少なくとも
\[ \boxed{ m, \quad X_m, \quad h_X, \quad q_X, \quad \sigma_{\min}(V), \quad \rho_{\rm inv}(X_m) } \tag{53} \]を記録します.
ここで \(q_X\) はpoint separation, \(\rho_{\rm inv}\) はmodel classを指定したPDE-aware invisible radiusです.
sensor countだけをtableに書いてもgeometryは再現できません.
38.AIがfinite observationsで間違えやすい点
| mistake | 何が壊れるか |
|---|---|
| sensor数だけでinformation量を判断 | 重複・集中・rank lossを無視する |
| same observationsならlearnerが工夫して区別できると考える | algorithm-independent lower boundを無視する |
| \(L^2\) inputにpoint sensorsを無条件に定義 | observation functionalがwell-definedでない |
| rank fullならstableとする | near-singularityとnoise amplificationを見落とす |
| input interpolationに良いpointsがPDE predictionにも最適とする | solution operatorのsmoothingを無視する |
| random test errorだけでfinite-observation limitを評価 | null / near-null directionsを踏まない可能性がある |
| sensor pointsとPINN collocation pointsを同じ役割とする | input informationとPDE residual informationを混同する |
39.finite-observation audit prompt
このoperator-learning sensor designを数学的に監査してください.
(1) input class \(\mathcal K\),input norm,output normを明示しているか,
(2) observation functionalsがinput class上でwell-definedか,
(3) \(\ker\mathcal O_m\) にnontrivial directionsがあるか確認しているか,
(4) indistinguishable inputsからalgorithm-independent lower boundを計算しているか,
(5) point-sensor gapとconcentrationを \(h_X\),\(q_X\) で記録しているか,
(6) finite-dimensional modelではobservation matrixのrankと \(\sigma_{\min}\) を確認しているか,
(7) repeated / near-repeated sensorsによるeffective-rank lossを監査しているか,
(8) noise levelに対するreconstruction amplificationを評価しているか,
(9) input-reconstruction errorとPDE-output errorを区別しているか,
(10) null / near-null directionsを意図的なstress testに含めているか,
(11) sensor points,collocation points,output query pointsを区別しているか,
(12) sensor placement criterionがPDE operator \(S\) とoutput normを反映しているか
を順に確認してください.
40.第35回の結論
finite observationsを使うoperator learnerには, learning algorithm以前に
\[ \boxed{ \ker\mathcal O_m } \tag{54} \]というinformation lossがあります.
見えない方向 \(h\) がsolutionへ強く残るなら,
\[ \boxed{ \|Sh\|_Y } \tag{55} \]がalgorithm-independent error floorになります.
従ってsensor designは
\[ \boxed{ \text{point count} + \text{coverage} + \text{conditioning} + \text{PDE-aware invisible directions} } \tag{56} \]として考える必要があります.
特に一点集中では
\[ \boxed{ m\to\infty \quad\text{でも}\quad \text{independent information dimension}=1 } \tag{57} \]という極端なfailureが起こります.
operator learningでsensorを置くとは, 点を増やすことではない. solution operatorにとって重要なinput directionsを, 安定に区別できる観測を設計することである.
次回はSeason 3最終回として, 第36回:geometry-aware operator learning — 点配置・異方性・有限観測 へ進みます.
参考文献・関連ページ
- J. F. Traub, G. W. Wasilkowski and H. Woźniakowski, Information-Based Complexity, Academic Press, 1988.
- L. Lu, P. Jin, G. Pang, Z. Zhang and G. E. Karniadakis, “Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators”, Nature Machine Intelligence 3 (2021), 218–229.
- N. Kovachki et al., “Neural Operator: Learning Maps Between Function Spaces With Applications to PDEs”, Journal of Machine Learning Research 24 (2023).
- 第26回:Deep Ritzでは点をどこに置くか — quadratureとsampling geometry
- 第28回:PINNsでは点配置で答えが変わるか — uniform・random・adaptive sampling
- 第31回:boundary layerでは点をどこに置くか — anisotropic sampling
- 第34回:解を学ぶのではなくsolution operatorを学ぶ
