第36回:geometry-aware operator learning — 点配置・異方性・有限観測

ChatGPTで作る有限要素プログラム入門 Season 3 第12回(通算第36回・Season 3最終回)

はじめに――メッシュを捨てても幾何は消えない

Season 3では,有限要素法からDeep Ritz,PINNs,solution operator learningへ進みました. 一見するとmeshから離れていったように見えます.

しかし実際には,

\[ \boxed{ \text{quadrature points}, \quad \text{collocation points}, \quad \text{boundary points}, \quad \text{sensor points} } \tag{1} \]

をどこへ置くかというgeometryが,形を変えて何度も現れました.

Season 3最終回の問い
\[ \boxed{ \text{PDE geometry} + \text{point geometry} + \text{finite observations} \longrightarrow \text{operator approximation error} } \tag{2} \]

を一つの設計原理として整理できるか?

1.Season 3の「点」は全部同じではない

points観測するもの主なfailure
Deep Ritz quadratureenergy integralquadrature bias / concentration
PINN collocationstrong residualbetween-point residual
boundary pointstracesample間のboundary oscillation
operator sensorsinput function\(\ker\mathcal O_m\) のblind directions
output queriessolution representationunqueried output geometry

共通するのは

\[ \boxed{ \text{finite points} = \text{finite information} } \tag{3} \]

という事実です.

2.solution operatorをもう一度出発点にする

input space \(X\),output space \(Y\) に対して

\[ \boxed{ S:X\to Y } \tag{4} \]

をPDE solution operatorとします.

operator learnerは有限観測

\[ \boxed{ \mathcal O_X: X \to \mathbb R^m } \tag{5} \]

を通して

\[ \boxed{ G_\theta( \mathcal O_Xf ) \approx Sf } \tag{6} \]

を目指します.

添字 \(X\) はsensor set \[ X_m=\{x_1,\ldots,x_m\} \] にobservation mapが依存することを表します.

3.geometry-awareとは「座標をnetworkへ入れる」だけではない

sensor coordinatesをfeatureとして与えることは一つの実装です. しかしgeometry-aware operator learningを

\[ \boxed{ \text{coordinates are inputs} } \tag{7} \]

だけで定義するのは弱すぎます.

本記事では

\[ \boxed{ \text{PDEが重要視するdirection / scale} \text{ に応じて有限観測を設計する} } \tag{8} \]

ことをgeometry-awareと呼びます.

4.anisotropic elliptic operatorをmodel problemにする

\(\Omega=(0,1)^2\) で

\[ \boxed{ -\varepsilon u_{xx} - u_{yy} = f, \qquad u=0 \text{ on }\partial\Omega, \qquad 0<\varepsilon\le1 } \tag{9} \]

を考えます.

diffusion tensorは

\[ \boxed{ A_\varepsilon = \begin{pmatrix} \varepsilon & 0\\ 0 & 1 \end{pmatrix}. } \tag{10} \]

5.spectral basisでPDEが方向をどう平滑化するかを見る

Dirichlet eigenfunctions

\[ \boxed{ \phi_{k\ell}(x,y) = 2\sin(k\pi x)\sin(\ell\pi y) } \tag{11} \]

に対して

\[ -\varepsilon\partial_{xx}\phi_{k\ell} - \partial_{yy}\phi_{k\ell} = \lambda_{k\ell} \phi_{k\ell}, \]

ただし

\[ \boxed{ \lambda_{k\ell} = \pi^2 \left( \varepsilon k^2+\ell^2 \right). } \tag{12} \]

6.solution operatorのtransfer factor

forcingが

\[ f = \sum_{k,\ell} \widehat f_{k\ell} \phi_{k\ell} \]

なら

\[ \boxed{ Sf = \sum_{k,\ell} \frac{ \widehat f_{k\ell} }{ \pi^2(\varepsilon k^2+\ell^2) } \phi_{k\ell}. } \tag{13} \]

従ってPDEはmodeごとに

\[ \boxed{ \frac1{\pi^2(\varepsilon k^2+\ell^2)} } \tag{14} \]

だけattenuateします.

7.small \(\varepsilon\) では \(x\)-directionの高周波が比較的残る

同じattenuation level

\[ \varepsilon k^2+\ell^2 = C \]

を考えると

\[ \boxed{ k \sim \varepsilon^{-1/2}\ell. } \tag{15} \]

つまり \(\varepsilon\ll1\) では, solution operatorは \(x\)-directionのより高いfrequencyまで残します.

これはsensor resolutionにも方向依存を要求します.

8.PDE-aware sensor spacingのprototype

mode scale \[ k\sim\varepsilon^{-1/2}\ell \] を同程度にresolveするなら

\[ \boxed{ h_x \sim \sqrt{\varepsilon}\, h_y. } \tag{16} \]

従って

\[ \boxed{ h_x \ll h_y } \tag{17} \]

というanisotropic sensor placementが自然です.

これはuniversal optimality theoremではなく, spectral transfer structureから出るPDE-aware design ruleです.

9.固定sensor budgetなら \(N_x:N_y\) を変える

tensor sensorsで

\[ m=N_xN_y \tag{18} \]

とし,

\[ h_x\approx N_x^{-1}, \qquad h_y\approx N_y^{-1} \]

とします. 式 (16) を満たすには

\[ \boxed{ \frac{N_x}{N_y} \sim \varepsilon^{-1/2}. } \tag{19} \]

固定 \(m\) なら

\[ \boxed{ N_x \sim m^{1/2}\varepsilon^{-1/4}, \qquad N_y \sim m^{1/2}\varepsilon^{1/4}. } \tag{20} \]

10.数値例:\(\varepsilon=10^{-2}\)

\[ \varepsilon=10^{-2} \]

なら

\[ \frac{N_x}{N_y} \sim10. \]

総sensor budgetを約4000とすれば,

\[ \boxed{ N_x=200, \qquad N_y=20, \qquad m=4000 } \tag{21} \]

のような配置がprototypeになります.

\(64\times64=4096\) のisotropic gridとほぼ同じsensor数でも, directional resolutionは大きく異なります.

11.anisotropic metricとして書く

式 (16) をdistanceとして表すため

\[ \boxed{ M_\varepsilon = \begin{pmatrix} \varepsilon^{-1} & 0\\ 0 & 1 \end{pmatrix} } \tag{22} \]

を考えます.

metric distanceを

\[ \boxed{ d_{M_\varepsilon}(x,z) = \sqrt{ (x-z)^{\top} M_\varepsilon (x-z) } } \tag{23} \]

とすると, \(x\)-directionの物理距離は \[ \varepsilon^{-1/2} \] 倍に拡大されます.

12.metric fill distance

sensor set \(X_m\) のcoverageを

\[ \boxed{ h_{X,M} = \sup_{x\in\Omega} \min_{x_j\in X_m} d_M(x,x_j) } \tag{24} \]

で測ります.

Euclidean fill distanceが小さくても, PDE metricで \[ h_{X,M} \] が大きければ重要directionを粗くしか観測していません.

13.metric separationも同時に見る

clusteringを見るため

\[ \boxed{ q_{X,M} = \frac12 \min_{i\ne j}d_M(x_i,x_j) } \tag{25} \]

を使い,

\[ \boxed{ \rho_{X,M} = \frac{h_{X,M}}{q_{X,M}} } \tag{26} \]

をprototype mesh-ratioならぬsensor-ratioとして記録できます.

大きな \(\rho_{X,M}\) はcoverageとclusteringの不均衡を示します.

14.principal directionsが回転すればsensor orientationも回転する

一般のsymmetric positive definite diffusion tensorを

\[ \boxed{ A = R \Lambda R^{\top} } \tag{27} \]

とします.

anisotropyはcoordinate axesではなく \(R\) のprincipal directionsに沿います.

したがって

\[ \boxed{ \text{anisotropic point placement} \neq \text{x方向だけ細かくすること} } \tag{28} \]

です.

15.\(A^{-1}\) metricは有用なprototypeだが普遍解ではない

local geometry indicatorとして

\[ \boxed{ M_A(x) = A(x)^{-1} } \tag{29} \]

を使うことは自然です.

ただしsensor optimalityは

\[ \boxed{ A + \text{input class} + \text{output norm} + \text{boundary conditions} } \tag{30} \]

に依存します.

従って \(A^{-1}\) を「常に最適なsensor metric」とは呼びません.

16.input geometryとPDE geometryを分ける

input functions自身がanisotropicである場合, そのregularityから必要なsensor densityが決まることがあります.

一方PDE solution operatorもdirection-dependent smoothingを持ちます.

従って

\[ \boxed{ \text{input geometry} \quad+\quad \text{operator geometry} } \tag{31} \]

を分けて考えます.

両者が同じprincipal directionsを持つとは限りません.

17.finite observation bottleneckを再び書く

sensor observationsからinput reconstructionを作る

\[ \boxed{ I_X: \mathbb R^m \to X } \tag{32} \]

を導入します.

geometry-aware sensor designは

\[ \boxed{ \|f-I_X\mathcal O_Xf\|_X } \tag{33} \]

を改善するだけでなく, PDE outputへの影響

\[ \boxed{ \|S(f-I_X\mathcal O_Xf)\|_Y } \tag{34} \]

を小さくすることが目的です.

18.operator errorの第一分解

output representation space \(Y_n\subset Y\) とprojection

\[ P_n:Y\to Y_n \]

を用意し, learner outputを

\[ G_\theta(\mathcal O_Xf)\in Y_n \]

とします.

すると

\[ \boxed{ \begin{aligned} Sf-G_\theta(\mathcal O_Xf) ={}& S(f-I_X\mathcal O_Xf) \\ &+ (I-P_n)S(I_X\mathcal O_Xf) \\ &+ \Bigl[ P_nS(I_X\mathcal O_Xf) - G_\theta(\mathcal O_Xf) \Bigr]. \end{aligned} } \tag{35} \]

19.三つのerror source

式 (35) は

\[ \boxed{ \text{observation / geometry error} } \tag{36} \]

\[ \boxed{ \text{output representation error} } \tag{37} \]

\[ \boxed{ \text{learned finite-dimensional operator error} } \tag{38} \]

という三つを分離します.

「neural approximation error」だけを報告すると, どの段階が支配しているか分かりません.

20.stabilityを入れればgeometry errorを評価できる

solution operatorが

\[ \|Sf-Sg\|_Y \le C_S \|f-g\|_X \]

を満たすなら

\[ \boxed{ \|S(f-I_X\mathcal O_Xf)\|_Y \le C_S \|f-I_X\mathcal O_Xf\|_X. } \tag{39} \]

sensor geometryの悪さはPDE stability constantを通ってsolution errorへ伝わります.

21.learning errorもさらに分解する

input distributionを \(\mu\) としてpopulation riskを

\[ \boxed{ \mathcal R(\theta) = \mathbb E_{f\sim\mu} \left[ \| P_nS(I_X\mathcal O_Xf) - G_\theta(\mathcal O_Xf) \|_Y^2 \right] } \tag{40} \]

とします.

training functions \(f^{(1)},\ldots,f^{(N)}\) に対するempirical riskは

\[ \boxed{ \mathcal R_N(\theta) = \frac1N \sum_{j=1}^N \| P_nS(I_X\mathcal O_Xf^{(j)}) - G_\theta(\mathcal O_Xf^{(j)}) \|_Y^2. } \tag{41} \]

22.representation・optimisation・generalisationを区別する

model class \[ \mathfrak G \] を固定すれば,

\[ \boxed{ \inf_{G\in\mathfrak G} \mathcal R(G) } \tag{42} \]

はrepresentation limitです.

trained modelについて

\[ \boxed{ \mathcal R_N(G_{\rm train}) - \inf_{G\in\mathfrak G} \mathcal R_N(G) } \tag{43} \]

はempirical optimisation gapのprototypeです.

さらに

\[ \boxed{ |\mathcal R(G)-\mathcal R_N(G)| } \tag{44} \]

はgeneralisation / sampling gapです.

23.Season 3のerror map

ここまでをconceptuallyまとめると

\[ \boxed{ \begin{aligned} \text{operator error} \;\Leftarrow\;& \text{observation geometry} \\ &+ \text{output representation} \\ &+ \text{model representation} \\ &+ \text{training-function sampling} \\ &+ \text{optimisation}. \end{aligned} } \tag{45} \]

これは一つのuniversal additive identityではなく, 式 (35) とrisk decompositionをまとめた audit mapです.

24.geometry errorはpoint countだけでは決まらない

同じ \(m\) sensorsでも

\[ \boxed{ X_m^{\rm iso}, \qquad X_m^{\rm aniso}, \qquad X_m^{\rm concentrated} } \tag{46} \]

では \[ \mathcal O_X \] のkernel,conditioning,fill distanceが違います.

従って

\[ \boxed{ m \text{ fixed} \quad\not\Rightarrow\quad \text{information fixed}. } \tag{47} \]

25.anisotropic spectral sensor matrixを作る

input modelを

\[ X_{K,L} = \operatorname{span} \{ \phi_{k\ell}: 1\le k\le K,\ 1\le\ell\le L \} \tag{48} \]

とします.

sensor matrixは

\[ \boxed{ V_{j,(k,\ell)} = \phi_{k\ell}(x_j,y_j). } \tag{49} \]

rankとsmallest singular valueを見れば, 指定したinput model class上でsensor geometryを監査できます.

26.PDE-aware weightingを入れる

anisotropic solution operatorのspectral factorを

\[ \boxed{ d_{k\ell} = \frac1{ \pi^2( \varepsilon k^2+\ell^2 ) } } \tag{50} \]

とします.

\(\ker V\) のorthonormal basis matrixを \(N\) とし, \(D=\operatorname{diag}(d_{k\ell})\) とすれば

\[ \boxed{ \rho_{\rm inv}^{S}(X_m) = \|DN\|_2 } \tag{51} \]

をPDE-aware invisible radiusとして使えます.

27.input reconstructionとPDE predictionでsensor rankingが変わり得る

observation matrixだけなら

\[ \sigma_{\min}(V) \]

を大きくする配置が良く見えます.

しかしsolution predictionで重要なのは

\[ \boxed{ DN } \tag{52} \]

です.

PDEが強く減衰するblind modesは, inputとして見えなくてもoutput errorにはあまり残らない場合があります.

28.sensor designをminimax problemとして書く

input class \(\mathcal K\subset X\) に対して

\[ \boxed{ X_m^\ast \in \operatorname*{arg\,min}_{X_m} \inf_G \sup_{f\in\mathcal K} \| Sf-G(\mathcal O_{X_m}f) \|_Y. } \tag{53} \]

geometry-aware operator learningのsensor designは, architecture optimisationより前にある information optimisationとして書けます.

29.variable sensor setsではcoordinatesを必ず渡す

全training samplesでsensor setが固定なら, ordered input vectorのindexがgeometryを暗黙に持てます.

しかしsampleごとに

\[ X_m^{(n)} \]

が変わる場合,

\[ \boxed{ \bigl( x_j^{(n)}, f^{(n)}(x_j^{(n)}) \bigr) } \tag{54} \]

のようにcoordinatesをmodelへ渡さなければ, 同じvector positionが何を意味するか分からなくなります.

30.set encoderとして書く

variable point cloudなら一例として

\[ \boxed{ z_f = \sum_{j=1}^m w_j \, \Phi_\theta \bigl( x_j, f(x_j) \bigr) } \tag{55} \]

というpermutation-invariant encoderを使えます.

ここで \[ w_j \] はquadrature / area / importance weightsとしてgeometryを反映できます.

equal weightsが常に正しいとは限りません.

31.anisotropic geometry featureも渡せる

local metric \(M(x_j)\) が既知なら

\[ \boxed{ \Phi_\theta \bigl( x_j, f(x_j), M(x_j) \bigr) } \tag{56} \]

のようにphysics-derived geometryをfeatureへ含めることもできます.

ただしfeatureを渡しただけでsensor placementの悪さが消えるわけではありません.

32.bad sensorsをnetworkは復元できない

第35回と同じく

\[ \mathcal O_Xf_1 = \mathcal O_Xf_2 \]

なら,coordinatesをいくらrichにencodeしても 同じsensor set上ではinput valuesが一致しています.

従って

\[ \boxed{ \text{better architecture} \not\Rightarrow \text{missing information recovery}. } \tag{57} \]

33.output geometryにもanisotropyがある

solutionをquery pointsで返す場合, input sensorsだけでなくoutput query set

\[ Y_n=\{y_1,\ldots,y_n\} \]

もgeometryを持ちます.

boundary layerやcorner singularityがoutput側にあるなら

\[ \boxed{ \text{input sensor refinement} \quad\text{だけでは不十分} } \tag{58} \]

です.

output representationもgraded / anisotropicにする必要があります.

34.training functionsのgeometryもある

training dataのgeometryはspatial pointsだけではありません.

input function family

\[ \boxed{ f^{(1)},\ldots,f^{(N)} } \tag{59} \]

がfunction spaceのどこをcoverしているかも重要です.

frequency,localisation,anisotropy,regularityが狭いfamilyに偏れば, spatial sensorsが良くてもoperator generalisationは狭くなります.

35.三種類のcoverageを分ける

operator learningでは少なくとも

\[ \boxed{ \begin{aligned} &\text{spatial sensor coverage},\\ &\text{output representation coverage},\\ &\text{input-function-space coverage} \end{aligned} } \tag{60} \]

を区別します.

「training dataが多い」だけではどのcoverageが改善したか分かりません.

36.geometry-aware experimentの比較protocol

sensor geometryだけを比較するなら

\[ \boxed{ \begin{aligned} &\text{same input function distribution},\\ &\text{same sensor budget }m,\\ &\text{same output representation},\\ &\text{same architecture},\\ &\text{same optimiser / steps},\\ &\text{same test functions} \end{aligned} } \tag{61} \]

を固定します.

比較するのは

\[ X_m^{\rm iso} \quad\text{vs}\quad X_m^{\rm aniso} \quad\text{vs}\quad X_m^{\rm adaptive} \]

です.

37.anisotropic tensor sensorsをコード化する

import numpy as np

def anisotropic_sensor_grid(
    nx,
    ny
):
    x = np.linspace(
        0.0, 1.0, nx
    )

    y = np.linspace(
        0.0, 1.0, ny
    )

    X, Y = np.meshgrid(
        x,
        y,
        indexing="ij"
    )

    pts = np.stack(
        [
            X.reshape(-1),
            Y.reshape(-1)
        ],
        axis=1
    )

    return pts

38.spectral observation matrixをコード化する

def sine2d_sensor_matrix(
    points,
    K,
    L
):
    x = points[:, 0:1]
    y = points[:, 1:2]

    cols = []

    for k in range(1, K + 1):
        for ell in range(1, L + 1):
            col = (
                2.0
                * np.sin(k * np.pi * x)
                * np.sin(ell * np.pi * y)
            )

            cols.append(col)

    return np.concatenate(
        cols,
        axis=1
    )

39.PDE-aware invisible radiusをコード化する

def nullspace(A, rtol=1.0e-12):
    U, s, Vt = np.linalg.svd(
        A,
        full_matrices=True
    )

    if s.size == 0:
        return Vt.T

    tol = rtol * s[0]
    rank = np.sum(s > tol)

    return Vt[rank:].T


def anisotropic_poisson_radius(
    points,
    K,
    L,
    eps
):
    V = sine2d_sensor_matrix(
        points,
        K,
        L
    )

    N = nullspace(V)

    if N.shape[1] == 0:
        return 0.0

    d = []

    for k in range(1, K + 1):
        for ell in range(1, L + 1):
            lam = (
                np.pi ** 2
                * (
                    eps * k ** 2
                    + ell ** 2
                )
            )

            d.append(
                1.0 / lam
            )

    D = np.diag(d)

    return np.linalg.norm(
        D @ N,
        ord=2
    )

40.geometry auditを数値と図で残す

各sensor setについて

\[ \boxed{ m, \quad h_{X,M}, \quad q_{X,M}, \quad \rho_{X,M}, \quad \sigma_{\min}(V), \quad \rho_{\rm inv}^{S} } \tag{62} \]

を記録します.

さらにpoint cloudそのものをplotします.

scalar metricsだけでは line concentration,hole,directional alignmentを見落とすことがあるからです.

41.Deep Ritzからoperator learningまで同じ構図がある

Season 3を一行ずつ並べると

\[ \boxed{ \begin{aligned} \text{Deep Ritz} &:\ \text{where is energy integrated?}\\ \text{PINNs} &:\ \text{where is residual observed?}\\ \text{boundary loss} &:\ \text{where is trace observed?}\\ \text{operator learning} &:\ \text{where is input observed?} \end{aligned} } \tag{63} \]

となります.

違うmethodに見えても, 有限観測のgeometryという共通問題があります.

42.FEMとの違いと共通点

FEMではmesh geometryが

\[ \boxed{ \text{trial space} + \text{quadrature} + \text{discrete operator} } \tag{64} \]

を同時に決めることがあります.

neural PDE methodsではnetwork trial classとpoint geometryを分離しやすい一方,

\[ \boxed{ \text{point geometry} \longrightarrow \text{what the loss / input can see} } \tag{65} \]

という役割は残ります.

43.「mesh-free」をgeometry-freeと読まない

mesh connectivityを持たないことと, geometry assumptionsを持たないことは別です.

PINNsやoperator learningでも

\[ \boxed{ \text{coverage}, \quad \text{separation}, \quad \text{anisotropy}, \quad \text{boundary proximity}, \quad \text{sensor rank} } \tag{66} \]

がaccuracyとstabilityへ入ります.

44.AIがgeometry-aware operator learningで間違えやすい点

mistake何が壊れるか
coordinatesを入力すればgeometry-awareとするsensor designとPDE scaleを無視する
isotropic sensor gridを常にbaseline以上とするdirection-dependent smoothingを無視する
\(A^{-1}\) metricを普遍的な最適metricと呼ぶinput class・boundary・output norm依存性を落とす
sensor countだけを揃えて公平比較とするcoverage・rank・conditioningを無視する
input reconstruction errorだけを最小化PDEがblind modesをどうsmoothするかを無視する
bad sensorsをrich architectureで補えるとするinformation lossをarchitecture problemへ置き換える
output query geometryを固定しないinput sensor効果とoutput discretisation効果が混ざる
empirical training errorをoperator error全体と呼ぶobservation・representation・generalisationを混同する

45.geometry-aware operator-learning audit prompt

Audit prompt
このgeometry-aware PDE operator-learning implementationを数学的に監査してください.
(1) input space \(X\),output space \(Y\),solution operator \(S\) を明示しているか,
(2) PDEのanisotropic directions / scalesをspectral・coefficient・regularityのどこから得たか説明しているか,
(3) sensor metricを普遍的な最適量として過大主張していないか,
(4) sensor countだけでなく \(h_{X,M}\),\(q_{X,M}\),conditioningを記録しているか,
(5) input observation geometryとoutput representation geometryを分離しているか,
(6) finite observation kernel / near-kernelを監査しているか,
(7) PDE-aware invisible radiusまたは同等のoutput-weighted information measureを確認しているか,
(8) variable sensor setsではcoordinatesとweightsをmodelへ渡しているか,
(9) sensor geometry comparisonでarchitecture・training distribution・budgetを固定しているか,
(10) observation error,output representation error,learned-operator errorを分離しているか,
(11) population risk,empirical risk,optimisation gapを混同していないか,
(12) mesh-freeをgeometry-freeと表現していないか
を順に確認してください.

46.Season 3で得た設計順序

Season 2では

\[ \text{PDE structure} \to \text{function space} \to \text{DoF} \to \text{discrete operator} \]

という順序を使いました.

Season 3ではそれを

\[ \boxed{ \begin{aligned} \text{PDE structure} &\to \text{solution regularity / scales} \\ &\to \text{what is observed} \\ &\to \text{where it is observed} \\ &\to \text{finite representation} \\ &\to \text{training} \\ &\to \text{independent verification} \end{aligned} } \tag{67} \]

へ拡張しました.

47.Season 3の最終原則

Deep RitzでもPINNsでもoperator learningでも, 点は単なるimplementation detailではありません.

有限個のpointsは

\[ \boxed{ \text{what the algorithm is allowed to see} } \tag{68} \]

を決めます.

そしてPDEはdirectionごとに異なるscale,regularity,smoothingを持ち得ます.

Season 3 最終原則
メッシュを使わなくても,点はどこかに置かなければならない.
その点配置はPDEの外側にある前処理ではなく,近似空間・観測情報・誤差・安定性を結ぶ数値解析の一部である.

48.第36回の結論

geometry-aware operator learningは

\[ \boxed{ \text{PDE-aware scales} + \text{finite observations} + \text{stable sensor geometry} + \text{operator approximation} } \tag{69} \]

として設計できます.

anisotropic PDEでは

\[ \boxed{ h_\perp \ll h_\parallel } \tag{70} \]

というdirectional sensor resolutionが必要になる場合があります.

finite observationsでは

\[ \boxed{ \ker\mathcal O_X } \tag{71} \]

がalgorithm-independent blind directionsを作り, outputでは

\[ \boxed{ \|Sh\|_Y } \tag{72} \]

がその危険度を決めます.

最終的には

\[ \boxed{ \text{geometry} \longrightarrow \text{information} \longrightarrow \text{operator} \longrightarrow \text{error} } \tag{73} \]

という一つの流れになります.

これで Season 3 — AI・データ駆動PDEを数値解析する は完結です.

49.Season 4へ――forward mapを逆向きに見る

ここまでのsolution operatorをright-hand sideだけに限定せず,source・coefficient・initial dataなどのparameter \(p\) からstate \(u\) への写像として

\[ \boxed{ S:p\longmapsto u } \]

と書きます.実際の観測ではstate全体が見えるとは限らないので,観測作用素 \(C\) を通して

\[ \boxed{ p\xrightarrow{\ S\ }u\xrightarrow{\ C\ }y, \qquad F:=C\circ S } \]

というparameter-to-observation map \(F\) が現れます.Season 3では \(p\) から \(u\),さらに \(y\) へ進むforward directionを見てきました.Season 4ではこの向きを逆にし,観測 \(y\) から未知のparameterやstateをどこまで復元できるかを考えます.

\[ \boxed{ \text{Season 3: }p\longrightarrow y, \qquad \text{Season 4: }y\longrightarrow p } \]

ただし逆問題は単純に \(S^{-1}\) を計算する問題ではありません.有限観測を含む \(F=C\circ S\) が情報を失えば,\(F^{-1}\) は一意でないか,不安定になり得ます.このinformation lossが,identifiability・regularisation・sensor placementの問題になります.

またforward modelをstrong residualで書く必要もありません.FEMと同様に

\[ \boxed{ a_p(u,v)=\ell_p(v)\qquad\forall v\in V} \]

というweak formulationから \(S\) を定めれば,Season 4で使うadjointも同じvariational structureから導けます.したがってweak operator approximation,adjoint-based inversion,data assimilationは別々の話ではなく,同じforward mapを異なる向きから見る問題です.

Season 4 予告――ChatGPTで作る数値PDE・逆問題

Season 1–3では「ChatGPTで作る有限要素プログラム入門」として,FEMからPINNs・operator learningまで進みました. Season 4からは「ChatGPTで作る」というシリーズの軸を残しつつ,副題を数値PDE・逆問題へ広げます.

Season 4では,有限観測によってPDE solution operatorのどこまでが見えるかというSeason 3の問いを逆向きにし,parameter-to-observation map \(F=C\circ S\) を通して,有限個の観測から未知のsource・coefficient・state,さらに観測されない自由度の影響をどこまで復元できるかを扱います.

ChatGPTで作る数値PDE・逆問題 — Season 4
観測から見えないダイナミクスを復元する
Inverse problems・data assimilation・memory・stable reduction

中心となる流れは

\[ \boxed{ \text{full dynamics} \longrightarrow \text{finite observations} \longrightarrow \text{unresolved variables} \longrightarrow \text{memory} \longrightarrow \text{stable reduced dynamics} } \]

です. 未解像自由度を消去したときに現れるmemoryを手掛かりに, 観測・逆問題・memory kernel・安定縮約を一つの数値解析としてつなぎます.

Season 4 preview
What we cannot observe directly may return as memory.

参考文献・関連ページ

  1. L. Lu, P. Jin, G. Pang, Z. Zhang and G. E. Karniadakis, “Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators”, Nature Machine Intelligence 3 (2021), 218–229.
  2. Z. Li et al., “Fourier Neural Operator for Parametric Partial Differential Equations”, International Conference on Learning Representations, 2021.
  3. N. Kovachki et al., “Neural Operator: Learning Maps Between Function Spaces With Applications to PDEs”, Journal of Machine Learning Research 24 (2023).
  4. J. F. Traub, G. W. Wasilkowski and H. Woźniakowski, Information-Based Complexity, Academic Press, 1988.
  5. 第26回:Deep Ritzでは点をどこに置くか — quadratureとsampling geometry
  6. 第28回:PINNsでは点配置で答えが変わるか — uniform・random・adaptive sampling
  7. 第30回:角特異性をPINNsは捉えられるか — regularityとgraded sampling
  8. 第31回:boundary layerでは点をどこに置くか — anisotropic sampling
  9. 第34回:解を学ぶのではなくsolution operatorを学ぶ
  10. 第35回:sensor pointsをどこに置くか — 有限観測の限界

Season 3 前回:第35回:sensor pointsをどこに置くか — 有限観測の限界

Season 3:全12回(第25–36回)完結.

Season 3一覧へ戻る

ページの先頭へ