第31回:boundary layerでは点をどこに置くか — anisotropic sampling

ChatGPTで作る有限要素プログラム入門 Season 3 第7回(通算第31回)

はじめに――layerは「点を増やす」だけでは足りない

前回はcorner singularityに対してradial graded samplingを導入しました. 今回はsolutionが一方向にだけ急変するboundary layerを扱います.

layerがboundaryに沿って長く,normal directionにだけ薄いなら, 必要なのは

\[ \boxed{ h_\perp \ll h_\parallel } \tag{1} \]

というdirectional resolutionです.

第31回の問い
\[ \boxed{ \text{boundary layerの厚さが }O(\varepsilon) \text{ のとき, collocation pointsをどの方向に細かく置くべきか?} } \tag{2} \]

1.model problemはsingularly perturbed convection–diffusion

単位正方形

\[ \Omega=(0,1)^2 \]

で

\[ \boxed{ -\varepsilon u_{xx} + u_x - u_{yy} = f \quad\text{in }\Omega, \qquad 0<\varepsilon\ll1 } \tag{3} \]

を考えます.

\(x\)-directionにsmall diffusion, \(y\)-directionにはorder-one diffusionがあるanisotropic singular perturbation modelです.

2.exact layer solutionを選ぶ

manufactured solutionを

\[ \boxed{ u^\ast(x,y) = \exp\left( -\frac{1-x}{\varepsilon} \right) \sin(\pi y) } \tag{4} \]

とします.

これは \(x=1\) 近傍に厚さ \(O(\varepsilon)\) のboundary layerを持ち, \(y\)-directionにはsmoothです.

3.PDEの右辺は簡単になる

式 (4) から

\[ u_x^\ast = \frac1\varepsilon u^\ast, \qquad u_{xx}^\ast = \frac1{\varepsilon^2}u^\ast, \qquad u_{yy}^\ast = -\pi^2u^\ast. \tag{5} \]

従って

\[ -\varepsilon u_{xx}^\ast + u_x^\ast - u_{yy}^\ast = \pi^2u^\ast. \]

つまり

\[ \boxed{ f(x,y) = \pi^2 \exp\left( -\frac{1-x}{\varepsilon} \right) \sin(\pi y). } \tag{6} \]

4.boundary layerはderivative scaleを変える

layer normal derivativeは

\[ \boxed{ \partial_x^k u^\ast = \varepsilon^{-k}u^\ast. } \tag{7} \]

従って

\[ |u_x^\ast| = O(\varepsilon^{-1}), \qquad |u_{xx}^\ast| = O(\varepsilon^{-2}) \tag{8} \]

という大きなderivativeが幅 \(O(\varepsilon)\) のstripに集中します.

5.global derivative normもparameter依存になる

\(x\)-integralについて

\[ \int_0^1 \exp\left( -\frac{2(1-x)}{\varepsilon} \right)dx = \frac{\varepsilon}{2} \left( 1-e^{-2/\varepsilon} \right). \]

従って \(\varepsilon\to0\) で

\[ \boxed{ \|u^\ast\|_{L^2}^2 \sim \frac{\varepsilon}{4}, } \tag{9} \]

\[ \boxed{ \|u_x^\ast\|_{L^2}^2 \sim \frac1{4\varepsilon}, \qquad \|u_{xx}^\ast\|_{L^2}^2 \sim \frac1{4\varepsilon^3}. } \tag{10} \]

solutionは各固定 \(\varepsilon>0\) でsmoothでも, regularity constantsは \(\varepsilon\) に一様ではありません.

6.layer coordinateに移すと必要なresolutionが見える

stretched coordinateを

\[ \boxed{ \xi = \frac{1-x}{\varepsilon}, \qquad \eta=y } \tag{11} \]

とすると

\[ u^\ast = e^{-\xi}\sin(\pi\eta). \]

layer directionでは \(O(1)\) scaleに戻ります.

physical spacing \(h_x\) はstretched coordinateでは

\[ \boxed{ h_\xi = \frac{h_x}{\varepsilon}. } \tag{12} \]

従ってlayerをresolveするには少なくとも \[ h_x \ll \varepsilon \] というdirectional conditionが自然です.

7.uniform gridでは \(N_x\gtrsim\varepsilon^{-1}\) が必要になる

uniform \(x\)-spacing

\[ h_x \approx \frac1{N_x} \]

で \[ h_x\lesssim\varepsilon \] を要求すると

\[ \boxed{ N_x \gtrsim \varepsilon^{-1}. } \tag{13} \]

例えば \(\varepsilon=10^{-3}\) なら, \(x\)-directionだけでorder \(10^3\) pointsが必要になります.

8.2次元で一様に増やすとさらに高価になる

もし \[ N_x\sim N_y\sim\varepsilon^{-1} \] とすればtotal tensor pointsは

\[ \boxed{ N_{\rm total} \sim \varepsilon^{-2}. } \tag{14} \]

しかしsolutionは \(y\)-directionには \(\sin(\pi y)\) というsmooth scaleしか持ちません.

つまりisotropic point refinementは 不要な方向にもDoFならぬsampling budgetを使うことになります.

9.layer stripに何点入るかを数える

layer stripを

\[ \boxed{ S_c = \{ (x,y): 1-c\varepsilon < x < 1 \} } \tag{15} \]

とします.

area-uniform random samplingでは

\[ \boxed{ \mathbb P(X\in S_c) = c\varepsilon } \tag{16} \]

なので,\(N\) points中のexpected layer countは

\[ \boxed{ N_{\rm layer}^{\rm unif} = c\varepsilon N. } \tag{17} \]

10.\(\varepsilon=10^{-3}\) ではlayer pointsが急減する

例えば \(c=5\),\(\varepsilon=10^{-3}\) ならlayer stripのarea fractionは

\[ 5\times10^{-3}=0.005. \]

従って \(N=1000\) pointsでもexpected layer countは

\[ \boxed{ N_{\rm layer}^{\rm unif} = 5. } \tag{18} \]

これはpoint cloudとしては非常に薄い観測です.

11.Shishkin型transition pointをsamplingへ移す

layer-adapted meshの考え方を, まずdeterministic collocation pointsへ移します.

transition widthを

\[ \boxed{ \tau = \min \left\{ \frac12,\, \sigma\varepsilon\ln N_x \right\} } \tag{19} \]

とします.

ここで \(\sigma>0\) は普遍定数ではありません. target accuracy,layer decay,trial representation,lossに応じて選ぶparameterです.

12.\(\sigma\) の意味はlayer tailから直接読める

\(\tau=\sigma\varepsilon\ln N_x<1/2\) の場合, coarse regionの入口 \[ x=1-\tau \] でlayer amplitudeは

\[ \exp\left( -\frac{\tau}{\varepsilon} \right) = \exp(-\sigma\ln N_x). \]

従って

\[ \boxed{ e^{-\tau/\varepsilon} = N_x^{-\sigma}. } \tag{20} \]

つまり \(\sigma\) は fine regionの外へ残すlayer tailをどのalgebraic orderまで小さくするか を決めています.

13.係数 \(\sigma\) を固定公式にしてはいけない

classical Shishkin FEMではpolynomial degreeや証明したいuniform error boundに応じた代表的選択があります.

しかしPINNsではtrial classがpolynomial spaceではないため,

\[ \boxed{ \sigma=k+1 } \]

のようなFEM由来の選択をそのまま「PINNの最適値」として移してはいけません.

ここでは

\[ \boxed{ \sigma = \text{layer tailを制御するdesign parameter} } \tag{21} \]

として扱います.

14.Shishkin型 \(x\)-points

\(N_x\) を偶数として

\[ \boxed{ x_i = \begin{cases} \displaystyle \frac{2(1-\tau)}{N_x}\,i, & 0\le i\le N_x/2, \\[8pt] \displaystyle 1-\tau + \frac{2\tau}{N_x} \left( i-\frac{N_x}{2} \right), & N_x/2<i\le N_x \end{cases} } \tag{22} \]

とします.

つまりcoarse region \[ [0,1-\tau] \] とlayer region \[ [1-\tau,1] \] へそれぞれ \(N_x/2\) intervalsを割り当てます.

15.二種類のnormal spacing

coarse regionでは

\[ \boxed{ h_x^{\rm c} = \frac{2(1-\tau)}{N_x}, } \tag{23} \]

layer regionでは

\[ \boxed{ h_x^{\rm f} = \frac{2\tau}{N_x}. } \tag{24} \]

\(\tau=\sigma\varepsilon\ln N_x\) なら

\[ \boxed{ h_x^{\rm f} = O\left( \frac{\varepsilon\ln N_x}{N_x} \right). } \tag{25} \]

16.\(y\)-directionは一様でよい

今回のexact solutionは \[ \sin(\pi y) \] なので,tangential directionにはlayer scaleがありません.

そこで

\[ \boxed{ y_j = \frac{j}{N_y}, \qquad h_y = \frac1{N_y}. } \tag{26} \]

とします.

layer regionでは

\[ \boxed{ h_x^{\rm f} \ll h_y } \tag{27} \]

となるanisotropic point cloudが自然です.

17.anisotropy ratioをsampling geometryとして記録する

tensor-like point cloudならprototype indicatorとして

\[ \boxed{ \kappa_X^{\rm layer} = \frac{h_y}{h_x^{\rm f}} } \tag{28} \]

を記録できます.

\(N_x\sim N_y=N\) なら

\[ \boxed{ \kappa_X^{\rm layer} \sim \frac1{2\sigma\varepsilon\ln N}. } \tag{29} \]

\(\varepsilon\to0\) で強いanisotropyが必要になります.

18.数値例:\(\varepsilon=10^{-3}\),\(N_x=128\),\(\sigma=2\)

このとき

\[ \tau = 2\times10^{-3}\ln128 \approx 9.7041\times10^{-3}. \]

layer spacingは

\[ \boxed{ h_x^{\rm f} = \frac{2\tau}{128} \approx 1.5163\times10^{-4}. } \tag{30} \]

uniform spacing \[ 1/128\approx7.8125\times10^{-3} \] と比べると, layer normal directionでは約51.5倍細かくなります.

さらにtransition pointでのlayer tailは

\[ \boxed{ e^{-\tau/\varepsilon} = 128^{-2} = 6.1035\times10^{-5}. } \tag{31} \]

19.anisotropic samplingは「boundaryに点を置く」ことではない

boundary layerを見て \[ x=1 \] 上へ大量のpointsを置くだけでは, boundary traceは詳しく見えてもnormal profile

\[ e^{-(1-x)/\varepsilon} \]

をresolveできません.

必要なのは

\[ \boxed{ \text{boundary上のdensity} \quad\text{ではなく}\quad \text{layer thicknessを横切るnormal resolution}. } \tag{32} \]

20.point cloudをlineへcollapseさせてもいけない

逆に

\[ x_i\approx1 \]

へ全pointsを集めると, 第28回の一点集中の2次元版になります.

layerへ集中していても, coarse regionのcoverageを失えば

\[ \boxed{ \text{anisotropic refinement} \quad\not\Rightarrow\quad \text{dimensional collapse}. } \tag{33} \]

21.metric-scaled fill distanceで見る

layer coordinateに合わせたmetricを

\[ \boxed{ M_\varepsilon = \begin{pmatrix} \varepsilon^{-2} & 0\\ 0 & 1 \end{pmatrix} } \tag{34} \]

とします.

point cloud \(X\) に対し

\[ \boxed{ h_{X,M_\varepsilon} = \sup_{z\in\Omega} \min_{x_i\in X} \sqrt{ (z-x_i)^{\top} M_\varepsilon (z-x_i) } } \tag{35} \]

を考えると, physical Euclidean geometryではなく layer-scaled geometryでcoverageを測れます.

22.uniform physical pointsはstretched coordinatesでは粗い

uniform physical spacing \[ h_x=1/N_x \] はlayer coordinateでは

\[ \boxed{ h_\xi = \frac1{\varepsilon N_x}. } \tag{36} \]

\(\varepsilon N_x\ll1\) なら \[ h_\xi\gg1 \] なので,layer profileを1点より粗いscaleでしか見ていないことになります.

23.random anisotropic samplerも作れる

deterministic Shishkin-type points以外に, layer density

\[ \boxed{ q_{\rm lay}(x) = \frac{ e^{-(1-x)/\varepsilon} }{ \varepsilon \left( 1-e^{-1/\varepsilon} \right) } } \tag{37} \]

からrandom samplingする方法も考えられます.

これはlayer amplitudeに比例して \(x=1\) へpointsを集めます.

24.layer distributionはinverse CDFでsampleできる

\(U\sim U(0,1)\) とすると

\[ \boxed{ x = 1 + \varepsilon \log \left[ e^{-1/\varepsilon} + U \left( 1-e^{-1/\varepsilon} \right) \right] } \tag{38} \]

はdensity \(q_{\rm lay}\) に従います.

\(y\) は一様にsampleすれば, normal directionだけをbiasedにできます.

25.explorationとlayer exploitationをmixする

全pointsをlayer distributionから取るとcoarse regionを失います. そこで

\[ \boxed{ q_\beta(x) = (1-\beta) + \beta q_{\rm lay}(x), \qquad 0\le\beta<1 } \tag{39} \]

というmixtureを使えます.

一様成分がglobal coverage, layer成分がnormal resolutionを担当します.

26.equal weightsならlayer-weighted objectiveになる

\(q_\beta\) からsampleしてequal weightsで

\[ \frac1N\sum_i|r_\theta(x_i,y_i)|^2 \]

を使えば,期待値は

\[ \boxed{ \int_\Omega |r_\theta|^2 q_\beta(x)\,dx\,dy. } \tag{40} \]

つまりcontinuous area residualではなく layer-weighted residualを学習します.

27.same residual normを保つならimportance correction

area-uniform residual

\[ \int_\Omega|r_\theta|^2\,dx\,dy \]

をtargetに保つなら, sample density \(q_\beta\) に対して

\[ \boxed{ w(x) = \frac1{q_\beta(x)} } \tag{41} \]

を使うimportance correctionが考えられます.

ただし \(q_\beta\) が非常に小さい領域を作るとweightsのvarianceが大きくなるため, \[ \beta<1 \] としてuniform floorを残す意味があります.

28.Shishkin-type pointsをコード化する

def shishkin_x_points(Nx, eps, sigma, device):
    assert Nx % 2 == 0

    tau = min(
        0.5,
        sigma * eps * math.log(Nx)
    )

    n2 = Nx // 2

    left = torch.linspace(
        0.0,
        1.0 - tau,
        n2 + 1,
        device=device
    )

    right = torch.linspace(
        1.0 - tau,
        1.0,
        n2 + 1,
        device=device
    )[1:]

    x = torch.cat(
        [left, right]
    )

    return x, tau

29.tensor point cloudを作る

def anisotropic_tensor_points(
    Nx,
    Ny,
    eps,
    sigma,
    device
):
    x, tau = shishkin_x_points(
        Nx,
        eps,
        sigma,
        device
    )

    y = torch.linspace(
        0.0, 1.0,
        Ny + 1,
        device=device
    )

    X, Y = torch.meshgrid(
        x,
        y,
        indexing="ij"
    )

    pts = torch.stack(
        [X.reshape(-1), Y.reshape(-1)],
        dim=1
    )

    return pts, tau

trainingでboundary pointsを別管理するなら, ここからinterior rowsだけを抽出します.

30.layer-aware random sampler

def layer_x_random(
    N,
    eps,
    device,
    generator=None
):
    U = torch.rand(
        (N, 1),
        device=device,
        generator=generator
    )

    a = math.exp(-1.0 / eps)

    x = (
        1.0
        + eps * torch.log(
            a + U * (1.0 - a)
        )
    )

    return x

31.PINN residualにもcancellation scaleがある

exact layerでは

\[ -\varepsilon u_{xx}^\ast = -\frac1\varepsilon u^\ast, \qquad u_x^\ast = \frac1\varepsilon u^\ast. \]

二つのlarge termsがcancelします.

従って

\[ \boxed{ \text{small residual} = \text{each differential term is small} } \tag{42} \]

ではありません.

automatic differentiationのprecisionやloss scalingを監査するときは, operator termごとのmagnitudeも記録した方が安全です.

32.evaluationもdirectionalに分ける

global \(L^2\) errorだけでなく

\[ \boxed{ E_x = \sqrt{\varepsilon} \, \|(u_\theta-u^\ast)_x\|_{L^2}, } \tag{43} \]

\[ \boxed{ E_y = \|(u_\theta-u^\ast)_y\|_{L^2} } \tag{44} \]

のようなdirectional errorsを分けて記録します.

またlayer strip \[ S_c \] でのlocal errorも別に測ります.

33.AIがanisotropic samplingで間違えやすい点

mistake何が壊れるか
layerだから全方向を同じ密度で増やすsampling budgetを浪費する
boundary上だけに点を集めるnormal layer profileを解像できない
Shishkinの \(\sigma\) を普遍定数とするtarget accuracy / trial class依存性を無視する
biased pointsにequal weightsを付けて同じlossと呼ぶtraining measureを変える
Euclidean fill distanceだけを見るlayer-normal resolutionを見落とす
small residualから各operator termもsmallと判断large-term cancellationを見落とす
anisotropic samplingをline collapseと同一視global coverageを失う

34.anisotropic-sampling audit prompt

Audit prompt
このPINN boundary-layer sampling experimentを数学的に監査してください.
(1) layer directionとtangential directionを明示しているか,
(2) layer thickness \(O(\varepsilon)\) とderivative scalesを確認しているか,
(3) uniform samplingでlayer stripに何点入るかを記録しているか,
(4) \(h_x^{\rm f}\),\(h_y\),anisotropy ratioを記録しているか,
(5) Shishkin transition pointの \(\sigma\) を普遍定数として扱っていないか,
(6) \(e^{-\tau/\varepsilon}=N_x^{-\sigma}\) を使ってfine-region widthの意味を確認しているか,
(7) biased samplingとimportance-weighted samplingを区別しているか,
(8) boundary上へのpoint concentrationとnormal layer resolutionを混同していないか,
(9) Euclidean geometryだけでなくlayer-scaled metricも確認しているか,
(10) operator termsのlarge cancellationを監査しているか,
(11) global errorとlayer-local / directional errorを分けて評価しているか,
(12) anisotropic samplingがglobal coverageを失っていないか
を順に確認してください.

35.第31回の結論

boundary layerではsolution variation scaleがdirectionによって違います.

\[ \boxed{ \text{normal scale} = O(\varepsilon), \qquad \text{tangential scale} = O(1). } \tag{45} \]

従ってsamplingにも

\[ \boxed{ h_\perp \ll h_\parallel } \tag{46} \]

というanisotropyが必要です.

Shishkin型transition point

\[ \tau = \min \left\{ \frac12,\, \sigma\varepsilon\ln N_x \right\} \]

は,layer tailを

\[ \boxed{ e^{-\tau/\varepsilon} = N_x^{-\sigma} } \tag{47} \]

まで落とすfine regionを設計する考え方として, PINN point placementにも移せます.

Season 3 第7回の原則
layer problemではpoint countではなく, solutionが急変するnormal directionのsampling scaleを設計する.

次回はここまでのuniform・graded・anisotropic samplingをまとめ, 第32回:点配置を誤差から変える — residual-adaptive sampling へ進みます.

参考文献・関連ページ

  1. H.-G. Roos, M. Stynes and L. Tobiska, Robust Numerical Methods for Singularly Perturbed Differential Equations, 2nd ed., Springer, 2008.
  2. M. Raissi, P. Perdikaris and G. E. Karniadakis, “Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations”, Journal of Computational Physics 378 (2019), 686–707.
  3. Shishkin meshは正則か,準正則か
  4. 第26回:Deep Ritzでは点をどこに置くか — quadratureとsampling geometry
  5. 第28回:PINNsでは点配置で答えが変わるか — uniform・random・adaptive sampling
  6. 第30回:角特異性をPINNsは捉えられるか — regularityとgraded sampling

ページの先頭へ