第31回:boundary layerでは点をどこに置くか — anisotropic sampling
ChatGPTで作る有限要素プログラム入門 Season 3 第7回(通算第31回)
はじめに――layerは「点を増やす」だけでは足りない
前回はcorner singularityに対してradial graded samplingを導入しました. 今回はsolutionが一方向にだけ急変するboundary layerを扱います.
layerがboundaryに沿って長く,normal directionにだけ薄いなら, 必要なのは
\[ \boxed{ h_\perp \ll h_\parallel } \tag{1} \]というdirectional resolutionです.
\[ \boxed{ \text{boundary layerの厚さが }O(\varepsilon) \text{ のとき, collocation pointsをどの方向に細かく置くべきか?} } \tag{2} \]
1.model problemはsingularly perturbed convection–diffusion
単位正方形
\[ \Omega=(0,1)^2 \]で
\[ \boxed{ -\varepsilon u_{xx} + u_x - u_{yy} = f \quad\text{in }\Omega, \qquad 0<\varepsilon\ll1 } \tag{3} \]を考えます.
\(x\)-directionにsmall diffusion, \(y\)-directionにはorder-one diffusionがあるanisotropic singular perturbation modelです.
2.exact layer solutionを選ぶ
manufactured solutionを
\[ \boxed{ u^\ast(x,y) = \exp\left( -\frac{1-x}{\varepsilon} \right) \sin(\pi y) } \tag{4} \]とします.
これは \(x=1\) 近傍に厚さ \(O(\varepsilon)\) のboundary layerを持ち, \(y\)-directionにはsmoothです.
3.PDEの右辺は簡単になる
式 (4) から
\[ u_x^\ast = \frac1\varepsilon u^\ast, \qquad u_{xx}^\ast = \frac1{\varepsilon^2}u^\ast, \qquad u_{yy}^\ast = -\pi^2u^\ast. \tag{5} \]従って
\[ -\varepsilon u_{xx}^\ast + u_x^\ast - u_{yy}^\ast = \pi^2u^\ast. \]つまり
\[ \boxed{ f(x,y) = \pi^2 \exp\left( -\frac{1-x}{\varepsilon} \right) \sin(\pi y). } \tag{6} \]4.boundary layerはderivative scaleを変える
layer normal derivativeは
\[ \boxed{ \partial_x^k u^\ast = \varepsilon^{-k}u^\ast. } \tag{7} \]従って
\[ |u_x^\ast| = O(\varepsilon^{-1}), \qquad |u_{xx}^\ast| = O(\varepsilon^{-2}) \tag{8} \]という大きなderivativeが幅 \(O(\varepsilon)\) のstripに集中します.
5.global derivative normもparameter依存になる
\(x\)-integralについて
\[ \int_0^1 \exp\left( -\frac{2(1-x)}{\varepsilon} \right)dx = \frac{\varepsilon}{2} \left( 1-e^{-2/\varepsilon} \right). \]従って \(\varepsilon\to0\) で
\[ \boxed{ \|u^\ast\|_{L^2}^2 \sim \frac{\varepsilon}{4}, } \tag{9} \]\[ \boxed{ \|u_x^\ast\|_{L^2}^2 \sim \frac1{4\varepsilon}, \qquad \|u_{xx}^\ast\|_{L^2}^2 \sim \frac1{4\varepsilon^3}. } \tag{10} \]
solutionは各固定 \(\varepsilon>0\) でsmoothでも, regularity constantsは \(\varepsilon\) に一様ではありません.
6.layer coordinateに移すと必要なresolutionが見える
stretched coordinateを
\[ \boxed{ \xi = \frac{1-x}{\varepsilon}, \qquad \eta=y } \tag{11} \]とすると
\[ u^\ast = e^{-\xi}\sin(\pi\eta). \]layer directionでは \(O(1)\) scaleに戻ります.
physical spacing \(h_x\) はstretched coordinateでは
\[ \boxed{ h_\xi = \frac{h_x}{\varepsilon}. } \tag{12} \]従ってlayerをresolveするには少なくとも \[ h_x \ll \varepsilon \] というdirectional conditionが自然です.
7.uniform gridでは \(N_x\gtrsim\varepsilon^{-1}\) が必要になる
uniform \(x\)-spacing
\[ h_x \approx \frac1{N_x} \]で \[ h_x\lesssim\varepsilon \] を要求すると
\[ \boxed{ N_x \gtrsim \varepsilon^{-1}. } \tag{13} \]例えば \(\varepsilon=10^{-3}\) なら, \(x\)-directionだけでorder \(10^3\) pointsが必要になります.
8.2次元で一様に増やすとさらに高価になる
もし \[ N_x\sim N_y\sim\varepsilon^{-1} \] とすればtotal tensor pointsは
\[ \boxed{ N_{\rm total} \sim \varepsilon^{-2}. } \tag{14} \]しかしsolutionは \(y\)-directionには \(\sin(\pi y)\) というsmooth scaleしか持ちません.
つまりisotropic point refinementは 不要な方向にもDoFならぬsampling budgetを使うことになります.
9.layer stripに何点入るかを数える
layer stripを
\[ \boxed{ S_c = \{ (x,y): 1-c\varepsilon < x < 1 \} } \tag{15} \]とします.
area-uniform random samplingでは
\[ \boxed{ \mathbb P(X\in S_c) = c\varepsilon } \tag{16} \]なので,\(N\) points中のexpected layer countは
\[ \boxed{ N_{\rm layer}^{\rm unif} = c\varepsilon N. } \tag{17} \]10.\(\varepsilon=10^{-3}\) ではlayer pointsが急減する
例えば \(c=5\),\(\varepsilon=10^{-3}\) ならlayer stripのarea fractionは
\[ 5\times10^{-3}=0.005. \]従って \(N=1000\) pointsでもexpected layer countは
\[ \boxed{ N_{\rm layer}^{\rm unif} = 5. } \tag{18} \]これはpoint cloudとしては非常に薄い観測です.
11.Shishkin型transition pointをsamplingへ移す
layer-adapted meshの考え方を, まずdeterministic collocation pointsへ移します.
transition widthを
\[ \boxed{ \tau = \min \left\{ \frac12,\, \sigma\varepsilon\ln N_x \right\} } \tag{19} \]とします.
ここで \(\sigma>0\) は普遍定数ではありません. target accuracy,layer decay,trial representation,lossに応じて選ぶparameterです.
12.\(\sigma\) の意味はlayer tailから直接読める
\(\tau=\sigma\varepsilon\ln N_x<1/2\) の場合, coarse regionの入口 \[ x=1-\tau \] でlayer amplitudeは
\[ \exp\left( -\frac{\tau}{\varepsilon} \right) = \exp(-\sigma\ln N_x). \]従って
\[ \boxed{ e^{-\tau/\varepsilon} = N_x^{-\sigma}. } \tag{20} \]つまり \(\sigma\) は fine regionの外へ残すlayer tailをどのalgebraic orderまで小さくするか を決めています.
13.係数 \(\sigma\) を固定公式にしてはいけない
classical Shishkin FEMではpolynomial degreeや証明したいuniform error boundに応じた代表的選択があります.
しかしPINNsではtrial classがpolynomial spaceではないため,
\[ \boxed{ \sigma=k+1 } \]のようなFEM由来の選択をそのまま「PINNの最適値」として移してはいけません.
ここでは
\[ \boxed{ \sigma = \text{layer tailを制御するdesign parameter} } \tag{21} \]として扱います.
14.Shishkin型 \(x\)-points
\(N_x\) を偶数として
\[ \boxed{ x_i = \begin{cases} \displaystyle \frac{2(1-\tau)}{N_x}\,i, & 0\le i\le N_x/2, \\[8pt] \displaystyle 1-\tau + \frac{2\tau}{N_x} \left( i-\frac{N_x}{2} \right), & N_x/2<i\le N_x \end{cases} } \tag{22} \]とします.
つまりcoarse region \[ [0,1-\tau] \] とlayer region \[ [1-\tau,1] \] へそれぞれ \(N_x/2\) intervalsを割り当てます.
15.二種類のnormal spacing
coarse regionでは
\[ \boxed{ h_x^{\rm c} = \frac{2(1-\tau)}{N_x}, } \tag{23} \]layer regionでは
\[ \boxed{ h_x^{\rm f} = \frac{2\tau}{N_x}. } \tag{24} \]\(\tau=\sigma\varepsilon\ln N_x\) なら
\[ \boxed{ h_x^{\rm f} = O\left( \frac{\varepsilon\ln N_x}{N_x} \right). } \tag{25} \]16.\(y\)-directionは一様でよい
今回のexact solutionは \[ \sin(\pi y) \] なので,tangential directionにはlayer scaleがありません.
そこで
\[ \boxed{ y_j = \frac{j}{N_y}, \qquad h_y = \frac1{N_y}. } \tag{26} \]とします.
layer regionでは
\[ \boxed{ h_x^{\rm f} \ll h_y } \tag{27} \]となるanisotropic point cloudが自然です.
17.anisotropy ratioをsampling geometryとして記録する
tensor-like point cloudならprototype indicatorとして
\[ \boxed{ \kappa_X^{\rm layer} = \frac{h_y}{h_x^{\rm f}} } \tag{28} \]を記録できます.
\(N_x\sim N_y=N\) なら
\[ \boxed{ \kappa_X^{\rm layer} \sim \frac1{2\sigma\varepsilon\ln N}. } \tag{29} \]\(\varepsilon\to0\) で強いanisotropyが必要になります.
18.数値例:\(\varepsilon=10^{-3}\),\(N_x=128\),\(\sigma=2\)
このとき
\[ \tau = 2\times10^{-3}\ln128 \approx 9.7041\times10^{-3}. \]layer spacingは
\[ \boxed{ h_x^{\rm f} = \frac{2\tau}{128} \approx 1.5163\times10^{-4}. } \tag{30} \]uniform spacing \[ 1/128\approx7.8125\times10^{-3} \] と比べると, layer normal directionでは約51.5倍細かくなります.
さらにtransition pointでのlayer tailは
\[ \boxed{ e^{-\tau/\varepsilon} = 128^{-2} = 6.1035\times10^{-5}. } \tag{31} \]19.anisotropic samplingは「boundaryに点を置く」ことではない
boundary layerを見て \[ x=1 \] 上へ大量のpointsを置くだけでは, boundary traceは詳しく見えてもnormal profile
\[ e^{-(1-x)/\varepsilon} \]をresolveできません.
必要なのは
\[ \boxed{ \text{boundary上のdensity} \quad\text{ではなく}\quad \text{layer thicknessを横切るnormal resolution}. } \tag{32} \]20.point cloudをlineへcollapseさせてもいけない
逆に
\[ x_i\approx1 \]へ全pointsを集めると, 第28回の一点集中の2次元版になります.
layerへ集中していても, coarse regionのcoverageを失えば
\[ \boxed{ \text{anisotropic refinement} \quad\not\Rightarrow\quad \text{dimensional collapse}. } \tag{33} \]21.metric-scaled fill distanceで見る
layer coordinateに合わせたmetricを
\[ \boxed{ M_\varepsilon = \begin{pmatrix} \varepsilon^{-2} & 0\\ 0 & 1 \end{pmatrix} } \tag{34} \]とします.
point cloud \(X\) に対し
\[ \boxed{ h_{X,M_\varepsilon} = \sup_{z\in\Omega} \min_{x_i\in X} \sqrt{ (z-x_i)^{\top} M_\varepsilon (z-x_i) } } \tag{35} \]を考えると, physical Euclidean geometryではなく layer-scaled geometryでcoverageを測れます.
22.uniform physical pointsはstretched coordinatesでは粗い
uniform physical spacing \[ h_x=1/N_x \] はlayer coordinateでは
\[ \boxed{ h_\xi = \frac1{\varepsilon N_x}. } \tag{36} \]\(\varepsilon N_x\ll1\) なら \[ h_\xi\gg1 \] なので,layer profileを1点より粗いscaleでしか見ていないことになります.
23.random anisotropic samplerも作れる
deterministic Shishkin-type points以外に, layer density
\[ \boxed{ q_{\rm lay}(x) = \frac{ e^{-(1-x)/\varepsilon} }{ \varepsilon \left( 1-e^{-1/\varepsilon} \right) } } \tag{37} \]からrandom samplingする方法も考えられます.
これはlayer amplitudeに比例して \(x=1\) へpointsを集めます.
24.layer distributionはinverse CDFでsampleできる
\(U\sim U(0,1)\) とすると
\[ \boxed{ x = 1 + \varepsilon \log \left[ e^{-1/\varepsilon} + U \left( 1-e^{-1/\varepsilon} \right) \right] } \tag{38} \]はdensity \(q_{\rm lay}\) に従います.
\(y\) は一様にsampleすれば, normal directionだけをbiasedにできます.
25.explorationとlayer exploitationをmixする
全pointsをlayer distributionから取るとcoarse regionを失います. そこで
\[ \boxed{ q_\beta(x) = (1-\beta) + \beta q_{\rm lay}(x), \qquad 0\le\beta<1 } \tag{39} \]というmixtureを使えます.
一様成分がglobal coverage, layer成分がnormal resolutionを担当します.
26.equal weightsならlayer-weighted objectiveになる
\(q_\beta\) からsampleしてequal weightsで
\[ \frac1N\sum_i|r_\theta(x_i,y_i)|^2 \]を使えば,期待値は
\[ \boxed{ \int_\Omega |r_\theta|^2 q_\beta(x)\,dx\,dy. } \tag{40} \]つまりcontinuous area residualではなく layer-weighted residualを学習します.
27.same residual normを保つならimportance correction
area-uniform residual
\[ \int_\Omega|r_\theta|^2\,dx\,dy \]をtargetに保つなら, sample density \(q_\beta\) に対して
\[ \boxed{ w(x) = \frac1{q_\beta(x)} } \tag{41} \]を使うimportance correctionが考えられます.
ただし \(q_\beta\) が非常に小さい領域を作るとweightsのvarianceが大きくなるため, \[ \beta<1 \] としてuniform floorを残す意味があります.
28.Shishkin-type pointsをコード化する
def shishkin_x_points(Nx, eps, sigma, device):
assert Nx % 2 == 0
tau = min(
0.5,
sigma * eps * math.log(Nx)
)
n2 = Nx // 2
left = torch.linspace(
0.0,
1.0 - tau,
n2 + 1,
device=device
)
right = torch.linspace(
1.0 - tau,
1.0,
n2 + 1,
device=device
)[1:]
x = torch.cat(
[left, right]
)
return x, tau
29.tensor point cloudを作る
def anisotropic_tensor_points(
Nx,
Ny,
eps,
sigma,
device
):
x, tau = shishkin_x_points(
Nx,
eps,
sigma,
device
)
y = torch.linspace(
0.0, 1.0,
Ny + 1,
device=device
)
X, Y = torch.meshgrid(
x,
y,
indexing="ij"
)
pts = torch.stack(
[X.reshape(-1), Y.reshape(-1)],
dim=1
)
return pts, tau
trainingでboundary pointsを別管理するなら, ここからinterior rowsだけを抽出します.
30.layer-aware random sampler
def layer_x_random(
N,
eps,
device,
generator=None
):
U = torch.rand(
(N, 1),
device=device,
generator=generator
)
a = math.exp(-1.0 / eps)
x = (
1.0
+ eps * torch.log(
a + U * (1.0 - a)
)
)
return x
31.PINN residualにもcancellation scaleがある
exact layerでは
\[ -\varepsilon u_{xx}^\ast = -\frac1\varepsilon u^\ast, \qquad u_x^\ast = \frac1\varepsilon u^\ast. \]二つのlarge termsがcancelします.
従って
\[ \boxed{ \text{small residual} = \text{each differential term is small} } \tag{42} \]ではありません.
automatic differentiationのprecisionやloss scalingを監査するときは, operator termごとのmagnitudeも記録した方が安全です.
32.evaluationもdirectionalに分ける
global \(L^2\) errorだけでなく
\[ \boxed{ E_x = \sqrt{\varepsilon} \, \|(u_\theta-u^\ast)_x\|_{L^2}, } \tag{43} \]\[ \boxed{ E_y = \|(u_\theta-u^\ast)_y\|_{L^2} } \tag{44} \]
のようなdirectional errorsを分けて記録します.
またlayer strip \[ S_c \] でのlocal errorも別に測ります.
33.AIがanisotropic samplingで間違えやすい点
| mistake | 何が壊れるか |
|---|---|
| layerだから全方向を同じ密度で増やす | sampling budgetを浪費する |
| boundary上だけに点を集める | normal layer profileを解像できない |
| Shishkinの \(\sigma\) を普遍定数とする | target accuracy / trial class依存性を無視する |
| biased pointsにequal weightsを付けて同じlossと呼ぶ | training measureを変える |
| Euclidean fill distanceだけを見る | layer-normal resolutionを見落とす |
| small residualから各operator termもsmallと判断 | large-term cancellationを見落とす |
| anisotropic samplingをline collapseと同一視 | global coverageを失う |
34.anisotropic-sampling audit prompt
このPINN boundary-layer sampling experimentを数学的に監査してください.
(1) layer directionとtangential directionを明示しているか,
(2) layer thickness \(O(\varepsilon)\) とderivative scalesを確認しているか,
(3) uniform samplingでlayer stripに何点入るかを記録しているか,
(4) \(h_x^{\rm f}\),\(h_y\),anisotropy ratioを記録しているか,
(5) Shishkin transition pointの \(\sigma\) を普遍定数として扱っていないか,
(6) \(e^{-\tau/\varepsilon}=N_x^{-\sigma}\) を使ってfine-region widthの意味を確認しているか,
(7) biased samplingとimportance-weighted samplingを区別しているか,
(8) boundary上へのpoint concentrationとnormal layer resolutionを混同していないか,
(9) Euclidean geometryだけでなくlayer-scaled metricも確認しているか,
(10) operator termsのlarge cancellationを監査しているか,
(11) global errorとlayer-local / directional errorを分けて評価しているか,
(12) anisotropic samplingがglobal coverageを失っていないか
を順に確認してください.
35.第31回の結論
boundary layerではsolution variation scaleがdirectionによって違います.
\[ \boxed{ \text{normal scale} = O(\varepsilon), \qquad \text{tangential scale} = O(1). } \tag{45} \]従ってsamplingにも
\[ \boxed{ h_\perp \ll h_\parallel } \tag{46} \]というanisotropyが必要です.
Shishkin型transition point
\[ \tau = \min \left\{ \frac12,\, \sigma\varepsilon\ln N_x \right\} \]は,layer tailを
\[ \boxed{ e^{-\tau/\varepsilon} = N_x^{-\sigma} } \tag{47} \]まで落とすfine regionを設計する考え方として, PINN point placementにも移せます.
layer problemではpoint countではなく, solutionが急変するnormal directionのsampling scaleを設計する.
次回はここまでのuniform・graded・anisotropic samplingをまとめ, 第32回:点配置を誤差から変える — residual-adaptive sampling へ進みます.
参考文献・関連ページ
- H.-G. Roos, M. Stynes and L. Tobiska, Robust Numerical Methods for Singularly Perturbed Differential Equations, 2nd ed., Springer, 2008.
- M. Raissi, P. Perdikaris and G. E. Karniadakis, “Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations”, Journal of Computational Physics 378 (2019), 686–707.
- Shishkin meshは正則か,準正則か
- 第26回:Deep Ritzでは点をどこに置くか — quadratureとsampling geometry
- 第28回:PINNsでは点配置で答えが変わるか — uniform・random・adaptive sampling
- 第30回:角特異性をPINNsは捉えられるか — regularityとgraded sampling
