Stochastic Gradient Descent as Approximate Bayesian Inference

2025年11月10日 00:38

Continuous-Time Limit Revisited（連続時間極限の再検討）

定数ステップサイズを用いた場合の SGD の振る舞いを記述する。そのために、SGD を連続時間の確率過程で近似する（Kushner & Yin, 2003; Ljung et al., 2012）。
　損失関数とその勾配を
$${L(\theta)=\frac{1}{N}\sum_{n=1}^{N}\ell_n(\theta),\qquad g(\theta)\equiv\nabla_\theta L(\theta) \quad[M2]}$$
とする。ここで$${L(\theta)\equiv L(\theta,x)}$$ はデータ $${x}$$ とパラメータ $${\theta}$$ に依存し、各 $${\ell_n(\theta)\equiv \ell(\theta,x_n)}$$は単一観測 $${x_n}$$の寄与である。たとえばモデルの最尤事後推定(MAP 推定)では
$${\ell_n(\theta)=-\log p(x_n\mid\theta)-\frac{1}{N}\log p(\theta)}$$
となる。
$${\{1,\dots,N\}}$$から一様に無作為抽出した大きさ $${S}$$ のミニバッチ $${S}$$ に対して、
$${\widehat{L}_S(\theta)=\frac{1}{S}\sum_{n\in S}\ell_n(\theta) \quad \widehat{g}_S(\theta)=\nabla_\theta \widehat{L}_S(\theta),\quad \mathbb{E}[\widehat{g}_S(\theta)]=g(\theta) \quad [M4]}$$
を定義する。
定数ステップ $${\eta>0}$$の SGD は
$${\theta(t+1)=\theta(t)-\eta\,\widehat{g}_S(\theta(t)) \quad[M5]}$$
で与えられる。連続時刻を $${t_k=k\eta}$$とし（したがって $${\mathrm{d}t=\eta}$$）、Skorokhod 空間での拡散極限 $${\eta\to 0}$$ を考える。
Mandt 形式の近似と仮定は次のように与えられる。

Assumption 1–2（勾配ノイズのガウス近似）：中心極限定理により、ミニバッチ勾配は
$${\widehat g_S(\theta)\approx g(\theta)+\tfrac{1}{\sqrt S}\,\Delta g(\theta),\qquad \Delta g(\theta)\sim\mathcal N(0,\,C(\theta)). \quad [M6]}$$
共分散$${C(\theta)}$$が局所的にほぼ一定と仮定し、対称正定値行列$${B}$$ を用いて
$${C(\theta)\approx C = BB^\top. \quad [M7]}$$
となる。
Assumption 3（連続時間近似）：SGD の差分更新を
$${\displaystyle{\Delta\theta_t = \theta_{t+1}-\theta_t = -\,g(\theta_t) + \frac{1}{\sqrt S}\,B\,\Delta W_t,\qquad \Delta W_t\sim\mathcal N(0,I). \quad [M8]}}$$
と書き、これを連続時間化すると、
$${\displaystyle{d\theta_t=-\,g(\theta_t)\,dt+\frac{1}{\sqrt S}\,B\,dW_t. \quad [M9]}}$$
すなわち SGD は Itô 型確率微分方程式（SDE）の離散近似とみなせる。
Assumption 4（局所二次近似と OU 過程）:局所最小の近傍では損失関数を
$${L(\theta)\approx \tfrac{1}{2}\,\theta^\top A\theta,\qquad A\succ0. \quad [M10]}$$
と近似できる。よって $${\nabla L(\theta)\approx A\theta}$$。
これからEq.[M9] は多変量 Ornstein–Uhlenbeck (OU) 過程
$${d\theta_t=-\,A\theta_t\,dt+\frac{1}{\sqrt S}\,B\,dW_t. \quad [M11]}$$
と同意となる。
　拡散係数は「単位時間あたりのノイズ強度」
$${\Sigma_{\mathrm{sgd}}=\tfrac{\eta}{S}BB^\top}$$ に対応するため、
定常共分散 $${\Sigma_\star}$$ は学習率 $${\eta}$$に比例し、
ミニバッチサイズ $${S}$$に反比例する。
（Note:離散系のノイズ項は
$${\xi_k^{\mathrm{sgd}}=\frac{1}{\sqrt S}B\,\Delta W_k,\qquad \operatorname{Var}[\eta\xi_k^{\mathrm{sgd}}]=\frac{\eta^2}{S}BB^\top}$$
で与えられ、
単位時間（$${dt=\eta}$$) あたりの拡散強度は：
$${\frac{1}{dt}\operatorname{Var}[\eta\xi_k^{\mathrm{sgd}}] =\frac{\eta}{S}BB^\top \quad\Rightarrow\quad \Sigma_{\mathrm{sgd}}=\frac{\eta}{S}BB^\top}$$
したがって、局所二次近似$${L(\theta)=\tfrac12\theta^\top}$$の定常解は
$${A \Sigma_\star+\Sigma_\star A^\top =\frac{\eta}{S}BB^\top}$$)

これらの仮定1–4 を基礎としつつ、ニューラルネット内部の決定論的カオスや有限精度演算によるゆらぎを含む拡張仮定を導入する。
A0) 滑らかさと成長条件 — (well-posedness of the limit SDE)
損失関数 $${L:\mathbb{R}^d\to\mathbb{R}}$$は局所 Lipschitz 連続で、多項式成長を満たす：$${\|\nabla L(\theta_1)-\nabla L(\theta_2)\|\le C(1+\|\theta_1\|^r+\|\theta_2\|^r)\|\theta_1-\theta_2\|}$$
(Kushner & Yin, 2003) により、対応する SDE の一意解が存在する。
A1) 有界モーメント
ある $${p\ge2}$$に対して$${\mathbb{E}\|\theta_k\|^p<\infty}$$
（Mandt の「局所安定」条件に対応。）
A2) 外因ノイズ (ミニバッチ起源)
Eq.[M6]から、更新式のノイズ項$${\xi^{\mathrm{sgd}}_k}$$ を
$${\xi^{\mathrm{sgd}}_k:=\tfrac{1}{\sqrt S}\,B\,\Delta W_k, \qquad \mathbb{E}[\xi^{\mathrm{sgd}}_k|\mathcal F_k]=0,\quad \operatorname{Var}[\xi^{\mathrm{sgd}}_k|\mathcal F_k]=\tfrac{1}{S}\,BB^\top+o(1)}$$
と表せる。
A3) 内因（決定論カオス）の混合性 — (extension beyond Mandt)
ネットワーク内部状態 $${h_k}$$は決定論写像 $${h_{k+1}=F(h_k)}$$に従い、その摂動 $${\delta h_k}$$ は強混合列（有限相関長）とする。：
$${\sum_{j=0}^\infty \alpha(j)<\infty}$$
これにより、カオス的ゆらぎを有限メモリの混合雑音として均質化し、RNNや深層構造の決定論的非線形感度を統計化することが可能になる。
A4) カオス由来ノイズの統計構造
内部感度$${J_h g(\theta,h)}$$に対し、
$${\xi^{\mathrm{chaos}}_k:=J_h g(\theta_k,h_k)\,\delta h_k}$$
$${\mathbb{E}[\xi^{\mathrm{chaos}}_k|\mathcal F_k]=o(1),\qquad \operatorname{Var}[\xi^{\mathrm{chaos}}_k|\mathcal F_k]=\Sigma_{\mathrm{chaos}}(\theta_k)+o(1)}$$ととし、拡散テンソルへの寄与を
$${\Sigma_{\mathrm{chaos}}=\eta\,\Gamma(\theta)}$$
として吸収する。
A5) 交差相関の可無視性
外因ノイズ $${\xi^{\mathrm{sgd}}_k}$$と内因ノイズ $${\xi^{\mathrm{chaos}}_k}$$の交差相関は $${o(1)}$$の意味で小さい。
必要に応じて交差項 $${\Sigma_{\mathrm{cross}}}$$に吸収する。
(拡散テンソル $${\Sigma=\Sigma_{\mathrm{sgd}}+\Sigma_{\mathrm{chaos}}+\Sigma_{\mathrm{cross}}}$$を一般形に拡張可能。)
A6) スケーリングと拡散極限 — (Mandt Assumption 3)
Skorokhod空間 $${D([0,T],\mathbb{R}^d)}$$ 上で、ステップ幅 $${\eta \to 0}$$ の極限における弱収束を考えるとの弱収束を考えると、離散更新
$${\theta_{k+1}=\theta_k-\eta \big[\nabla L(\theta_k)+\xi^{\mathrm{sgd}}_k+\xi^{\mathrm{chaos}}_k\big] \quad [A1]}$$
は連続時間SDE
$${\Theta_t=- \nabla L(\Theta_t)\,dt+ \Sigma^{1/2}(\Theta_t)\,dW_t, \qquad \Sigma=\tfrac{1}{S}BB^\top+\Gamma(\Theta_t). \quad [A2] }$$
に近似される。

最適点近傍で$${L(\theta)=\tfrac12\,\theta^\top A\theta（A\succ0）}$$と二次近似し、拡散テンソル $${\Gamma(\theta)}$$ を $${\Gamma_\star:=\Gamma(\theta_\star)}$$ に固定する（局所一定近似）と、
$${d\Theta_t=- A\Theta_t\,dt+Q^{1/2}\,dW_t,\quad Q:=\tfrac{1}{S}BB^\top+\Gamma. }$$
この時、定常共分散$${\Sigma_\star}$$は Lyapunov 方程式：
$${A\Sigma_\star+\Sigma_\star A^\top = \tfrac{1}{S}BB^\top+\Gamma }$$
を満たす。

Itô 生成作用素（Kolmogorov 後退）は、
$${\mathcal L f(\theta) = -\nabla L(\theta)\!\cdot\!\nabla_\theta f(\theta) +\tfrac{1}{2}\,\mathrm{Tr}\!\big(\Sigma(\theta)\,\nabla_\theta^2 f(\theta)\big) \quad [A4.a]}$$
$${\displaystyle{ \frac{d}{dt}\mathbb E[f(\Theta_t)] =\mathbb E[(\mathcal L f)(\Theta_t)]. \quad [A4.b]}}$$
で与えられ、Kolmogorov 前向き（Fokker–Planck）方程式は、
$${\displaystyle{\frac{\partial p(\theta,t)}{\partial t} = \nabla_\theta\!\cdot\!\big(\nabla L(\theta)\,p(\theta,t)\big) +\tfrac{1}{2}\sum_{i,j}\frac{\partial^2}{\partial \theta_i\,\partial \theta_j} \big(\Sigma_{ij}(\theta)\,p(\theta,t)\big). \quad [A5]}}$$

内部カオスの混合が遅い、あるいは有限精度・通信順序による系統バイアスが残る場合、拡散テンソルに吸収されない残差項が現れる：
$${d\Theta_t = -[\nabla L(\Theta_t)+b_{\mathrm{chaos}}(\Theta_t)]\,dt + \Sigma^{1/2}(\Theta_t)\,dW_t + \zeta_{\mathrm{chaos}}(\Theta_t,t). \quad [A3] }$$
この場合、$${\zeta_{\mathrm{chaos}}}$$ を補助変数で表すことで一般化 Langevin 系としてマルコフ化でき、拡張 Fokker–Planck 方程式によって非マルコフ効果を解析できる(Hänggi & Jung 1995, Pavliotis & Stuart 2008)

Hänggi, P. & Jung, P. (1995). Colored noise in dynamical systems. Advances in Chemical Physics, 89, 239–326.
Pavliotis, G. A. & Stuart, A. M. (2008). Multiscale Methods: Averaging and Homogenization. Springer.
Kubo, R. (1966). The fluctuation–dissipation theorem. Reports on Progress in Physics, 29(1), 255–284.。

Eq.[A1]の導出

仮定A2に従い、
$${\widehat g_S(\theta)\approx g(\theta)+\tfrac{1}{\sqrt S}\,\Delta g(\theta),\quad \Delta g(\theta)\sim\mathcal N(0,\,C),\quad C=BB^\top}$$
とし、さらに、外因ノイズを
$${\xi^{\mathrm{sgd}}_k:=\tfrac{1}{\sqrt S}\,B\,\Delta W_k,\qquad \mathbb{E}[\xi^{\mathrm{sgd}}_k]=0,\quad \mathbb{E}\!\big[\xi^{\mathrm{sgd}}_k{\xi^{\mathrm{sgd}}_k}^\top\big]=\tfrac{1}{S}BB^\top}$$
として取り込み、さらに内部決定論カオス（forward/featureの感度増幅）による実効ゆらぎを、平均0、短相関：混合性仮定として、以下の様に導入する。
$${\xi^{\mathrm{chaos}}_k:=J_h g(\theta_k,h_k)\,\delta h_k}$$
これらを用いると、離散更新は
$${\theta_{k+1}=\theta_k-\eta\Big(\nabla L(\theta_k)+\xi^{\mathrm{sgd}}_k+\xi^{\mathrm{chaos}}_k\Big) \quad [A1] }$$
で与えられる。
　次に、$${\Delta\theta(t)=\theta(t+1)-\theta(t)}$$と定義し、Eq. M5、Eq.M6 を組み合わせると、
$${\Delta\theta(t) = - g(\theta(t)) + \frac{1}{\sqrt{S}}\,B\,\Delta W, \qquad \Delta W\sim\mathcal N(0,I). \qquad [M8]}$$
これは、以下の連続時間確率微分方程式（SDE）を近似する差分方程式として解釈できる：
$${d\theta(t) = - g(\theta)\,dt + \frac{1}{\sqrt{S}}\,B\,dW(t). \qquad [M9]}$$

多変量Ornstein–Uhlenbeck過程

Mandtの仮説４からEq.[A2]が多変量Ornstein–Uhlenbeck過程となることを示す。仮定４は以下のように与えられている。
仮定 4：SGDの反復の定常分布が、損失関数が十分に滑らかで二次関数で近似できる領域に制限されていると仮定する：
$${L(\theta)=\tfrac{1}{2}\,\theta^{\top}A\theta. \qquad [M10]}$$
（一般性を失うことなく、損失の最小値が$${\theta=0}$$ にあると仮定する。）さらに、$${A}$$ は正定値であるとする。

この対称行列 $${A}$$ は最適点におけるヘッセ行列（Hessian）を表す。
仮定 4 は、損失が滑らかで、SGDの確率過程が深い局所最小値の周囲で
低分散の準定常分布に到達する場合に妥当である。確率過程の「脱出時間（exit time）」は一般に、局所最小間の障壁の高さに対して指数関数的に増大するため、局所最小はノイズの存在下でも非常に安定になり得る（Kramers, 1940）。
この仮説を用いれば、局所最小の近傍では $${L(\theta)}$$ を二次関数で近似でき、すなわち Eq.[M10]
$${L(\theta)\approx \tfrac12\,\theta^\top A\theta, \quad A=\nabla^2 L(\theta_\star)\succ0. }$$
が得られる。
これにより勾配が線形化され：
$${\nabla L(\theta)\approx A\theta}$$
SDE Eq.[A2] が、次のような特定の確率過程、すなわち多変量オーンシュタイン＝ウーレンベック（OU）過程（Uhlenbeck & Ornstein, 1930）として記述できる：
$${d\theta(t) = -A\,\theta(t)\,dt + \frac{1}{\sqrt{S}}\,B\,dW(t). \qquad [M11]}$$

この対応関係により、SGDの性質を解析的に扱うことが可能になる。
OU過程は解析的な定常分布 $${q(\theta)}$$をもち、それはガウス分布である。この分布は解析ツールの主要を成し、
$${q(\theta)\propto \exp\!\left\{-\frac{1}{2}\,\theta^{\top}\Sigma^{-1}\theta\right\}. \qquad [M12]}$$
このとき、共分散 $${\Sigma}$$ は次の行列方程式を満たす(導出は後述)：
$${\Sigma A + A\Sigma = \frac{\eta}{S}\,BB^{\top}. \qquad [M13]}$$.

この方程式から、定常共分散 $${\Sigma}$$は学習率 $${\varepsilon}$$ に比例し、ヘッセ行列 $${A}$$ およびミニバッチサイズ $${S}$$ に反比例することが分かる。これにより、定数ステップサイズのSGDを実行したときの定常分布の特徴が記述される。
この解析から、定数ステップサイズのSGDとLangevin型拡散アルゴリズム（Welling & Teh, 2011）は非常に類似していることが示唆される。両者は以下の3つの段階に分類できる：

探索フェーズ（search phase）
アルゴリズムが最適値へ近づく初期段階。
この段階では仮定 A2とA6,と仮定4 がしばしば破られ、挙動を一般的に記述するのは困難である。
収束近傍フェーズ（near-optimum phase）
SGDが局所最適近傍に到達し、目的関数はすでに二次的に見えるが、
勾配ノイズが平均勾配 $${g(\theta)}$$に比べて小さいため、SGDは最適点に向かう比較的整然とした経路をたどる。この段階ではA2とA6,と仮定4 が概ね妥当であり、本理論枠組みが有効となる。
定常サンプリングフェーズ（stationary sampling phase）
反復が局所最適点の近傍にあり、平均勾配 $${g(\theta)}$$が小さくなるにつれ、サンプリングノイズが支配的になる。この最終段階では、定数SGDは自身の定常分布からサンプルする挙動を示す。

最後に、もし勾配ノイズ共分散 $${C}$$ がフルランクでない場合、定常共分散 $${\Sigma}$$もフルランクではなくなることに注意する。この条件は、確率的勾配に小さな等方的ガウスノイズを人工的に付加することで容易に満たすことができる。

更新の増分
$${\Delta\theta_k=-\eta\,\nabla L(\theta_k)-\eta\,\xi^{\mathrm{sgd}}_k-\eta\,\xi^{\mathrm{chaos}}_k}$$
に対して、単位時間あたりの拡散テンソルを
$${\Sigma_{\mathrm{sgd}} :=\frac{1}{dt}\operatorname{Var}\!\big[\eta\,\xi^{\mathrm{sgd}}_k\ \big|\ \mathcal F_k\big] =\frac{\eta}{S}\,BB^\top,\qquad(dt=\eta)}$$
と定義する（後者は混合性＋FCLT/均質化の帰結）。
ここで、$${\Theta_t}$$は、連続時間におけるパラメータベクトル（SGDの拡散極限）を以下の様に定義する。
Eq.A1において、、時間スケール $${t = k\eta}$$とし、極限$${\eta \to 0}$$で得られた連続化された確率過程であり、
$${\Theta_t := \theta_{\lfloor t/\eta \rfloor}}$$離散列を時間スケーリングして得た連続過程でSkorokhod空間で定義されている。
よって、仮説A6の Skorokhod 空間 $${(\mathbb R^d)}$$での弱収束により、拡散近似の極限（弱収束）
$${\Theta_\eta(\cdot) := \theta_{\lfloor t/\eta \rfloor} \quad\Rightarrow\quad \Theta_\eta(\cdot) \ \Rightarrow\ \Theta(\cdot) \quad (\eta \to 0) }$$
が成り立ち、この極限過程$${\Theta_t}$$は Itô型SDEに従い、
$${d\Theta_t = -\nabla L(\Theta_t)\,dt + \Sigma^{1/2}(\Theta_t)\,dW_t,\qquad \Sigma=\Sigma_{\mathrm{sgd}}+\Sigma_{\mathrm{chaos}} . \quad [A2] }$$
が得られる。
また、ここで、局所で$${L(\theta)=\tfrac12\,\theta^\top A\theta}$$（正定値 $${A}$$）と近似すれば、
$${\Theta_t=-A\Theta_t\,dt+Q^{1/2}\,dW_t,\qquad Q:=\Sigma_{\mathrm{sgd}}+\Sigma_{\mathrm{chaos}}}$$
定常共分散$${\Sigma_\star}$$は Lyapunov 方程式
$${A\Sigma_\star+\Sigma_\star A^\top = Q}$$
を満たす。
(証明）期待値と共分散の定義から、平均 $${\mu_t:=\mathbb E[\Theta_t]}$$、共分散 $${\Sigma_t:=\mathbb E\!\big[(\Theta_t-\mu_t)(\Theta_t-\mu_t)^\top\big]}$$で与えられている。この OU では一次モーメントの方程式は
$${\frac{d}{dt}\mu_t = -A\,\mu_t \;\;\Rightarrow\;\; \mu_t = e^{-At}\mu_0 \xrightarrow[t\to\infty]{} 0}$$
（$${-A}$$が安定$${＝A}$$ がHurwitz）なので、以降 $${\mu_t\equiv 0}$$を仮定して簡単化する。これにより、$${\Sigma_t=\mathbb E[\Theta_t\Theta_t^\top]}$$
Itô の公式より、
$${d(\Theta\Theta^\top) = (d\Theta)\,\Theta^\top + \Theta\,(d\Theta)^\top + (d\Theta)\,(d\Theta)^\top}$$
ここで$${d\Theta = -A\Theta\,dt + Q^{1/2}\,dW}$$である。
代入して項を並べると
$${\begin{aligned} (d\Theta)\,\Theta^\top &= (-A\Theta\,dt)\,\Theta^\top + (Q^{1/2}dW)\,\Theta^\top,\\ \Theta\,(d\Theta)^\top &= \Theta\,(-\Theta^\top A^\top dt)+ \Theta\,(dW^\top\, Q^{1/2\,\top}),\\ (d\Theta)\,(d\Theta)^\top &= (Q^{1/2}dW)\,(Q^{1/2}dW)^\top = Q^{1/2}\,(dW\,dW^\top)\,Q^{1/2\,\top}. \end{aligned}}$$
Itô の等式 $${dW\,dW^\top = I\,dt}$$を使うと最後の項は $${Q\,dt}$$。
よって、$${\Theta\Theta^\top}$$の期待値を取り微分方程式にすると、以下の様になる。
$${\frac{d}{dt}\,\mathbb E[\Theta\Theta^\top] = -A\,\mathbb E[\Theta\Theta^\top] - \mathbb E[\Theta\Theta^\top]\,A^\top + Q}$$
すなわち
$${\frac{d}{dt}\Sigma_t = -A\Sigma_t - \Sigma_t A^\top + Q \qquad(\text{微分Lyapunov方程式})}$$
$${−A}$$が安定（例えば $${A}$$ の実部が全て正）なら $${\Sigma_t}$$ は極限に収束し、その極限 $${\Sigma_\star}$$ は
$${A\Sigma_\star+\Sigma_\star A^\top = Q}$$
を満す。

SDE(Eq.A2)からKolmogorov Kolmogorov 後退方程式(Eq.A4)導出

Itôの公式（多変量・状態依存拡散）
$${df(\Theta_t) = \nabla_\theta f(\Theta_t)^\top\,d\Theta_t +\frac12\,\mathrm{Tr}\!\big[\,(\Sigma^{1/2}\Sigma^{1/2\top})(\Theta_t)\,\nabla_\theta^2 f(\Theta_t)\big]}$$
ここで$${\nabla_\theta f}$$は勾配（列ベクトル）、$${\nabla_\theta^2 f}$$はヘッセ行列、また$${\Sigma(\theta)=\Sigma^{1/2}(\theta)\,\Sigma^{1/2}(\theta)^\top}$$である。
SDEのEq.A2は以下の様に与えられている。
$${d\Theta_t=-\nabla L(\Theta_t)\,dt+\Sigma^{1/2}(\Theta_t)\,dW_t}$$
よって、これを代入すると、
$${df(\Theta_t) = \nabla f(\Theta_t)^\top\!\big[-\nabla L(\Theta_t)\,dt+\Sigma^{1/2}(\Theta_t)\,dW_t\big] }$$
$${\qquad \quad +\frac12\,\mathrm{Tr}\!\big(\Sigma(\Theta_t)\,\nabla^2 f(\Theta_t)\big)\,dt. }$$
これを、ドリフト項とマルチンゲール項に分解すると、以下のようになる。
$${df(\Theta_t) = \underbrace{\Big[-\nabla L(\Theta_t)\!\cdot\!\nabla f(\Theta_t) +\frac12\,\mathrm{Tr}\!\big(\Sigma(\Theta_t)\,\nabla^2 f(\Theta_t)\big)\Big]}_{\displaystyle (\mathcal L f)(\Theta_t)}\,dt \;+\;\underbrace{\nabla f(\Theta_t)^\top \Sigma^{1/2}(\Theta_t)\,dW_t}_{\text{局所マルチンゲール}}}$$
ここで生成作用素 $${\mathcal L}$$ を
$${(\mathcal L f)(\theta) = -\nabla L(\theta)\!\cdot\!\nabla_\theta f(\theta) +\frac12\,\mathrm{Tr}\!\big(\Sigma(\theta)\,\nabla_\theta^2 f(\theta)\big)}$$
と定義すれば、Eq.[A4.a]が得られる。
さらに、上式を積分・期待値に取り、通常の正則性（成長条件）と可積分性のもとで期待値と時間微分の交換が正当化できれば、
$${\mathbb E[f(\Theta_t)] = \mathbb E[(\mathcal L f)(\Theta_t)]}$$
が得られる。拡散項の確率積分はマルチンゲールのため期待値が 0 で、（$${\mathbb E\!\int \nabla f^\top \Sigma^{1/2} dW=0}$$）。
これがEq. [A4.b]となる。

SDE(Eq.A2)からKolmogorov 前向き（Fokker–Planck）方程式(Eq.A5)導出

Itô 形のSDEは、
$${\Theta_t=-\nabla L(\Theta_t)\,dt+\Sigma^{1/2}(\Theta_t)\,dW_t}$$
で与えられ、この後退作用素（Eq.A4）は以下の様に与えられている。
$${(\mathcal L f)(\theta) = -\nabla L(\theta)\!\cdot\!\nabla_\theta f(\theta) +\tfrac12\,\mathrm{Tr}\!\big(\Sigma(\theta)\,\nabla_\theta^2 f(\theta)\big)}$$
ここで密度$${p(\theta,t)}$$ をもつと仮定（十分な減衰／境界条件）し、
任意の滑らかで有界なテスト関数 $${f\in C_b^2}$$ に対し
$${\frac{d}{dt}\int f(\theta)\,p(\theta,t)\,d\theta = \int (\mathcal L f)(\theta)\,p(\theta,t)\,d\theta. \qquad [\ast]}$$
を考える。
$${\displaystyle{\int (\mathcal L f)\,p = \int \Big[-\nabla L\cdot\nabla f +\tfrac12\,\mathrm{Tr}(\Sigma \nabla^2 f)\Big]\,p \, d\theta}}$$
であるから、このドリフト項$${\displaystyle{\int [-\nabla L\cdot\nabla f]\,p }}$$は、
$${\int [-\nabla L\cdot\nabla f]\,p = \int -\sum_i \partial_i L \; \partial_i f \; p \, d\theta \overset{\text{IBP}}{=} \int f \;\nabla_\theta\!\cdot\!\big((\nabla L)\,p\big)\,d\theta}$$
となり、仮定A0の無限遠での消失 or 適切な境界条件より、境界項はゼロとなる。
拡散項については、成分表示で
$${\displaystyle{\tfrac12\int \sum_{i,j} \Sigma_{ij} \,\partial_{ij}^2 f \; p \, d\theta \overset{\text{IBP(1)}}{=} -\tfrac12\int \sum_{i,j} \partial_j(\Sigma_{ij}p)\, \partial_i f \, d\theta \overset{\text{IBP(2)}}{=} \tfrac12\int f \;\sum_{i,j}\partial_{ij}^2\!\big(\Sigma_{ij} p\big)\, d\theta}}$$
と書けるから、
$${\displaystyle{\int (\mathcal L f)\,p = \int f \Big[ \nabla_\theta\!\cdot\!\big((\nabla L) p\big) + \tfrac12 \sum_{i,j}\partial_{ij}^2\!\big(\Sigma_{ij} p\big)\Big] }}$$
Eq.$${\ast}$$と任意の$${f}$$から、分布として、
$${\partial_t p(\theta,t) = \nabla_\theta\!\cdot\!\big(\nabla L(\theta)\,p(\theta,t)\big) + \tfrac12 \sum_{i,j}\partial_{i}\partial_{j}\!\big(\Sigma_{ij}(\theta)\,p(\theta,t)\big)}$$
これは、Eq.A5と同意である。
$${\frac{\partial}{\partial t}p(\theta,t) = \nabla_\theta\!\cdot\!\big(\nabla L(\theta)\,p(\theta,t)\big) + \frac{1}{2}\sum_{i,j}\frac{\partial^2}{\partial \theta_i\,\partial \theta_j} \big(\Sigma_{ij}(\theta)\,p(\theta,t)\big) \quad [A5]}$$

Note) 一般に、Itô型SDE
$${dX_t = b(X_t)\,dt + \sigma(X_t)\,dW_t}$$
に対して、仮定 (A0) の生息性条件および十分な減衰／境界条件の下で境界項が消えるなら、対応する密度$${p(x,t)}$$は Kolmogorov 前向き（Fokker–Planck）方程式
$${\partial_t p = -\nabla_x\!\cdot\!\big(b(x)\,p(x,t)\big) + \tfrac{1}{2}\sum_{i,j}\partial_{x_i}\partial_{x_j}\!\big(a_{ij}(x)\,p(x,t)\big), \qquad a(x)=\sigma(x)\sigma(x)^{\top}}$$
を満たす。
ここでの設定では
$${b(\theta) = -\nabla L(\theta),\qquad a(\theta)=\Sigma(\theta)}$$
である。拡散テンソル $${\Sigma(\theta)}$$ が状態依存でも、上の発散形が成立し、これを Itô 表現 (Itô form) と呼ぶ。