关于相关数据流的随机梯度哈密尔顿蒙特卡罗算法的非渐近估计 Non-Asymptotic Estimates for Stochastic Gradient Hamiltonian Monte Carlo Algorithm with Dependent Data Streams

doi:10.12677/AAM.2024.132055

Advances in Applied Mathematics
Vol. 13 No. 02 ( 2024 ), Article ID: 81451 , 15 pages
10.12677/AAM.2024.132055

关于相关数据流的随机梯度哈密尔顿蒙特卡罗算法的非渐近估计

杨金圆，胡良剑^*

●How to Cite this Article

东华大学理学院，上海

收稿日期：2024年1月26日；录用日期：2024年2月21日；发布日期：2024年2月28日

摘要

近年来，基于朗之万蒙特卡罗方法的随机梯度下降算法得到了广泛应用。这些算法通过在梯度的估计中注入适当的高斯噪声以实现在非凸优化问题中的全局收敛。随机梯度哈密尔顿蒙特卡罗(SGHMC)是随机梯度下降带有动量的一种变体，通常的研究以样本数据相互独立的假设为前提来分析SGHMC算法的收敛性，然而实际中的样本数据往往存在相关性。本文在数据流具有相关性(满足一定的条件混合特性)的条件下，给出了SGHMC算法的非渐进估计，建立了全局Lipschtiz条件下SGHMC算法的收敛性定理，得到了迭代分布与目标分布之间Wasserstein距离的上界。

关键词

随机梯度哈密尔顿蒙特卡罗，非渐进估计，非凸优化，相关数据流

Non-Asymptotic Estimates for Stochastic Gradient Hamiltonian Monte Carlo Algorithm with Dependent Data Streams

Jinyuan Yang, Liangjian Hu^*

College of Science, Donghua University, Shanghai

Received: Jan. 26^th, 2024; accepted: Feb. 21^st, 2024; published: Feb. 28^th, 2024

ABSTRACT

In recent years, stochastic gradient descent algorithms based on the Langevin Monte Carlo method have been widely applied, which achieve global convergence in non-convex optimization problems by injecting appropriate Gaussian noise into the gradient estimates. Stochastic gradient Hamiltonian Monte Carlo (SGHMC) is a variant of stochastic gradient descent with momentum. Usually, studies analyze the convergence of algorithm based on the assumption that the sample data are i.i.d. However, in practice, sample data may be dependent. This paper provides non-asymptotic estimates for SGHMC algorithm under the condition that the data streams are dependent (satisfying a certain conditional mixing property), establishes a convergence theorem for SGHMC algorithm under the global Lipschitz condition, and obtains an upper bound of the Wasserstein distance between the law of algorithm’s iterates and the target distribution.

Keywords:Stochastic Gradient Hamiltonian Monte Carlo, Non-Asymptotic Estimates, Non-Convex Optimization, Dependent Data Streams

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随机梯度下降算法在解决非凸优化问题中有着广泛应用。考虑一个随机优化问题：

最小化 $U (θ) : = E [u (θ, X)]$

其中U可能是非凸损失函数， $θ \in ℝ^{d}$ ，X是随机数据。我们希望得到 $θ$ 的估计量 $\hat{θ}$ 使超额期望风险 $E [U (\hat{θ})] - \inf_{θ \in ℝ^{d}} U (θ)$ 达到最小。Raginsky等 [1] 阐述了最小化超额期望风险与从一个集中在损失函数U的极小值附近的目标分布

$π_{β} (θ) \propto \exp (- β U (θ)) d θ$

中采样之间的密切联系，其中 $β$ 为逆温度系数。当 $β$ 足够大时，目标分布 $π_{β}$ 集中在损失函数U的极小值附近 [2] ，且在适当的假设下，目标分布 $π_{β}$ 是过阻尼郎之万随机微分方程

$d θ_{t} = - h (θ_{t}) d t + \sqrt{2 β^{- 1}} d B_{t}$ (1)

的唯一平稳分布 [3] ，其中 $h : = \nabla U$ ， ${B_{t}}_{t \geq 0}$ 为d维布朗运动。

在非凸情形下损失函数U可能具有多个极小值，为算法收敛带来挑战。为了从目标分布 $π_{β}$ 中采样，基于朗之万蒙特卡罗(Langevin Monte Carlo, LMC)方法的随机梯度下降(Stochastic Gradient Descent, SGD)算法备受关注，这些算法通过在梯度的估计中注入噪声保证全局收敛。考虑使用欧拉离散化方法近似模拟方程(1)，同时由于精确梯度h难以获得，故使用其以观测数据驱动的无偏估计代替，即得到随机梯度郎之万动力学(Stochastic Gradient Langevin Dynamics, SGLD)算法 [4]

$θ_{n + 1}^{η} : = θ_{n}^{η} - η H (θ_{n}^{η}, X_{n + 1}) + \sqrt{2 η β^{- 1}} ξ_{n + 1}$

其中 $η > 0$ 为步长， $H : ℝ^{d} \times ℝ^{m} \to ℝ^{d}$ 为满足 $E H (θ, X_{n}) = h (θ)$ 的可测函数， ${X_{n}}_{n \in ℕ}$ 为适应于给定流 ${G_{n}}_{n \in ℕ}$ 的 $ℝ^{m}$ 值数据序列， ${ξ_{n}}_{n \in ℕ}$ 为独立的标准d维高斯噪声。

另一方面，本文所考虑的随机梯度哈密尔顿蒙特卡罗(Stochastic Gradient Hamiltonian Monte Carlo, SGHMC)算法 [5] 基于欠阻尼朗之万随机微分方程

$\begin{array}{l} d V_{t} = - γ V_{t} d t - h (θ_{t}) d t + \sqrt{2 γ β^{- 1}} d B_{t} \\ d θ_{t} = V_{t} d t \end{array}$ (2)

其中 ${θ_{t}}_{t \geq 0}$ ， ${V_{t}}_{t \geq 0}$ 分别为位置和动量过程， $γ$ 为摩擦系数。在梯度的适当假设下，马尔可夫过程 ${(θ_{t}, V_{t})}_{t \geq 0}$ 具有唯一平稳分布 [6]

${\bar{π}}_{β} (d θ, d v) \propto \exp (- β (\frac{1}{2} {| v |}^{2} + U (θ))) d θ d v$

与SGLD算法类似，精确梯度h难以获得，但可以有效获得其无偏估计，即得到SGHMC算法

$\begin{array}{l} V_{n + 1}^{η} = V_{n}^{η} - η [γ V_{n}^{η} + H (θ_{n}^{η}, X_{n + 1})] + \sqrt{2 γ η β^{- 1}} ξ_{n + 1} \\ θ_{n + 1}^{η} = θ_{n}^{η} + η V_{n}^{η} \end{array}$ (3)

Eberle等 [7] 证明了在某些假设条件下欠阻尼随机微分方程在Wasserstein距离下收敛到其平稳分布的速度比过阻尼情形快，许多实验也印证了SGHMC算法表现出比SGLD算法更快的收敛速度 [5] 。

近年来，损失函数U为凸情形下的近似采样算法的收敛速度得到了深入研究，放宽凸假设是一个更具挑战的问题。对于U非凸的情形，通常考虑两种路径：(i) 考虑耗散条件 [1] [8] ；(ii) 假设损失函数U在无穷远处具有凸性 [9] 。此外，大多数研究假设样本数据序列相互独立，然而事实上数据可能相关而非独立。如金融市场价格分析问题中，资产收益在适当的时间尺度上保持平稳，但独立性失效 [10] 。在下达交易订单以最大化投资组合效益、最小化交易成本等金融问题中，随机梯度下降算法往往在相关数据流的基础上进行 [8] 。Chau等 [8] 在相关数据流(样本数据满足条件L混合特性)假设下研究了非凸情形下SGLD算法的收敛性。对于SGHMC算法，在观测数据独立同分布的假设下，Chau等 [6] 和Gao等 [11] 研究了SGHMC算法在全局Lipschitz条件下的收敛性。本文将考虑的数据样本 ${X_{n}}_{n \in ℕ}$ 是相关的，在数据序列满足条件L混合特性的条件下，得到SGHMC算法的非渐近估计，并由此得到SGHMC算法收敛到其目标分布的速度。

2. 符号与假设

2.1. 符号

设 $(Ω, F, P)$ 为一个概率空间。记随机变量X的期望为 $E X$ ，用 $L^{p}$ 表示p阶矩可积的实值随机变量的空间。给定整数 $d \geq 1$ ，记 $ℝ^{d}$ 上Borel $σ$ 代数为 $B (ℝ^{d})$ ，随机变量X在 $B (ℝ^{d})$ 上的分布用 $L (X)$ 表示。记内积为 $〈 \cdot, \cdot 〉$ ，相应的范数用 $| \cdot |$ 表示。对于 $r \in ℝ_{+}$ ，用 $B_{r}$ 表示中心为0，半径为r的闭球。可测空间 $(ℝ^{d}, B (ℝ^{d}))$ 上的概率测度的集合记为 $P (ℝ^{d})$ 。对 $μ, ν \in P (ℝ^{d})$ ，用 $C (μ, ν)$ 表示 $B (ℝ^{d} \times ℝ^{d})$ 上的概率测度 $Γ$ 的集合，其边际分布分别为 $μ, ν$ 。Wasserstein距离定义为

$W_{2} (μ, ν) : = \inf_{Γ \in C (μ, ν)} {(\int_{ℝ^{d}} \int_{ℝ^{d}} {| θ - θ^{'} |}^{2} Γ (d θ, d θ^{'}))}^{1 / 2} .$

2.2. 假设

假设2.1 损失函数U取非负值，即 $U (θ) \geq 0$ 。

假设2.2 $| θ_{0} |$ ， $| v_{0} | \in \cap_{p \geq 1} L^{p}$ 。

假设2.3 设 $G_{n}, n \in ℕ$ 为代表过去信息的给定流，且 $G_{0} = {\emptyset, Ω}$ ， $G_{\infty} : = σ (\cup_{n \in ℕ} G_{n})$ 。设 $G_{n}^{*}, n \in ℕ$ 为一个递减的 $σ$ 代数族，使得对所有 $n \in ℕ$ ， $G_{n}$ 和 $G_{n}^{*}$ 相互独立。过程 ${X_{n}}_{n \in ℕ}$ 关于 ${G_{n}, G_{n}^{*}}_{n \in ℕ}$ 是条件L混合的，且满足对任意 $θ \in ℝ^{d}$ 和 $n \geq 1$ ，

$E H (θ, X_{n}) = h (θ) .$ (4)

假设2.4 存在正常数 $L_{1}$ ， $L_{2}$ ，使得对所有 $θ, θ^{'} \in ℝ^{d}$ 和 $x, x^{'} \in ℝ^{m}$ ，有

$| H (θ, x) - H (θ^{'}, x^{'}) | \leq L_{1} | θ - θ^{'} | + L_{2} | x - x^{'} | .$ (5)

假设2.5 存在正常数a，b使得对所有 $θ \in ℝ^{d}$ 和 $x \in ℝ^{m}$ ，

$〈 H (θ, x), θ 〉 \geq a {| θ |}^{2} - b .$

注2.6 由假设 2.4 ，得到以下性质：

(i) 对所有 $θ, x \in ℝ^{d}$ ，

$| H (θ, x) | \leq L_{1} | θ | + L_{2} | x | + H_{*}$ (6)

其中 $H_{*} : = | H (0, 0) |$ 。

(ii) 对所有 $θ \in ℝ^{d}$ ，

$| h (θ) | \leq L_{1} | θ | + h_{0}$ (7)

其中 $h_{0} : = | h (0) |$ 。

3. 主要结果

3.1. 条件L混合

Gerencsér [12] 介绍了L混合过程，L混合表示随机序列中相邻元素间相关性快速减小。Chau等 [13] 在随机梯度方法的背景下引入了条件L混合的概念，条件L混合表示在给定一些信息或条件下序列的混合性质仍然成立。考虑概率空间 $(Ω, F, ℙ)$ ，具有离散时间流 ${G_{n}}_{n \in ℕ}$ 和一个递减的 $σ$ 域序列 ${G_{n}^{*}}_{n \in ℕ}$ ，使得对所有 $n \in ℕ$ ， $G_{n}$ 和 $G_{n}^{*}$ 相互独立。当 $r \geq 1$ 时，若 $\sup_{n \in ℕ} E^{1 / r} [{| X_{n} |}^{r}] < \infty$ ，随机过程 ${X_{n}}_{n \in ℕ}$ 称为 $L^{r}$ 有界。

对每个 $n, τ \in ℕ$ 和 $i = 1, \dots, d$ ，定义

$\begin{array}{l} {\tilde{M}}_{r}^{n} (X, i) : = \sup_{m \in ℕ} E^{1 / r} [{| X_{n + m}^{i} |}^{r} | G_{n}] \\ {\tilde{γ}}_{r}^{n} (τ, X, i) : = \sup_{m \geq τ} E^{1 / r} [{| X_{n + m}^{i} - E [X_{n + m}^{i} | G_{n + m - τ}^{*} \lor G_{n}] |}^{r} | G_{n}] \end{array}$

其中 $X_{n + m}^{i}$ 为 $X_{n + m}$ 的第i个分量，且设

${\tilde{Γ}}_{r}^{n} (X, i) : = \sum_{τ = 0}^{\infty} {\tilde{γ}}_{r}^{n} (τ, X, i), M_{r}^{n} (X) : = \sum_{i = 1}^{d} {\tilde{M}}_{r}^{n} (X, i), Γ_{r}^{n} (X) : = \sum_{i = 1}^{d} {\tilde{Γ}}_{r}^{n} (X, i) .$ (8)

定义3.1 (条件L混合) 称随机过程 ${X_{n}}_{n \in ℕ}$ 关于 ${G_{n}, G_{n}^{*}}_{n \in ℕ}$ 为条件L混合，如果满足以下条件：

(i) 对所有 $θ \in Θ$ ， ${X_{n}}_{n \in ℕ}$ 均为 ${G_{n}}_{n \in ℕ}$ 适应；

(ii) 对所有 $r \geq 1 L^{r}$ ，随机过程 ${X_{n}}_{n \in ℝ}$ 为 $L^{r}$ 有界；

(iii) 对所有 $r \geq 1$ ，序列 ${M_{r}^{n} (X)}_{n \in ℕ}$ ， ${Γ_{r}^{n} (X)}_{n \in ℕ}$ 为 $L^{r}$ 有界。

由上述定义，若 ${X_{n}}_{n \in ℕ}$ 为独立序列且满足(i)和(ii)，则(iii)也成立，可视为条件L混合过程的特殊情况。设 ${X_{n}}_{n \in ℕ}$ 为条件L混合过程，对 $r \geq 1$ 引入量 $M_{r} (X) : = \sup_{n \in ℕ} E {| X_{n} |}^{r}$ 。下面的结论分别来自参考文献 [14] 的定理B.5、引理6.4和例2.4、引理A.3。

定理3.2 对 $r > 2$ ，设 ${W_{t}}_{t \in ℝ_{+}}$ 为 $L^{r}$ 有界，且设 $M_{r} (W) + Γ_{r} (W) < \infty a . s .$ 。假设对 $t \in ℝ_{+}$ ， $E [W_{t} | G_{0}] = 0 a . s .$ 。设 $f : [0, T] \to ℝ$ 为 $B ([0, T])$ 可测，且有 $\int_{0}^{T} f_{t}^{2} d t < \infty$ ，则存在一个常数 $C^{'} (r)$ 使得

$E^{1 / r} [\sup_{s \in [0, T]} {| \int_{0}^{s} f_{t} W_{t} d t |}^{r} | G_{0}] \leq C^{'} (r) {(\int_{0}^{T} f_{t}^{2} d t)}^{1 / 2} [M_{r} (W) + Γ_{r} (W)], a . s .$

这里可以取 $C^{'} (r) = \sqrt{r - 1} {(2^{1 / 2} - 2^{1 / r})}^{- 1}$ 。

引理3.3 若假设2.4成立，则对每个 $j \in ℕ$ ， $H (θ, W_{t}), t \in ℝ_{+}, θ \in B_{j}$ 满足

$M_{r} (H (θ, W)) \leq L_{1} j + L_{2} M_{r} (W) + H_{*}, Γ_{r} (H (θ, W)) \leq 2 L_{2} Γ_{r} (W) .$

引理3.4 若假设2.4成立，且设 $j \in ℕ$ 。令 ${(Z_{s})}_{s \geq 0}$ 为 $B_{j}$ 值随机变量族，满足 $Z : ℝ_{+} \times Ω \to ℝ^{d}$ 是 $B (ℝ_{+}) \otimes G_{0}$ 可测的。对 $t \in ℝ_{+}$ ，定义过程 $Y_{t} = H (Z_{t}, W_{t})$ ，则

$M_{r} (Y) \leq L_{1} j + L_{2} M_{r} (W) + H_{*}, Γ_{r} (Y) \leq 2 L_{2} Γ_{r} (W) .$

3.2. 收敛定理

首先定义

$η_{\max} = \min {1, \frac{K_{3}}{K_{2}}, \frac{γ λ}{2 K_{1}}, \frac{2}{γ λ}, \frac{γ λ}{2 {\tilde{K}}_{1}}, \frac{λ γ}{4 K_{4}}}$

其中常数K₁，K₂，K₃将在引理4.2的证明中给出，常数 ${\tilde{K}}_{1}$ 和K₄将在引理4.3的证明中给出，参数 $λ$ 在(9)中引入。下面给出SGHMC算法到目标分布的收敛性的主要结果。

定理3.5 若假设2.1~2.5成立且 $0 < η \leq η_{\max}$ ，则存在常数 $C_{1}, C_{2}, C_{3}, C_{4} > 0$ ，使得

$W_{2} (L (θ_{n}^{η}, V_{n}^{η}), {\bar{π}}_{β}) \leq C_{1} η^{1 / 2} + C_{2} η^{1 / 4} + C_{3} e^{- C_{4} η n}$

其中C₁，C₂依赖于 $γ$ ， $β$ ，d，L₁，L₂和数据流 ${(X_{n})}_{n \in ℕ}$ ，具体形式分别在定理4.6和定理4.8的证明中给出，C₃，C₄依赖于 $γ$ ， $β$ ，d，L₁，具体形式在定理3.5的证明中给出。

本文在数据流存在相关性的假设下给出了SGHMC算法的非渐近估计，阐明了SGHMC算法在有限迭代次数n下的性能。定理3.5表明算法的误差在迭代次数n上一致有界且选择足够小的步长 $η > 0$ 可以使误差达到任意小，从而保证了算法的收敛性在相关数据流情形下依然成立。与独立数据流的情形相比，本文在定理证明过程中采用与文献 [6] 不同的证明路线。本文将SGHMC算法与依赖于条件L混合的辅助过程进行比较，得到相关数据流情形下二者之间的Wasserstein距离。此外，本文在算法的误差估计中得到不同的系数表达式，条件L混合特性为这些系数的有界性提供了保证。

4. 证明

4.1. 辅助过程

证明主要结果的中心思想是引入合适的Lyapunov函数及SGHMC算法的连续时间插值过程等辅助过程，该连续时间插值过程在离散时间下的分布与SGHMC算法相同。不同于SGLD算法中经典的Lyapunov函数 $V (θ) = {(1 + {| θ |}^{2})}^{p / 2}$ ，本文使用Eberle [7] 定义的Lyapunov函数：

$V (θ, v) = β U (θ) + \frac{β}{4} γ^{2} ({| θ + γ^{- 1} v |}^{2} + {| γ^{- 1} v |}^{2} - λ {| θ |}^{2})$ (9)

其中 $λ \in (0, 1 / 4]$ ，该函数依赖于目标函数 $U (θ)$ 。

下面定义 $(θ_{η t}, V_{η t})$ 的缩放过程 $(ζ_{t}^{η}, Z_{t}^{η}) : = (θ_{η t}, V_{η t})$ ，

$\begin{array}{l} d Z_{t}^{η} = - η (γ Z_{t}^{η} + h (ζ_{t}^{η})) d t + \sqrt{2 γ η β^{- 1}} d B_{t}^{η} \\ d ζ_{t}^{η} = η Z_{t}^{η} d t \end{array}$ (10)

其中 $B_{t}^{η} : = B_{η t} / \sqrt{η}, t \geq 0$ 。记 ${B_{t}}_{t \geq 0}$ 自然流为 ${F_{t}}_{t \geq 0}$ ，且 ${F_{t}}_{t \geq 0}$ 与 $G_{\infty} \lor σ (θ_{0}, v_{0})$ 相互独立，则 ${B_{t}^{η}}_{t \geq 0}$ 自然流记为 ${F_{t}^{η}}_{t \geq 0}$ 且 $F_{t}^{η} : = F_{η t}$ ， ${F_{t}^{η}}_{t \geq 0}$ 也与 $G_{\infty} \lor σ (θ_{0}, v_{0})$ 相互独立。此外，记 $F_{\infty} : = σ (\cup_{t \geq 0} F_{t})$ 。

然后定义SGHMC算法(3)的连续时间插值过程：

$\begin{array}{l} d {\bar{V}}_{t}^{η} = - η (γ {\bar{V}}_{⌊ t ⌋}^{η} + H ({\bar{θ}}_{⌊ t ⌋}^{η}, X_{⌊ t ⌋ + 1})) d t + \sqrt{2 γ η β^{- 1}} d B_{t}^{η} \\ d {\bar{θ}}_{t}^{η} = η {\bar{V}}_{⌊ t ⌋}^{η} d t \end{array}$ (11)

注意到，插值过程(11)与SGHMC算法在格点上具有相同的分布，即 $L (θ_{n}^{η}, V_{n}^{η}) = L ({\bar{θ}}_{n}^{η}, {\bar{V}}_{n}^{η})$ 。此外，考虑一个初值条件为 ${\hat{θ}}_{s}^{s, u, v, η} = u$ 和 ${\hat{V}}_{s}^{s, u, v, η} = v$ 连续时间过程 $({\hat{ζ}}_{t}^{x, u, v, η}, {\hat{Z}}_{t}^{s, u, v, η})$ ：

$\begin{array}{l} d {\hat{Z}}_{t}^{s, u, v, η} = - η (γ {\hat{Z}}_{t}^{s, u, v, η} + h ({\hat{ζ}}_{t}^{s, u, v, η})) d t + \sqrt{2 γ η β^{- 1}} d B_{t}^{η} \\ d {\hat{ζ}}_{t}^{s, u, v, η} = η {\hat{Z}}_{t}^{s, u, v, η} d t \end{array}$ (12)

定义4.1 给定 $n \in ℕ$ 且对 $T : = ⌊ 1 / η ⌋$ ，定义过程

${\bar{ζ}}_{t}^{η, n} = {\hat{ζ}}_{t}^{n T, {\bar{θ}}_{n T}^{η}, {\bar{V}}_{n T}^{η}, η}, {\bar{Z}}_{t}^{η, n} = {\hat{Z}}_{t}^{n T, {\bar{θ}}_{n T}^{η}, {\bar{V}}_{n T}^{η}, η}$ (13)

直观看来，过程 $({\bar{ζ}}_{t}^{η, n}, {\bar{Z}}_{t}^{η, n}), t \geq n T$ 是一个开始于时间 $n T$ 且初值为 $({\bar{θ}}_{n T}^{η}, {\bar{V}}_{n T}^{η})$ 的欠阻尼Langevin过程。

最后，对 $t \in ℝ_{+}$ 定义一个含样本数据 ${X_{n}}_{n \in ℕ}$ 信息流和布朗运动 ${B_{t}}_{t \geq 0}$ 随机性的连续时间流 ${H_{t}}_{t \geq 0}$ ：

$H_{t} : = F_{\infty} \lor G_{⌊ t ⌋}, H_{t}^{*} : = G_{⌊ t ⌋}^{*} .$

4.2. 引理准备

引理4.2 若假设2.1~2.5成立。则对 $0 < η \leq η_{m a x}$ ，

$\begin{array}{l} \sup_{k \geq 0} E {| θ_{k}^{η} |}^{2} \leq C_{θ} : = 8 {(1 - 2 λ)}^{- 1} β^{- 1} γ^{- 2} C_{V_{1}} \\ \sup_{k \geq 0} E {| V_{k}^{η} |}^{2} \leq C_{v} : = 4 {(1 - 2 λ)}^{- 1} β^{- 1} C_{V_{1}} \end{array}$

其中 $C_{V_{1}} : = \int_{ℝ^{2 d}} V_{1} (θ, v) μ_{0} (d θ, d v) + 4 λ^{- 1} (A_{c} + d)$ 。

证明设对 $k = 0, 1, \dots$ ，

$L (k) = \frac{E V (θ_{k}^{η}, V_{k}^{η})}{β} = E [U (θ_{k}^{η}) + \frac{γ^{2}}{4} ({| θ_{k}^{η} + γ^{- 1} V_{k}^{η} |}^{2} + {| γ^{- 1} V_{k}^{η} |}^{2} - λ {| θ_{k}^{η} |}^{2})]$ (14)

类似文献 [15] 中引理3.2的证明，由(3)和注2.6的(6)得到

$L (k + 1) - L (k) \leq - \frac{η γ}{2} E 〈 θ_{k}^{η}, h (θ_{k}^{η}) 〉 - \frac{η γ}{2} E {| V_{k}^{η} |}^{2} - \frac{η γ^{2} λ}{2} E 〈 θ_{k}^{η}, V_{k}^{η} 〉 + η γ β^{- 1} d + M_{k} η^{2}$ (15)

其中

$M_{k} = (\frac{L_{1}}{2} + \frac{γ^{2}}{4} + \frac{γ}{4} - \frac{γ^{2} λ}{4}) E {| V_{k}^{η} |}^{2} + (\frac{{\tilde{L}}_{1}}{2} + \frac{γ L_{1}^{2}}{2}) E {| θ_{k}^{η} |}^{2} + \frac{{\tilde{C}}_{1}}{2} + \frac{γ h_{0}^{2}}{2}$ (16)

且 ${\tilde{L}}_{1} = 2 L_{1}^{2}$ ， ${\tilde{C}}_{1} = 4 L_{2}^{2} M_{2} (X) + 4 H_{*}^{2}$ 。注意到对 $0 < λ \leq 1 / 4$ ，由假设2.1，

$V (θ, v) \geq \max {\frac{β}{8} (1 - 2 λ) γ^{2} {| θ |}^{2}, \frac{β}{4} (1 - 2 λ) {| v |}^{2}}$ (17)

由(14)中 $L (k)$ 的定义及不等式 $\max {a, b} \geq (a + b) / 2$ ，得到

$L (k) \geq \frac{1}{16} (1 - 2 λ) γ^{2} E {| θ_{k}^{η} |}^{2} + \frac{1}{8} (1 - 2 λ) E {| V_{k}^{η} |}^{2}$ (18)

因此，由和，得到

$M_{k} \leq K_{1} L (k) + K_{2}$

其中

$K_{1} = \max {\frac{\frac{{\tilde{L}}_{1}}{2} + \frac{γ L_{1}^{2}}{2}}{\frac{1}{16} (1 - 2 λ) γ^{2}}, \frac{\frac{L_{1}}{2} + \frac{γ^{2}}{4} + \frac{γ}{4} - \frac{γ^{2} λ}{4}}{\frac{1}{8} (1 - 2 λ)}}, K_{2} = \frac{{\tilde{C}}_{1}}{2} + \frac{γ h_{0}^{2}}{2}$

由参考文献 [15] 中的引理B.5，选择 $λ = \min {1 / 4, a / (L_{1} + 2 L_{1} h_{0} + γ^{2} / 2)}$ ，可得到对所有 $x \in ℝ^{d}$ ，有

$〈 θ, h (θ) 〉 \geq 2 λ (U (θ) + \frac{γ^{2}}{4} {| θ |}^{2}) - \frac{2 A_{c}}{β}$ (19)

其中 $A_{c} = β (b + 2 λ u_{0} + 2 λ L_{1} h_{0}) / 2$ 。故将(19)代入(15)，得到

$\begin{matrix} L (k + 1) - L (k) \leq - η γ λ E U (θ_{k}^{η}) - \frac{η γ^{3} λ}{4} E {| θ_{k}^{η} |}^{2} + η A_{c} γ β^{- 1} - \frac{η γ}{2} E {| V_{k}^{η} |}^{2} - \frac{η γ^{2} λ}{2} E 〈 θ_{k}^{η}, V_{k}^{η} 〉 \\ + η γ β^{- 1} d + (K_{1} L (k) + K_{2}) η^{2} \end{matrix}$ (20)

又 $0 < λ \leq 1 / 4$ 时，由(14)得到

$L (k) \leq E U (θ_{k}^{η}) + \frac{γ^{2}}{4} E {| θ_{k}^{η} |}^{2} + \frac{1}{2 λ} E {| V_{k}^{η} |}^{2} + \frac{γ}{2} E 〈 θ_{k}^{η}, V_{k}^{η} 〉$ (21)

则对 $0 < η \leq \min {\frac{K_{3}}{K_{2}}, \frac{γ λ}{2 K_{1}}, \frac{2}{γ λ}}$ ，由(20)和(21)，得到

$\begin{matrix} L (k + 1) \leq (1 - \frac{η γ λ}{2}) L (k) + 2 K_{3} η \\ \leq L (0) + \frac{4}{γ λ} K_{3} \end{matrix}$ (22)

其中 $K_{3} : = (A_{c} + d) γ β^{- 1}$ 。结合(17)，最终得证。

引理4.3 设 $0 < η \leq η_{\max}$ ，且假设2.1~2.5成立，则有

$\sup_{k \in ℕ} E [V^{2} (θ_{k}^{η}, V_{k}^{η})] \leq E [V^{2} (θ_{0}, v_{0})] + \frac{4 D}{γ λ}$

其中 $D = O (d^{2})$ 为与 $η$ 无关的常数。

证明首先，定义 $Δ_{k}^{1} = V_{k}^{λ} - η [γ V_{k}^{λ} + H (θ_{k}^{η}, X_{k + 1})]$ ， $Δ_{k}^{2} = θ_{k}^{η} + γ^{- 1} V_{k}^{η} - η γ^{- 1} H (θ_{k}^{η}, X_{k + 1})$ 。类似参考文献 [15] 引理3.4和文献 [6] 引理5.5的证明，得到

$\begin{matrix} \frac{V_{k + 1}}{β} \leq (1 - η γ λ) \frac{V_{k}}{β} + η 〈 V_{k}^{η}, h (θ_{k}^{η}) - H (θ_{k}^{η}, X_{k + 1}) 〉 + η γ A_{c} β^{- 1} \\ + \frac{1}{2} η γ 〈 θ_{k}^{η}, h (θ_{k}^{η}) - H (θ_{k}^{η}, X_{k + 1}) 〉 + η γ β^{- 1} {| ξ_{k + 1} |}^{2} + N_{k} η^{2} + Σ_{k} \end{matrix}$ (23)

其中

$\begin{array}{l} N_{k} = (\frac{L_{1}}{2} + \frac{γ^{2}}{4} - \frac{γ^{2} λ}{4} + \frac{γ}{4}) {| V_{k}^{η} |}^{2} + (1 + \frac{γ}{2}) L_{1}^{2} {| θ_{k}^{η} |}^{2} + (2 + γ) L_{2}^{2} {| X_{k + 1} |}^{2} + (2 + γ) H_{*}^{2} \\ Σ_{k} = \frac{1}{2} γ^{2} \sqrt{2 η γ^{- 1} β^{- 1}} 〈 Δ_{k}^{2}, ξ_{k + 1} 〉 + \frac{1}{2} \sqrt{2 η γ β^{- 1}} 〈 Δ_{k}^{1}, ξ_{k + 1} 〉 \end{array}$ (24)

下面求(24)中第一式的上界，由(17)和不等式 $\max {a, b} \geq (a + b) / 2$ ，有

$N_{k} \leq {\tilde{K}}_{1} \frac{V_{k}}{β} + {\tilde{K}}_{2}$ (25)

其中

${\tilde{K}}_{1} = \max {\frac{(1 + \frac{γ}{2}) L_{1}^{2}}{\frac{1}{16} (1 - 2 λ) γ^{2}}, \frac{\frac{L_{1}}{2} + \frac{γ^{2}}{4} - \frac{γ^{2} λ}{4} + \frac{γ}{4}}{\frac{1}{8} (1 - 2 λ)}}, {\tilde{K}}_{2} = (2 + γ) L_{2}^{2} {| X_{k + 1} |}^{2} + (2 + γ) H_{*}^{2}$

将(25)代入(23)，对 $0 < η \leq \frac{γ λ}{2 {\tilde{K}}_{1}}$ ，整理得到

$V_{k + 1} \leq ϕ V_{k} + {\bar{K}}_{k + 1}$ (26)

其中，

$\begin{array}{l} ϕ : = 1 - \frac{1}{2} η γ λ \\ {\bar{K}}_{k + 1} : = η γ A_{c} + η β 〈 V_{k}^{η}, h (θ_{k}^{η}) - H (θ_{k}^{η}, X_{k + 1}) 〉 + \frac{1}{2} η γ β 〈 θ_{k}^{η}, h (θ_{k}^{η}) - H (θ_{k}^{η}, X_{k + 1}) 〉 \\ + η γ {| ξ_{k + 1} |}^{2} + η^{2} β {\tilde{K}}_{2} + β Σ_{k} \end{array}$

(26)两边平方取条件期望，注意到 $E Σ_{k} = 0$ ，由假设2.3的(4)和注2.6，得到

$\begin{array}{l} E [V_{k + 1}^{2} | G_{k + 1}] \\ \leq ϕ^{2} V_{k}^{2} + 2 ϕ V_{k} (η γ A_{c} + η γ d + η^{2} β {\hat{K}}_{2}) + E [{| {\bar{K}}_{k + 1} |}^{2} | G_{k + 1}] \\ \leq ϕ^{2} V_{k}^{2} + 2 ϕ V_{k} (η γ A_{c} + η γ d + η^{2} β {\hat{K}}_{2}) + 6 η^{2} γ^{2} A_{c}^{2} + \frac{3}{2} η^{2} β^{2} {| V_{k}^{η} |}^{4} + 6 η^{2} β^{2} {(\frac{1}{4} γ + (2 γ + 4) L_{1}^{2})}^{2} {| θ_{k}^{η} |}^{4} \\ + 6 η^{2} γ^{2} d (d + 2) + 6 η^{4} β^{2} {\hat{K}}_{2}^{2} + 6 η^{2} β^{2} {(\frac{1}{2} γ + 1)}^{2} {(4 L_{2}^{2} M_{2} (X) + 2 h_{0}^{2} + 4 H_{*}^{2})}^{2} + β^{2} E [{| Σ_{k} |}^{2} | G_{k + 1}] \\ \leq ϕ^{2} V_{k}^{2} + 2 ϕ η V_{k} {\tilde{c}}_{1} + 2 ϕ η^{2} β V_{k} {\hat{K}}_{2} + η^{2} {\tilde{c}}_{2} + η^{2} β^{2} {\tilde{c}}_{3} {| θ_{k}^{η} |}^{4} + \frac{3}{2} η^{2} β^{2} {| V_{k}^{η} |}^{4} \\ + η^{2} β^{2} {\tilde{c}}_{4} + η^{4} β^{2} {\hat{c}}_{4} + β^{2} E [{| Σ_{k} |}^{2} | G_{k + 1}] \end{array}$ (27)

其中 ${\hat{K}}_{2} = (2 + γ) L_{2}^{2} M_{2} (X) + (2 + γ) H_{*}^{2}$ 且

$\begin{array}{l} {\tilde{c}}_{1} = (A_{c} + d) γ, {\tilde{c}}_{2} = 6 γ^{2} (A_{c}^{2} + d (d + 2)), {\tilde{c}}_{3} = \frac{3}{4} γ^{2} + 48 {(γ + 2)}^{2} L_{1}^{4} \\ {\tilde{c}}_{4} = {(γ + 2)}^{2} (72 L_{2}^{4} E {| X_{0} |}^{4} + 18 h_{0}^{4} + 72 H_{*}^{4}), {\hat{c}}_{4} = 6 {\hat{K}}_{2}^{2} \end{array}$

对于 $E [{| Σ_{k} |}^{2} | G_{k + 1}]$ ，由注2.6的(6)和参考文献 [15] 引理3.4的证明，可得到

$\begin{matrix} E [{| Σ_{k} |}^{2} | G_{k + 1} |] \leq 2 η γ β^{- 1} d (5 {| V_{k}^{η} |}^{2} + (3 γ^{2} + 15 L_{1}^{2}) {| θ_{k}^{η} |}^{2} + 15 L_{2}^{2} M_{2} (X) + 15 H_{*}^{2}) \\ \leq η {\tilde{c}}_{5} \frac{V_{k}}{β^{2}} + η \frac{{\tilde{c}}_{6}}{β} \end{matrix}$ (28)

其中

${\tilde{c}}_{5} = \max {\frac{10 γ d}{\frac{1}{8} (1 - 2 λ)}, \frac{2 γ d (3 γ^{2} + 15 L_{1}^{2})}{\frac{1}{16} (1 - 2 λ) γ^{2}}}, {\tilde{c}}_{6} = 30 γ d (L_{2}^{2} M_{2} (X) + H_{*}^{2})$

将(28)代入(27)，利用 $η \leq 1$ ，结合(17)，得到

$\begin{matrix} E [V_{k + 1}^{2} | G_{k + 1}] \leq ϕ^{2} V_{k}^{2} + η (2 ϕ {\tilde{c}}_{1} + {\tilde{c}}_{5}) V_{k} + 2 ϕ η^{2} β V_{k} {\hat{K}}_{2} + η^{2} {\tilde{c}}_{2} + η^{2} β^{2} {\tilde{c}}_{3} {| θ_{k}^{η} |}^{4} \\ + \frac{3}{2} η^{2} β^{2} {| V_{k}^{η} |}^{4} + η^{2} β^{2} ({\tilde{c}}_{4} + {\hat{c}}_{4}) + η β {\tilde{c}}_{6} \\ \leq (ϕ^{2} + η^{2} K_{4}) V_{k}^{2} + η (2 ϕ {\tilde{c}}_{1} + {\tilde{c}}_{5}) V_{k} + 2 ϕ η^{2} β V_{k} {\hat{K}}_{2} \\ + η^{2} {\tilde{c}}_{2} + η^{2} β^{2} ({\tilde{c}}_{4} + {\hat{c}}_{4}) + η β {\tilde{c}}_{6} \end{matrix}$ (29)

其中

$K_{4} = \max {\frac{{\tilde{c}}_{3}}{\frac{1}{128} {(1 - 2 λ)}^{2} γ^{4}}, \frac{\frac{3}{2}}{\frac{1}{32} {(1 - 2 λ)}^{2}}}$

对(29)两边取期望，由于 $0 < ϕ \leq 1$ ，有

$E V_{k + 1}^{2} \leq (1 - \frac{η λ γ}{2} + η^{2} K_{4}) E V_{k}^{2} + η {\tilde{c}}_{7} E V_{k} + 2 η^{2} β {\hat{K}}_{2} E V_{k} + η^{2} β {\tilde{c}}_{2} + η^{2} β^{2} ({\tilde{c}}_{4} + {\hat{c}}_{4}) + η β {\tilde{c}}_{6}$

其中 ${\tilde{c}}_{7} = 2 {\tilde{c}}_{1} + {\tilde{c}}_{5}$ 。由引理4.2的证明过程中的(22)和 $η \leq 1$ ，当 $η \leq λ γ / (4 K_{4})$ 时，递归计算得到

$\begin{matrix} E V_{k + 1}^{2} \leq (1 - \frac{η λ γ}{2} + η^{2} K_{4}) E V_{k}^{2} + D η \\ \leq E V_{0}^{2} + \frac{4 D}{λ γ} \end{matrix}$

其中 $D = {\tilde{c}}_{7} {\tilde{c}}_{8} + (2 {\hat{K}}_{2} {\tilde{c}}_{8} + {\tilde{c}}_{2} + {\tilde{c}}_{6}) β + ({\hat{c}}_{4} + {\tilde{c}}_{4}) β^{2}$ ， ${\tilde{c}}_{8} : = E V_{0} + 4 (A_{c} + d) / λ$ 。

下面给出参考文献 [8] 的引理3.15和引理3.16。

引理4.4 对每个 $n \in ℕ$ ，存在一个可测函数 $h : Ω \times [n T, \infty) \times ℝ^{d} \to ℝ^{d}$ 使得对任意 $t \geq n T$ 和 $θ \in ℝ^{d}$ ， $h_{n T, t} (θ) (ω)$ 是 $E [H (θ, X_{⌊ t ⌋ + 1}) | H_{n T}]$ 的一个版本，且对几乎每个 $ω \in Ω$ ， $θ \to h_{n T, t} (θ) (ω)$ 是连续的。

引理4.5 若假设 2.2 和假设 2.3 成立，且设 $p \geq 1$ ，则

$\sup_{n \in ℕ} E^{1 / p} [{(\sum_{k = n T}^{\infty} \sup_{θ \in ℝ^{d}} ‖ h_{k, n T} (θ) - h (θ) ‖)}^{p}] \leq 2 L_{2} Γ_{p}^{0} (X) .$

4.3. 主要结果的证明

为证明主要结果，考虑将证明目标分解成如下形式：

$\begin{matrix} W_{2} (L (θ_{t}^{η}, V_{t}^{η}), {\bar{π}}_{β}) \leq W_{2} (L ({\bar{θ}}_{t}^{η}, {\bar{V}}_{t}^{η}), L ({\bar{ζ}}_{t}^{η, n}, {\bar{Z}}_{t}^{η, n})) + W_{2} (L ({\bar{ζ}}_{t}^{η, n}, {\bar{Z}}_{t}^{η, n}), L (ζ_{t}^{η}, Z_{t}^{η})) \\ + W_{2} (L (ζ_{t}^{η}, Z_{t}^{η}), {\bar{π}}_{β}) \end{matrix}$ (30)

将证明目标转化为控制(30)右边三项。对给定步长 $η > 0$ ，将时间轴划分为长度为 $T = ⌊ 1 / η ⌋$ 的区间。对(30)右边第一项，将比较连续插值过程的分布 $L ({\bar{θ}}_{n}^{η}, {\bar{V}}_{n}^{η})$ 与区间上由(13)定义过程的分布之间的距离，二者在区间起点上具有相同初始分布。对(30)右式第二、三项的控制主要依赖于 [7] 中收缩估计的结果。

定理4.6 若假设2.1~2.5成立，且 $0 < η \leq η_{\max}$ ，则，

$W_{2} (L ({\bar{θ}}_{t}^{η}, {\bar{V}}_{t}^{η}), L ({\bar{ζ}}_{t}^{η, n}, {\bar{Z}}_{t}^{η, n})) \leq C_{1} η^{1 / 2}$

其中 $C_{1} = O (d^{1 / 2})$ 是有限常数，具体形式在证明中给出。

证明注意到由 $W_{2}$ 的定义，

$W_{2} (L ({\bar{θ}}_{t}^{η}, {\bar{V}}_{t}^{η}), L ({\bar{ζ}}_{t}^{η, n}, {\bar{Z}}_{t}^{η, n})) \leq E^{1 / 2} {| {\bar{θ}}_{t}^{η} - {\bar{ζ}}_{t}^{η, n} |}^{2} + E^{1 / 2} {| {\bar{V}}_{t}^{η} - {\bar{Z}}_{t}^{η, n} |}^{2}$ (31)

首先求(31)右式第一项的上界。由过程 ${\bar{θ}}_{t}^{η}$ 和 ${\bar{ζ}}_{t}^{η, n}$ 的定义，有

$| {\bar{θ}}_{t}^{η} - {\bar{ζ}}_{t}^{η, n} | \leq η \int_{n T}^{t} | {\bar{V}}_{⌊ s ⌋}^{η} - {\bar{Z}}_{s}^{η, n} | d s$

两边平方取期望，由于被积元素非负，因此

$\sup_{n T \leq u \leq t} E {| {\bar{θ}}_{u}^{η} - {\bar{ζ}}_{u}^{η, n} |}^{2} \leq η \int_{n T}^{t} E {| {\bar{V}}_{⌊ s ⌋}^{η} - {\bar{Z}}_{s}^{η, n} |}^{2} d s$ (32)

下面求 $E {| {\bar{V}}_{⌊ t ⌋}^{η} - {\bar{Z}}_{t}^{η, n} |}^{2}$ 的上界。对 $t \in [n T, (n + 1) T)$ ，由(11)~(13)及假设2.4，得到

$\begin{matrix} | {\bar{V}}_{⌊ t ⌋}^{η} - {\bar{Z}}_{t}^{η, n} | \leq | {\bar{V}}_{⌊ t ⌋}^{η} - {\bar{V}}_{t}^{η} | + | {\bar{V}}_{t}^{η} - {\bar{Z}}_{t}^{η, n} | \\ \leq | {\bar{V}}_{⌊ t ⌋}^{η} - {\bar{V}}_{t}^{η} | + η γ \int_{n T}^{t} | {\bar{V}}_{⌊ s ⌋}^{η} - {\bar{Z}}_{s}^{η, n} | d s + η \int_{n T}^{t} | H ({\bar{θ}}_{⌊ s ⌋}^{η}, X_{⌊ s ⌋ + 1}) - H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) | d s \\ + η | \int_{n T}^{t} H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) - h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) d s | + η \int_{n T}^{t} | h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) - h ({\bar{ζ}}_{s}^{η, n}) | d s \\ \leq | {\bar{V}}_{⌊ t ⌋}^{η} - {\bar{V}}_{t}^{η} | + η γ \int_{n T}^{t} | {\bar{V}}_{⌊ s ⌋}^{η} - {\bar{Z}}_{s}^{η, n} | d s + η L_{1} \int_{n T}^{t} | {\bar{θ}}_{⌊ s ⌋}^{η} - {\bar{ζ}}_{s}^{η, n} | d s \\ + η | \int_{n T}^{t} H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) - h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) d s | + η \int_{n T}^{t} | h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) - h ({\bar{ζ}}_{s}^{η, n}) | d s \end{matrix}$

由文献 [15] 引理B.4，得到 $E {| {\bar{V}}_{⌊ t ⌋}^{η} - {\bar{V}}_{t}^{η} |}^{2} \leq σ_{V} η$ ，其中 $σ_{V} = 4 η γ^{2} C_{v} + 4 η ({\tilde{L}}_{1} C_{θ} + {\tilde{C}}_{1}) + 4 γ β^{- 1} d$ 。故利用 $η T \leq 1$ ，得到

$\begin{matrix} E {| {\bar{V}}_{⌊ t ⌋}^{η} - {\bar{Z}}_{t}^{η, n} |}^{2} \leq 4 σ_{V} η + 4 η γ^{2} \int_{n T}^{t} E {| {\bar{V}}_{⌊ s ⌋}^{η} - {\bar{Z}}_{s}^{η, n} |}^{2} d s + 6 η L_{1}^{2} \int_{n T}^{t} E {| {\bar{θ}}_{⌊ s ⌋}^{η} - {\bar{ζ}}_{s}^{η, n} |}^{2} d s \\ + 6 η^{2} E {| \int_{n T}^{t} H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) - h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) d s |}^{2} + 6 η \int_{n T}^{t} E {| h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) - h ({\bar{ζ}}_{s}^{η, n}) |}^{2} d s \end{matrix}$

应用Grönwall不等式，注意 $η T \leq 1$ ，对 $t \in [n T, (n + 1) T)$ ，得到

$\begin{matrix} E {| {\bar{V}}_{⌊ t ⌋}^{η} - {\bar{Z}}_{t}^{η, n} |}^{2} \leq 4 c_{1} σ_{V} η + 6 c_{1} η L_{1}^{2} \int_{n T}^{t} E {| {\bar{θ}}_{⌊ s ⌋}^{η} - {\bar{ζ}}_{s}^{η, n} |}^{2} d s + 6 c_{1} η^{2} E {| \int_{n T}^{t} H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) - h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) d s |}^{2} \\ + 6 c_{1} η \int_{n T}^{t} E {| h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) - h ({\bar{ζ}}_{s}^{η, n}) |}^{2} d s \end{matrix}$ (33)

其中 $c_{1} = \exp (4 γ^{2})$ 。结合(32)和(33)，且由 $η T \leq 1$ ，得到

(34)

首先，求(34)右式第一项的上界。由于被积项非负，故

$\sup_{n T \leq s \leq t} \int_{n T}^{s} E {| {\bar{θ}}_{⌊ s^{'} ⌋}^{η} - {\bar{ζ}}_{s^{'}}^{η, n} |}^{2} d s' \leq \int_{n T}^{t} \sup_{n T \leq u \leq s^{'}} E {| {\bar{θ}}_{u}^{η} - {\bar{ζ}}_{u}^{η, n} |}^{2} d s^{'}$ (35)

然后，求(34)中第二项的上界。对任意 $j \in ℕ$ ，引入 $H_{n T}$ 可测事件：

$Z_{j}^{n T} : = {j \leq \sup_{n T \leq s < (n + 1) T} | {\bar{ζ}}_{s}^{η, n} | < j + 1}$ (36)

对 $s \in [n T, (n + 1) T)$ ，定义两个辅助随机过程：

${\tilde{W}}_{s}^{θ} : = H (θ, X_{⌊ s ⌋ + 1}) 1_{Z_{j}^{n T}}, {\hat{W}}_{s} : = H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) 1_{Z_{j}^{n T}} .$

由引理3.3，对任意固定的 $θ$ ，随机过程 ${\tilde{W}}_{s}^{θ}$ 满足

$M_{p}^{n T} ({\tilde{W}}^{θ}) \leq L_{1} j + L_{2} M_{p}^{n T} (X) + H_{*}, Γ_{p}^{n T} ({\tilde{W}}^{θ}) \leq 2 L_{2} Γ_{p}^{n T} ( X )$

因此，由引理3.4，我们可以将 $H_{n T}$ 可测随机过程 ${\bar{ζ}}_{s}^{η, n}$ 插入随机过程 ${\tilde{W}}_{s}^{θ}$ 中，即得到随机过程 ${\hat{W}}_{s}$ 满足

$M_{p}^{n T} (\hat{W}) \leq L_{1} j + L_{2} M_{p}^{n T} (X) + H_{*}, Γ_{p}^{n T} (\hat{W}) \leq 2 L_{2} Γ_{p}^{n T} ( X )$

对任意 $j \in ℕ$ ， $s \geq n T$ ，定义随机过程：

$W_{s}^{n T, j} : = (H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) - h_{n T, s} ({\bar{ζ}}_{s}^{η, n})) 1_{Z_{j}^{n T}}$

记 $W_{s} = W_{s}^{n T, j}$ ，显然对 $s \geq n T$ 有 $E [W_{s}^{n T, j} | H_{n T}] = 0$ 。下面估计定理3.2中的量 $M_{p} (W)$ ， $Γ_{p} (W)$ 。注意到，

$W_{s}^{n T, j} = {\hat{W}}_{s} - E [{\hat{W}}_{s} | H_{n T}]$ (37)

故由Minkowski不等式和(8)，得到

$\begin{matrix} M_{p}^{n T} (W) \leq 2 \sum_{i = 1}^{d} \sup_{n T \leq s < (n + 1) T} E^{1 / p} [{| {\hat{W}}_{s}^{i} |}^{p} G_{n T}] \\ \leq 2 (L_{1} j + L_{2} M_{p}^{n T} (X) + H_{*}) \end{matrix}$ (38)

且将(37)代入(8)，易得

$Γ_{p}^{n T} (W) = Γ_{p}^{n T} (\hat{W}) \leq 2 K_{2} Γ_{p}^{n T} (X)$ (39)

应用定理3.2，取 $r = 3$ ，则 $C^{'} (3) \leq 10$ ，且由(36)、(38)和(39)，得到

$\begin{array}{l} E^{1 / 2} [\sup_{n T \leq s < (n + 1) T} {| \int_{n T}^{s} [H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) - h_{n T, s} ({\bar{ζ}}_{s}^{η, n})] d s |}^{2} 1_{Z_{i}^{n T}} | H_{n T}] \\ \leq E^{1 / 3} [\sup_{n T \leq s < (n + 1) T} {| \int_{n T}^{s} [H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) - h_{n T, s} ({\bar{ζ}}_{s}^{η, n})] d s |}^{3} 1_{Z_{i}^{n T}} | H_{n T}] \\ \leq 2 C^{'} (3) \sqrt{T} [L_{1} j + L_{2} M_{3}^{n T} (X) + L_{2} Γ_{3}^{n T} (X) + H_{*}] 1_{Z_{i}^{n T}} \\ \leq 20 \sqrt{T} [L_{1} (1 + \sup_{n T \leq s < (n + 1) T} | {\bar{ζ}}_{s}^{η, n} |) + L_{2} M_{3}^{n T} (X) + L_{2} Γ_{3}^{n T} (X) + H_{*}] 1_{Z_{i}^{n T}} \end{array}$ (40)

由文献 [15] 引理3.3，有

$\sup_{n \in ℕ} \sup_{t \in (n T, (n + 1) T)} E {| {\bar{ζ}}_{t}^{η, n} |}^{2} \leq C_{ζ} : = 8 {(1 - 2 λ)}^{- 1} β^{- 1} γ^{- 2} (\int_{ℝ^{2 d}} V (θ, v) μ_{0} (d θ, d v) + 5 λ^{- 1} (d + A_{c}))$

故对(40)两边取期望，结合Minkowski不等式，得到

(41)

最后，求(34)中的第三项的上界。由引理4.5得到

$E [\int_{n T}^{\infty} {| h_{k, n T} ({\bar{ζ}}_{s^{'}}^{η, n}) - h ({\bar{ζ}}_{s^{'}}^{η, n}) |}^{2} d s^{'}] \leq 4 L_{2}^{2} {(Γ_{2}^{0} (X))}^{2}$ (42)

由(34)、(35)、(41)和(42)，且 $η T \leq 1$ ，最终得到

$\sup_{n T \leq u \leq t} E {| {\bar{θ}}_{u}^{η} - {\bar{ζ}}_{u}^{η, n} |}^{2} \leq 4 c_{1} σ_{V} η + 6 c_{1} η L_{1}^{2} \int_{n T}^{t} \sup_{n T \leq u \leq s^{'}} E {| {\bar{θ}}_{u}^{η} - {\bar{ζ}}_{u}^{η, n} |}^{2} d s^{'} + η (σ_{1} + σ_{2})$ (43)

其中

$\begin{array}{l} σ_{1} = 2400 c_{1} {[L_{1} (C_{ζ}^{1 / 2} + 1) + L_{2} E^{1 / 2} [{(M_{3}^{n T})}^{2}] + L_{2} E^{1 / 2} [{(Γ_{3}^{n T})}^{2}] + H_{*}]}^{2} \\ σ_{2} = 12 c_{1} L_{2} Γ_{2}^{0} ( X ) \end{array}$

再次应用Grönwall不等式，且由 $η T \leq 1$ ，得到

$\sup_{n T \leq u \leq t} E {| {\bar{θ}}_{u}^{η} - {\bar{ζ}}_{u}^{η, n} |}^{2} \leq \exp (6 c_{1} L_{1}^{2}) (4 c_{1} σ_{V} + σ_{1} + σ_{2}) η$ (44)

故

$E^{1 / 2} {| {\bar{θ}}_{u}^{η} - {\bar{ζ}}_{u}^{η, n} |}^{2} \leq C_{1, 1} η^{1 / 2}$ (45)

其中 $C_{1, 1} : = \sqrt{\exp (6 c_{1} L_{1}^{2}) (4 c_{1} σ_{V} + σ_{1} + σ_{2})}$ 。注意到， $σ_{V} = O (d)$ 且 $σ_{1} = O (d)$ ，故 $C_{1, 1} = O (d^{1 / 2})$ 。

下面求(31)右式第二项的上界。由(11)中 ${\bar{V}}_{t}^{η}$ 的定义和(13)中 ${\bar{Z}}_{t}^{η, n}$ 的定义，有

$\begin{matrix} | {\bar{V}}_{t}^{η} - {\bar{Z}}_{t}^{η, n} | \leq | η γ \int_{n T}^{t} [{\bar{V}}_{⌊ s ⌋}^{η} - {\bar{Z}}_{s}^{η, n}] d s | + η | \int_{n T}^{t} [H ({\bar{θ}}_{⌊ s ⌋}^{η}, X_{⌊ s ⌋ + 1}) - h ({\bar{ζ}}_{s}^{η, n})] d s | \\ \leq η γ \int_{n T}^{t} | {\bar{V}}_{⌊ s ⌋}^{η} - {\bar{Z}}_{s}^{η, n} | d s + η \int_{n T}^{t} | H ({\bar{θ}}_{⌊ s ⌋}^{η}, X_{⌊ s ⌋ + 1}) - H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) | d s \\ + η | \int_{n T}^{t} H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) - h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) d s | + η \int_{n T}^{t} | h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) - h ({\bar{ζ}}_{s}^{η, n}) | d s \end{matrix}$

类似地，由前面的讨论及 $η T \leq 1$ ，得到

$\begin{matrix} E {| {\bar{V}}_{t}^{η} - {\bar{Z}}_{t}^{η, n} |}^{2} \leq 2 η γ^{2} \int_{n T}^{t} E {| {\bar{V}}_{⌊ s ⌋}^{η} - {\bar{Z}}_{s}^{η, n} |}^{2} d s + 6 η \int_{n T}^{t} E {| H ({\bar{θ}}_{⌊ s ⌋}^{η}, X_{⌊ s ⌋ + 1}) - H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) |}^{2} d s \\ + 6 η^{2} E {| \int_{n T}^{t} H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) - h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) d s |}^{2} + 6 η \int_{n T}^{t} E {| h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) - h ({\bar{ζ}}_{s}^{η, n}) |}^{2} d s \\ \leq 2 η γ^{2} \int_{n T}^{t} E {| {\bar{V}}_{⌊ s ⌋}^{η} - {\bar{Z}}_{s}^{η, n} |}^{2} d s + 6 η L_{1}^{2} \int_{n T}^{t} E {| {\bar{θ}}_{⌊ s ⌋}^{η} - {\bar{ζ}}_{s}^{η, n} |}^{2} d s \\ + 6 η^{2} E {| \int_{n T}^{t} H ({\bar{ζ}}_{s}^{η, n}, X_{⌊ s ⌋ + 1}) - h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) d s |}^{2} + 6 η \int_{n T}^{t} E {| h_{k, n T} ({\bar{ζ}}_{s}^{η, n}) - h ({\bar{ζ}}_{s}^{η, n}) |}^{2} d s \\ \leq 2 η γ^{2} \int_{n T}^{t} E {| {\bar{V}}_{⌊ s ⌋}^{η} - {\bar{Z}}_{s}^{η, n} |}^{2} d s + 6 η L_{1}^{2} \int_{n T}^{t} E {| {\bar{θ}}_{⌊ s ⌋}^{η} - {\bar{ζ}}_{s}^{η, n} |}^{2} d s + (σ_{1} + σ_{2}) η \end{matrix}$ (46)

(46)右边关于t是递增的，故由(44)和 $η T \leq 1$ ，得到

$\begin{matrix} \sup_{n T \leq u \leq t} E {| {\bar{V}}_{u}^{η} - {\bar{Z}}_{u}^{η, n} |}^{2} \leq 2 η γ^{2} \int_{n T}^{t} \sup_{n T \leq u \leq s} E {| {\bar{V}}_{u}^{η} - {\bar{Z}}_{u}^{η, n} |}^{2} d s + 6 η L_{1}^{2} \int_{n T}^{t} \sup_{n T \leq u \leq s} E {| {\bar{θ}}_{u}^{η} - {\bar{ζ}}_{u}^{η, n} |}^{2} d s + (σ_{1} + σ_{2}) η \\ \leq 2 η γ^{2} \int_{n T}^{t} \sup_{n T \leq u \leq s} E {| {\bar{V}}_{u}^{η} - {\bar{Z}}_{u}^{η, n} |}^{2} d s + (6 L_{1}^{2} \exp (6 c_{1} L_{1}^{2}) (4 c_{1} σ_{V} + σ_{1} + σ_{2}) + σ_{1} + σ_{2}) η \end{matrix}$

应用Grönwall不等式，且由 $η T \leq 1$ ，得到

$\sup_{n T \leq u \leq t} E {| {\bar{V}}_{u}^{η} - {\bar{Z}}_{u}^{η, n} |}^{2} \leq \exp (2 γ^{2}) (6 L_{1}^{2} \exp (6 c_{1} L_{1}^{2}) (4 c_{1} σ_{V} + σ_{1} + σ_{2}) + σ_{1} + σ_{2}) η$

故

$E^{1 / 2} {| {\bar{θ}}_{u}^{η} - {\bar{ζ}}_{u}^{η, n} |}^{2} \leq C_{1, 1} η^{1 / 2}$ (47)

其中 $C_{1, 2} : = \sqrt{\exp (2 γ^{2}) [(6 L_{1}^{2} \exp (6 c_{1} L_{1}^{2}) (4 c_{1} σ_{V} + σ_{1} + σ_{2}) + σ_{1} + σ_{2})]}$ ，且 $C_{1, 2} = O (d^{1 / 2})$ 。

最后，由(31)、(45)和(47)，得到

$W_{2} (L ({\bar{θ}}_{t}^{η}, {\bar{V}}_{t}^{η}), L ({\bar{ζ}}_{t}^{η, n}, {\bar{Z}}_{t}^{η, n})) \leq C_{1} η^{1 / 2}$

其中 $C_{1} = C_{1, 1} + C_{1, 2}$ ，且 $C_{1} = O (d^{1 / 2})$ 。

定理4.7 (文献 [7] 推论2.6) 若假设2.1~2.5成立，且欠阻尼Langevin随机微分方程 $(θ_{t}, V_{t})$ 和 $({θ^{'}}_{t}, {V^{'}}_{t})$ 的分布分别开始于 $(θ_{0}, V_{0}) ~ μ_{0}$ 和 $({θ^{'}}_{0}, {V^{'}}_{0}) ~ ν_{0}$ ，则，存在常数 $\dot{c}, \dot{C} \in (0, \infty)$ 使得

$W_{2} (L (θ_{t}, V_{t}), L ({θ^{'}}_{t}, {V^{'}}_{t})) \leq \sqrt{\dot{C}} e^{- \dot{c} t / 2} \sqrt{W_{ρ} (μ_{0}, ν_{0})}$

其中常数 $\dot{c} = O (e^{- d})$ ， $\dot{C} = O (e^{d})$ 分别由文献 [7] 定理2.3和推论2.6给出， $W_{ρ}$ 由文献 [7] 中式(2.12)定义。

定理4.8 若假设2.1~2.5成立，且 $0 < η \leq η_{\max}$ ，则

$W_{2} (L ({\bar{ζ}}_{t}^{η, n}, {\bar{Z}}_{t}^{η, n}), L (ζ_{t}^{η}, Z_{t}^{η})) \leq C_{2} η^{1 / 4}$

其中 $C_{2} = O (e^{d} d^{3 / 2})$ ，具体形式在证明中给出。

证明类似文献 [15] 定理4.2的证明，由定理4.7和文献 [7] 引理5.4，得到

$\begin{array}{l} W_{2} (L ({\bar{ζ}}_{t}^{η, n}, {\bar{Z}}_{t}^{η, n}), L (ζ_{t}^{η}, Z_{t}^{η})) \\ \leq \sqrt{3 \max {1 + α, γ^{- 1}} \dot{C}} \sum_{k = 1}^{n} e^{- η \dot{c} (t - k T) / 2} \sqrt{1 + ε E^{1 / 2} [V^{2} (θ_{k T}^{η}, V_{k T}^{η})] + ε E^{1 / 2} [V^{2} ({\bar{ζ}}_{k T}^{η, (k - 1) T}, {\bar{Z}}_{k T}^{η, (k - 1) T})]} \\ \times \sqrt{W_{2} (L (θ_{k T}^{η}, V_{k T}^{η}), L ({\bar{ζ}}_{k T}^{η, (k - 1) T}, {\bar{Z}}_{k T}^{η, (k - 1) T}))} \end{array}$

其中常数 $α$ 由文献 [7] 定理2.3给出。

注意 $({\bar{ζ}}_{k}^{η, k - 1}, {\bar{Z}}_{k}^{η, k - 1})$ 初值为 $({\bar{θ}}_{(k - 1) T}^{η}, {\bar{V}}_{(k - 1) T}^{η})$ ，且 $L (θ_{n T}^{η}, V_{n T}^{η}) = L ({\bar{θ}}_{n T}^{η}, {\bar{V}}_{n T}^{η})$ ，因此由引理4.3，得到

$E [V^{2} ({\bar{ζ}}_{k}^{η, k - 1}, {\bar{Z}}_{k}^{η, k - 1})] \leq E [V^{2} (θ_{n T}^{η}, V_{n T}^{η})] + \frac{4 D}{γ λ} \leq E [V^{2} (θ_{0}, V_{0})] + \frac{8 D}{γ λ}$

故由引理4.3和定理4.6，得到

$W_{2} (L ({\bar{ζ}}_{t}^{η, n}, {\bar{Z}}_{t}^{η, n}), L (ζ_{t}^{η}, Z_{t}^{η})) \leq \sqrt{3 \max {1 + α, γ^{- 1}} \dot{C} C_{1} (1 + ε (C_{2, 1} + C_{2, 2}))} \sum_{k = 1}^{n} e^{- η \dot{c} (t - k T) / 2} η^{1 / 4}$

其中

$C_{2, 1} : = E^{1 / 2} [V^{2} (θ_{0}, v_{0})] + 2 \sqrt{\frac{D}{γ λ}}, C_{2, 2} : = E^{1 / 2} [V^{2} (θ_{0}, v_{0})] + 2 \sqrt{\frac{2 D}{γ λ}}$

进一步计算，得到

$W_{2} (L ({\bar{ζ}}_{t}^{η, n}, {\bar{Z}}_{t}^{η, n}), L (ζ_{t}^{η}, Z_{t}^{η})) \leq \sqrt{3 \max {1 + α, γ^{- 1}} \dot{C} C_{1} (1 + ε (C_{2, 1} + C_{2, 2}))} \frac{e^{- η \dot{c} (t - n T) / 2}}{1 - e^{- η \dot{c} T / 2}} η^{1 / 4} \leq C_{2} η^{1 / 4}$

其中 $C_{2} : = \sqrt{3 \max {1 + α, γ^{- 1}} \dot{C} C_{1} (1 + ε (C_{2, 1} + C_{2, 2}))} / (1 - e^{- \dot{c} / 2})$ ，且 $C_{2} = O (e^{d / 2} d^{3 / 4})$ 。

定理3.5的证明由定理4.6、定理4.7和定理4.8及(30)，有

$W_{2} (L ({\bar{θ}}_{t}^{η}, {\bar{V}}_{t}^{η}), {\bar{π}}_{β}) \leq C_{1} η^{1 / 2} + C_{2} η^{1 / 4} + \sqrt{\dot{C} W_{ρ} (μ_{0}, ν_{0})} e^{- \dot{c} η t / 2}$

注意到，对任意 $n \in ℕ$ ， $L (θ_{n}^{η}, V_{n}^{η}) = L ({\bar{θ}}_{n}^{η}, {\bar{V}}_{n}^{η})$ ，故

$W_{2} (L (θ_{n}^{η}, V_{n}^{η}), {\bar{π}}_{β}) \leq C_{1} η^{1 / 2} + C_{2} η^{1 / 4} + C_{3} e^{- C_{4} η n}$

其中 $C_{3} : = \sqrt{\dot{C} W_{ρ} (μ_{0}, ν_{0})}$ ， $C_{4} : = \dot{c} / 2$ 。特别地， $C_{3} = O (e^{d / 2})$ ， $C_{4} = O (e^{- d})$ 。

5. 结语

本文研究了非凸优化问题中近似采样SGHMC算法的非渐进估计。SGHMC算法是随机梯度下降算法的一个变体，该算法结合了随机梯度下降算法和哈密尔顿蒙特卡罗算法的思想，一方面通过使用随机样本帮助算法逃离局部极小值从而实现算法的全局收敛，另一方面通过引入哈密尔顿动力学思想在参数空间中模拟粒子的运动从而进行高效采样。通常的研究认为样本数据是独立的，然而实际的数据往往存在相关性。本文放宽了对数据流独立性的限制，在损失函数U非凸的情形下，以耗散性条件放宽损失函数强凸的假设，分析了全局Lipschitz条件下样本数据满足条件L混合性质时SGHMC算法的迭代分布与目标分布 $π_{β}$ 之间Wassertein距离的上界，得到SGHMC算法收敛到其目标分布的速度为 $η^{1 / 2}$ ，这一工作将SGHMC算法的收敛结果推广到了相关数据流的情形，说明了在样本数据独立性失效的情况下SGHMC算法的收敛性仍旧成立，从而拓宽了SGHMC算法的应用场景。研究的关键思想是将时间轴划分为长度依赖于步长 $η$ 的等长区间，在此之上定义合适的辅助连续时间过程，从而将证明目标进行拆解，通过比较SGHMC算法与所定义的辅助过程之间的距离，并利用一个收缩估计的结论得到辅助过程与目标分布之间的距离，从而得到SGHMC算法的迭代分布与目标分布 $π_{β}$ 之间的Wasserstein距离上界，其中条件L混合的概念及其相关矩不等式的引入为算法迭代分布与辅助过程之间距离的有界性提供了保障。本文的研究拓宽SGHMC算法的应用范围限制，进一步可以在算法本身的结构上进行优化和改造，以提高算法的效率，另外还可以考虑将该算法应用于实际场景中，通过数值实验来检验算法性能。

文章引用

杨金圆,胡良剑. 关于相关数据流的随机梯度哈密尔顿蒙特卡罗算法的非渐近估计
Non-Asymptotic Estimates for Stochastic Gradient Hamiltonian Monte Carlo Algorithm with Dependent Data Streams[J]. 应用数学进展, 2024, 13(02): 569-583. https://doi.org/10.12677/AAM.2024.132055

参考文献

1. Raginsky, M., Rakhlin, A. and Telgarsky, M. (2017) Non-Convex Learning via Stochastic Gradient Langevin Dynamics: A Nonasymptotic Analysis. Conference on Learning Theory, 65, 1674-1703.

2. Hwang, C.R. (1980) Laplace’s Method Revisited: Weak Convergence of Probability Measures. The Annals of Probability, 8, 1177-1182. https://doi.org/10.1214/aop/1176994579

3. Chiang, T.S., Hwang, C.R. and Sheu, S.J. (1987) Diffusion for Global Optimization in . SIAM Journal on Control and Optimization, 25, 737-753. https://doi.org/10.1137/0325042

4. Welling, M. and Teh, Y.W. (2011) Bayesian Learning via Stochastic Gradient Langevin Dynamics. Proceedings of the 28th International Conference on Machine Learning (ICML-11), Bellevue, Washington, 28 June 2011, 681-688.

5. Chen, T., Fox, E. and Guestrin, C. (2014) Stochastic Gradient Hamiltonian Monte Carlo. International Conference on Machine Learning, Bejing, 22-24 June 2014, 1683-1691.

6. Chau, H.N. and Rasonyi, M. (2022) Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Learning. Stochastic Processes and Their Applications, 149, 341-368. https://doi.org/10.1016/j.spa.2022.04.001

7. Eberle, A., Guillin, A. and Zimmer, R. (2019) Couplings and Quantitative Contraction Rates for Langevin Dynamics. The Annals of Probability, 47, 1982-2010. https://doi.org/10.1214/18-AOP1299

8. Chau, N.H., Moulines, É., Rásonyi, M., Sabanis, S. and Zhang, Y. (2021) On Stochastic Gradient Langevin Dynamics with Dependent Data Streams: The Fully Nonconvex Case. SIAM Journal on Mathematics of Data Science, 3, 959-986. https://doi.org/10.1137/20M1355392

9. Majka, M.B., Mijatović, A. and Szpruch, Ł. (2020) Nonasymptotic Bounds for Sampling Algorithms without Log-Concavity. The Annals of Applied Probability, 30, 1534-1581. https://doi.org/10.1214/19-AAP1535

10. Cont, R. (2001) Empirical Properties of Asset Returns: Stylized Facts and Statistical Issues. Quantitative Finance, 1, 223-226. https://doi.org/10.1080/713665670

11. Gao, X., Gürbüzbalaban, M. and Zhu, L. (2022) Global Convergence of Stochastic Gradient Hamiltonian Monte Carlo for Non-convex Stochastic Optimization: Nonasymptotic Performance Bounds and Momentum-Based Acceleration. Operations Research, 70, 2931-2947. https://doi.org/10.1287/opre.2021.2162

12. Gerencsér, L. (1989). On a Class of Mixing Processes. Stochastics: An International Journal of Probability and Stochastic Processes, 26, 165-191. https://doi.org/10.1080/17442508908833555

13. Chau, H.N., Kumar, C., Rásonyi, M. and Sabanis, S. (2019) On Fixed Gain Recursive Estimators with Discontinuity in the Parameters. ESAIM: Probability and Statistics, 23, 217-244. https://doi.org/10.1051/ps/2018019

14. Barkhagen, M., Chau, N.H., Moulines, É., Rásonyi, M., Sabanis, S. and Zhang, Y. (2021) On Stochastic Gradient Langevin Dynamics with Dependent Data Streams in the Logconcave Case. Bernoulli, 27, 1-33. https://doi.org/10.3150/19-BEJ1187

15. Akyildiz, Ö.D. and Sabanis, S. (2020) Nonasymptotic Analysis of Sto-chastic Gradient Hamiltonian Monte Carlo under Local Conditions for Nonconvex Optimization.

NOTES

^*通讯作者。

期刊菜单