上海理工大学，上海

收稿日期：2021年3月20日；录用日期：2021年4月22日；发布日期：2021年4月30日

摘要

本文研究了具有状态切换的二人零和随机微分对策，主要结果是在倒向随机微分方程框架下具有状态切换的二人零和随机微分对策的动态规划原理。

关键词

随机微分对策，倒向随机微分方程，动态规划原理，状态切换

Dynamic Programming Principles for Two-Player Zero-Sum Stochastic Differential Games with Regime Switching

Junyao Li

University of Shanghai and Technology, Shanghai

Received: Mar. 20^th, 2021; accepted: Apr. 22^nd, 2021; published: Apr. 30^th, 2021

ABSTRACT

In this paper, we study dynamic programming principles for two-player zero-sum stochastic differential games with regime switching. The main results of this paper concern dynamic programming principles with the help of the theory of backward stochastic differential equations.

Keywords:Stochastic Differential Games, Backward Stochastic Differential Equations, Dynamic Programming Principles, Regime Switching

Copyright © 2021 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

自从Fleming和Souganidis [1] 的开创性工作以来，人们对随机微分对策进行了深入的研究。Buckdahn和Li [2] 利用倒向随机微分方程的方法考虑了具有非线性代价泛函的零和二人随机微分对策。由于具有表征各种随机事件的能力和易处理性，状态切换模型近年来受到人们的广泛关注。本文的主要结果是关于状态切换随机系统的二人零和随机微分对策的动态规划原理。

动态规划原则是解决最优控制问题最主要、也是最常用的方法之一，它意味着从今天来看的最优控制，在明天来看仍然是最优的，参见Fleming and Soner [3] 和Yong and Zhou [4]。该方法的基本思想是考虑一系列具有不同初始状态的最优控制问题，通过所谓的Hamilton-Jacobi-Bellman方程建立这些问题之间的联系。

本文的组织结构如下。在第2节中，我们将介绍一些符号和基本知识。在后文中将用到。在第三节中，我们将介绍动态规划原理。在第4节中，我们将讨论本文给出的结果的一些可能的应用。

2. 准备工作

设 $\left(\Omega ,\mathcal{F},\mathbb{P}\right)$ 是一个固定概率空间，其上定义了d维布朗运动 ${\left\{B_s\right\}}_{s\in \left[0,T\right]}$ 和马氏链 ${\left\{{\theta }_s\right\}}_{s\in \left[0,T\right]}$，其中 $\Omega$ 是从 $\left[0,T\right]$ 到 ${\text{R}}^d$ 的连续函数的集合，从0开始 $\left(\Omega =C_0\left(\left[0,T\right],{\text{R}}^d\right)\right)$，$\mathcal{F}$ 是 $\Omega$ 上完备的Borel $\sigma$ -代数，P是维纳测度。这里我们假设 $\mathcal{F}={\left({\mathcal{F}}_s\right)}_{s\in \left[0,T\right]}$，其中 ${\mathcal{F}}_s\triangleq {\mathcal{F}}_s^{\theta }\vee {\mathcal{F}}_s^B$。令 ${\left({\mathcal{F}}_s^B\right)}_{s\in \left[0,T\right]}$ 表示布朗运动 ${\left\{B_s\right\}}_{s\in \left[0,T\right]}$ 产生的过滤。且 ${\left({\mathcal{F}}_s^{\theta }\right)}_{s\in \left[0,T\right]}$ 表示马氏链 ${\left\{{\theta }_s\right\}}_{s\in \left[0,T\right]}$ 生成的过滤。假设B和 ${\theta }_{\cdot }$ 是独立的。马氏链 ${\left\{{\theta }_s\right\}}_{s\in \left[0,T\right]}$ 取有限状态空间 $\mathcal{M}=\left\{1,\cdots ,m\right\}$ 中的值，是可观测的。马氏链 ${\left\{{\theta }_s\right\}}_{s\in \left[0,T\right]}$ 的生成元 $Q={\left(q_{ik}\right)}_{i,k\in \mathcal{M}}\in {\text{R}}^{m\times m}$ 由下式给出

$\text{P}\left({\theta }_{s+\delta }=k|{\theta }_s=i,s\in \left[0,T\right]\right)=\{\begin{array}{ll}{q}_{ik}\delta +\text{o}\left(\delta \right),\hfill & k\ne i,\hfill \\ 1+q_{ii}\delta +\text{o}\left(\delta \right),\hfill & k=i,\hfill \end{array}$

其中 $q_{ik}$ 是从市场机制i到k的切换概率，对于每个 $\left(i,k\right)\in \mathcal{M}\times \mathcal{M}$，$q_{ii}=-\underset{k\ne i}{\sum }{q}_{ik}<0$ 且 $q_{ik}\ge 0$。

我们将在倒向随机微分方程的框架下，在有限时间范围内研究一个具有切换的两人零和随机微分对策。随机微分对策的动态由下面随机微分方程描述：对于 $t\in \left[0,T\right]$，

(2.1)

其中 $T>0$ 为固定的有限时间范围， $\left(t,x,i\right)\in \left[0,T\right]\times {\text{R}}^n\times \mathcal{M}$ 视为初始状态， $\text{P}\left\{{\theta }_t^{t,i}=i\right\}=1$。 $X_t$ 是X在时间t的值， $\left(u,v\right)={\left(u_s,v_s\right)}_{s\in \left[t,T\right]}$ 是一对 ${\mathcal{F}}_t$ 适应的过程，它们在一些紧致度量空间U和V中取值，分别称为两个参与者I和II的容许控制。下面给出了系数 $b:\left[0,T\right]\times {\text{R}}^n\times \mathcal{M}\times U\times V\to {\text{R}}^n$ 和 $\sigma :\left[0,T\right]\times {\text{R}}^n\times \mathcal{M}\times U\times V\to {\text{R}}^{n\times d}$ 的精确假设。映射b和 $\sigma$ 满足下列条件：

(H2.1)

(i) 对于每一固定 $x\in {\text{R}}^n,i\in \mathcal{M}$，$b\left(\cdot ,x,i,\cdot ,\cdot \right)$ 和 $\sigma \left(\cdot ,x,i,\cdot ,\cdot \right)$ 是关于 $\left(t,u,v\right)$ 连续的；

(ii) 对于任意 $x,x^{\prime }\in {\text{R}}^n,i\in \mathcal{M}$ 和 $u\in U,v\in V$，存在一正的常数C使得，

$\left|b\left(t,x,i,u,v\right)-b\left(t,x^{\prime },i,u,v\right)\right|+\left|\sigma \left(t,x,i,u,v\right)-\sigma \left(t,x^{\prime },i,u,v\right)\right|\le C\left|x-x^{\prime }\right|.$

从(H2.1)我们能够得到b和 $\sigma$ 的局部增长条件即，存在 $C>0$ 使得，对于所有的 $0\le t\le T$，$u\in U$，$v\in V$，$x\in {\text{R}}^n$，$i\in \mathcal{M}$

$\left|b\left(t,x,i,u,v\right)\right|+\left|\sigma \left(t,x,i,u,v\right)\right|\le C\left(1+\left|x\right|\right).$

如果上述假设成立，对于任意 $u\in U$ 和 $v\in V$，控制系统(2.1)有唯一解 $\left\{X^{t,x,i;u,v},0\le t\le s\le T\right\}$。且我们有如下估计。

引理2.1. 在映射b和 $\sigma$ 的假设下，存在一常数 $C>0$ 使得，对于任意 $x,x^{\prime }\in {\text{R}}^n,i\in \mathcal{M}$ 和 $u\in U,v\in V$，

$\begin{array}{l}E\left\{\underset{t\le s\le T}{\sup }{\left|X_s^{t,x,i;u,v}\right|}^2|{\mathcal{F}}_t\right\}\le C\left(1+{\left|x\right|}^2\right),\text{P-}a.s.,\\ E\left\{\underset{t\le s\le T}{\sup }{\left|X_s^{t,x,i;u,v}-X_s^{t,x^{\prime },i;u,v}\right|}^2|{\mathcal{F}}_t\right\}\le C{\left|x-x^{\prime }\right|}^2,\text{P-}a.s.\end{array}$

玩家的成本泛函由倒向随机微分方程：

$Y_s^{t,x,i;u,v}=\Phi \left(X_T^{t,x,i;u,v},{\theta }_T^{t,i}\right)+{\displaystyle {\int }_s^{T}f}\left(r,X_r^{t,x,i;u,v},Y_r^{t,x,i;u,v},Z_r^{t,x,i;u,v},{\theta }_r^{t,i},u_r,v_r\right)\text{d}r-{\displaystyle {\int }_s^T{Z}_r^{t,x,i,u,v}}\text{d}{B}_r,s\in \left[t,T\right],$ (2.2)

给出，其中 $X^{t,x,i;u,v}$ 和 ${\theta }^{t,i}$ 是 给出的。上面的倒向随机微分方程有唯一一个解 ${\left(Y_s^{t,x,i;u,v},Z_s^{t,x,i;u,v}\right)}_{s\in \left[t,T\right]}$。

我们现在给出两个函数 $f:\left[0,T\right]\times {\text{R}}^n\times \text{R}\times {\text{R}}^d\times {\text{R}}^{m\times m}\times U\times V\to \text{R}$ 和端点成本函数 $\Phi :{\text{R}}^n\to \text{R}$ 满足下面条件：

(H2.2)

(i) 对于任意固定的 $\left(x,y,z,i\right)\in {\text{R}}^n\times \text{R}\times {\text{R}}^d\times \mathcal{M}$，$f\left(\cdot ,x,y,z,i,\cdot ,\cdot \right)$ 是关于 $\left(t,u,v\right)$ 连续的。

(ii) 存在 $C>0$ 使得，对于所有 $t\in \left[0,T\right]$，$x,x^{\prime }\in {\text{R}}^n$，$y,y^{\prime }\in \text{R}$，$z,z^{\prime }\in {\text{R}}^d$，$i\in \mathcal{M}$，$u\in U$ 和 $v\in V$，

$\left|f\left(t,x,y,z,i,u,v\right)-f\left(t,x^{\prime },y^{\prime },z^{\prime },i,u,v\right)\right|\le C\left(\left|x-x^{\prime }\right|+\left|y-y^{\prime }\right|+\left|z-z^{\prime }\right|\right).$

(iii) 存在 $C>0$ 使得，对于所有的 $x,x^{\prime }\in {\text{R}}^n$，$i\in \mathcal{M}$

$\left|\Phi \left(x,i\right)-\Phi \left(x^{\prime },i\right)\right|\le C\left|x-x^{\prime }\right|.$

在上面的条件下，我们有如下估计。

引理2.2. 对于所有的 $t\in \left[0,T\right]$，$i\in \mathcal{M}$，$u\in U$ 和 $v\in V$，存在一常数 $C>0$ 使得，

(2.3)

现在，我们介绍容许控制和容许策略。令 $t_1,t_2$ 是两个确定时间，且 $0\le t_1\le t_2\le T$。

定义2.3. 对于玩家I (或者，player II)在时间 $\left[t,T\right]$ 上取值于 $U_{t,T}$ (或者， $V_{t,T}$ )的容许控制过程 $u=\left\{u\left(s,\omega \right):s\in \left[t_1,t_2\right]\right\}$ (或者， $v=\left\{v\left(s,w\right):s\in \left[t_1,t_2\right]\right\}$ )关于滤波 $\mathcal{F}$ 是循序可测的。

在时间 $\left[t_1,t_2\right]$ 上对于玩家I (或者，玩家II)的所有容许控制被定义为 $U_{t_1,t_2}$ (或者， $V_{t_1,t_2}$ )。

定义2.4.在时间 $\left[t,T\right]$ 上玩家Ⅰ的非预测性策略是一映射 $\alpha :V\to U$ 使得，对于任意 ${\mathcal{F}}_t$ -停时S和任意的 $v,v^{\prime }\in V_{t,T}$，如果在 $〚t,S〛$ 上 $v\equiv v^{\prime }$ (符号 $〚t,S〛=\left\{\left(s,\omega \right)\in \left[0,T\right]\times \Omega ,t\le s\le S\left(\omega \right)\right\}$ )。同理，我们可以定义在 $\left[t,T\right]$ 上玩家II的非预测性策略 $\beta :U_{t,T}\to V_{t,T}$。

在时间 $\left[t,T\right]$ 上对于玩家I (或者，玩家II)的所有非预测性策略被定义为 ${\mathcal{A}}_{t,T}$ (或者， ${\mathcal{B}}_{t,T}$ )。

对于给定的控制过程 $u\in U_{t,T}$ 和 $v\in V_{t,T}$，我们定义相关的成本泛函

$J\left(t,x,i;u,v\right)=E\left[Y_t^{t,x,i;u,v}|{\mathcal{F}}_t\right],\left(t,x,i\right)\in \left[0,T\right]\times {\text{R}}^n\times \mathcal{M},$

其中， $Y^{t,x,i;u,v}$ 是由倒向随机微分方程 定义的。在对策中，我们分别定义下值函数W和上值函数U，

$W\left(t,x,i\right)=\underset{\beta \in {\mathcal{B}}_{t,T}}{\text{essinf}}\underset{u\in U_{t,T}}{\text{esssup}}J\left(t,x,i;u,\beta \left(u\right)\right),$

和

$U\left(t,x,i\right)=\underset{\alpha \in {\mathcal{A}}_{t,T}}{\text{esssup}}\underset{v\in V_{t,T}}{\text{essinf}}J\left(t,x,i;\alpha \left(v\right),v\right).$

上面的引理在 [5] 中已经被证明，只是随机微分对策的情况有一些差异。因此，参考 [5] 在本文的框架中，很容易得到上述结果。

引理2.5. 在假设(H2.1)和(H2.2)下，对于所有 $\left(t,x,i\right)\in \left[0,T\right]\times {\text{R}}^n\times \mathcal{M}$，值函数 $W\left(t,x,i\right)$ 和 $U\left(t,x,i\right)$ 是确定性函数。

引理2.6. 在假设(H2.1)和(H2.2)下，对于所有 $\left(t,x,i\right)\in \left[0,T\right]\times {\text{R}}^n\times \mathcal{M}$ 和 $x,x^{\prime }\in {\text{R}}^n$，我们有

$\left|W\left(t,x,i\right)\right|\le C\left(1+\left|x\right|\right).$

$\left|W\left(t,x,i\right)-W\left(t^{\prime },x,i\right)\right|\le C\left(1+\left|x\right|\right){\left|t-t^{\prime }\right|}^{\frac{1}{2}},$

$\left|W\left(t,x,i\right)-W\left(t,x^{\prime },i\right)\left|\le C\right|x-x^{\prime }\right|,$

对于函数U相同性质成立。

3. 动态规划原理

现在我们引入倒向随机半群，对于给定的初始状态 $\left(t,x,i\right)$，我们定义了一个正数 $\delta \le T-t$，对于允许的控制过程 $u(\cdot )\in U_{t,t+\delta }$ 和 $v(\cdot )\in V_{t,t+\delta }$，以及一个实值随机变量 $\eta \in \left(\Omega ,{\mathcal{F}}_{t+\delta },\text{P};\text{R}\right)$，我们定义

$G_{t,t+\delta }^{t,x,i;u,v}\left[\eta \right]={\overline{Y_t}}^{t,x,i;u,v}$

其中， ${\left({\bar{Y}}_s^{t,\xi ,i;u,v},{\bar{Z}}_s^{t,\xi ,i;u,v}\right)}_{s\in \left[t,t+\delta \right]}$ 是下面倒向随机微分方程在端点时刻 $t+\delta$ 的解，

${\bar{Y}}_s^{t,x,i;u,v}=\eta +{\displaystyle {\int }_s^{t+\delta }f}\left(r,X_r^{t,\xi ,i;u,v},{\bar{Y}}_r^{t,\xi ,i;u,v},{\bar{Z}}_r^{t,\xi ,i;u,v},{\theta }_r^{t,i},u_r,v_r\right)\text{d}r-{\displaystyle {\int }_s^{t+\delta }{\bar{Z}}_r^{t,\xi ,i;u,v}}\text{d}{B}_r,\text{P-}a.s.,s\in \left[t,t+\delta \right],$

且 $X^{t,x,i;u,v}$ 是随机微分方程(2.1)的解。根据倒向随机微分方程解的唯一性，我们得到倒向随机微分方程(2.2)的解 $Y^{t,x,i;u,v}$ 满足

$\begin{array}{c}J\left(t,x,i;u,v\right)=E\left[Y_t^{t,x,i;u,v}|{\mathcal{F}}_t\right]=E\left[G_{t,T}^{t,x,i;u,v}\left[\Phi \left(X_T^{t,x,i;u,v},{\theta }_T^{t,i}\right)\right]|{\mathcal{F}}_t\right]\\ =E\left[G_{t,t+\delta }^{t,x,i;u,v}\left[Y_{t+\delta }^{t,x,i;u,v}\right]|{\mathcal{F}}_t\right]=E\left[G_{t,t+\delta }^{t,x,i;u,v}\left[E\left[Y_{t+\delta }^{t,x,i;u,v}|{\mathcal{F}}_{t+\delta }\right]\right]|{\mathcal{F}}_t\right]\\ =E\left[G_{t,t+\delta }^{t,x,i;u,v}\left[J\left(t+\delta ,X_{t+\delta }^{t,x,i;u,v},{\theta }_{t+\delta }^{t,i};u,v\right)\right]|{\mathcal{F}}_t\right].\end{array}$

我们现在介绍具有状态切换的随机微分对策的值函数的动态规划原理。

命题3.1. 在假设(H2.1)和(H2.2)下，下面动态规划原理成立：对于所有 $0<\delta \le T-t$，$x\in {\text{R}}^n$，$i\in \mathcal{M}$，

$U\left(t,x,i\right)=\underset{\alpha \in {\mathcal{A}}_{t,t+\delta }}{\text{esssup}}\underset{v\in V_{t,t+\delta }}{\text{essinf}}E\left[G_{t,t+\delta }^{t,x,i;\alpha \left(v\right),v}\left[U\left(t+\delta ,X_{t+\delta }^{t,x,i;\alpha \left(v\right),v},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right],$

和

$W\left(t,x,i\right)=\underset{\beta \in {\mathcal{B}}_{t,t+\delta }}{\text{essinf}}\underset{u\in U_{t,t+\delta }}{\text{esssup}}E\left[G_{t,t+\delta }^{t,x,i;u,\beta \left(u\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u,\beta \left(u\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right].$

证明：令

$W_{\delta }\left(t,x,i\right)=\underset{\beta \in {\mathcal{B}}_{t,t+\delta }}{\text{essinf}}\underset{u\in U_{t,t+\delta }}{\text{esssup}}E\left[G_{t,t+\delta }^{t,x,i;u,\beta \left(u\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u,\beta \left(u\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right].$

我们将 $W_{\delta }\left(t,x,i\right)$ 与 $W\left(t,x,i\right)$ 相吻合的证明分几个步骤进行证明。

第一步.令 $\beta \in {\mathcal{B}}_{t,T}$ 是任意固定的，则给定 $u_2\in U_{t+\delta ,T}$，我们定义 $\beta$ 在 $U_{t,t+\delta }$ 的限制 ${\beta }_1$ 如下：

${\beta }_1\left(u_1\right)=\beta \left(u_1\oplus u_2\right){|}_{\left[t,t+\delta \right]},u_1\in U_{t,t+\delta },$

其中 $u_1\oplus u_2=u_1{\chi }_{\left[t,t+\delta \right]}+u_2{\chi }_{\left(t+\delta ,T\right]}$ 将 $u_1$ 扩展为 $U_{t,T}$ 中的一个元素。显然， ${\beta }_1\in {\mathcal{B}}_{t,t+\delta }$。且从 $\beta$ 的非预测性性质，我们得到 ${\beta }_1$ 独立于 $u_2\in U_{t+\delta ,T}$ 的特殊选择。因此，从 $W_{\delta }\left(t,x,i\right)$ 的定义得

$W_{\delta }\left(t,x,i\right)\le \underset{u_1\in U_{t,t+\delta }}{\text{esssup}}E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1\left(u_1\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1,{\beta }_1\left(u_1\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right],$

令 ${\mathcal{I}}_{\delta }\left(t,x,i;u,v\right)=E\left[G_{t,t+\delta }^{t,x,i;u,v}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u,v},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right]$ 且对于一些序列 $\left\{u_l^1,l\ge 1\right\}\subset U_{t,t+\delta }$ 使得，

${\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_1\right)=\underset{u_1\in U_{t,t+\delta }}{\text{esssup}}{\mathcal{I}}_{\delta }\left(t,x,i;u_1,{\beta }_1\left(u_1\right)\right)=\underset{l\ge 1}{\sup }{\mathcal{I}}_{\delta }\left(t,x,i;u_l^1,{\beta }_1\left(u_l^1\right)\right),\text{P-}a.s.$

令 $ϵ>0$ 且设 ${\tilde{\Gamma }}_l=\left\{{\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_1\right)\le {\mathcal{I}}_{\delta }\left(t,x,i;u_l^1,{\beta }_1\left(u_l^1\right)\right)+ϵ\right\}\in {\mathcal{F}}_t,l\ge 1$。构造 ${\Gamma }_1={\tilde{\Gamma }}_1$，${\Gamma }_l={\tilde{\Gamma }}_l\setminus \left({\displaystyle \underset{k=1}{\overset{l-1}{\cup }}{\tilde{\Gamma }}_k}\right)\in {\mathcal{F}}_t,l\ge 2$，${\left\{{\Gamma }_l\right\}}_{l\ge 1}$ 是 $\left(\Omega ,{\mathcal{F}}_t\right)$ 的一分割，且 $u_1^{ϵ}=\underset{l\ge 1}{{\displaystyle \sum }}{\chi }_{{\Gamma }_l}{u}_l^1\in U_{t,t+\delta }$。此外，从 ${\beta }_1$ 的非预测性，我们得到 ${\beta }_1\left(u_1^{ϵ}\right)=\underset{l\ge 1}{\sum }{\chi }_{{\Gamma }_l}{\beta }_1\left(u_l^1\right)$。由倒向随机微分方程的存在性和唯一性，得到对于 ${\beta }_1\in {\mathcal{B}}_{t,t+\delta }$，

因此，

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)\le {\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_1\right)\\ \le \underset{l\ge 1}{\sum }{\chi }_{{\Gamma }_l}{\mathcal{I}}_{\delta }\left(t,x,i;u_l^1,{\beta }_1\left(u_l^1\right)\right)+ϵ\\ ={\mathcal{I}}_{\delta }\left(t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)\right)+ϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right]+ϵ,\text{P-}a.s.\end{array}$ (3.1)

我们现在关注区间 $\left[t+\delta ,T\right]$，借助 ${\beta }_1(\cdot )=\beta \left(\cdot \oplus u_2\right)\in {\mathcal{B}}_{t,t+\delta }$ 不依赖于 $u_2\in U_{t+\delta ,T}$，我们能定义 ${\beta }_2\left(u_2\right)=\beta \left(u_1^{ϵ}\oplus u_2\right){|}_{\left[t+\delta ,T\right]}$，对于任意 $u_2\in U_{t+\delta ,T}$，从 $\beta \in {\mathcal{B}}_{t,T}$ 可知， ${\beta }_2:U_{t+\delta ,T}\to V_{t+\delta ,T}$ 属于 ${\mathcal{B}}_{t+\delta ,T}$。因此，由 $W\left(t+\delta ,y,j\right)$ 的定义知，对于任意的 $\left(y,j\right)\in {\text{R}}^n\times \mathcal{M}$ 使得，

$W\left(t+\delta ,y,j\right)\le \underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,y,j;u_2,{\beta }_2\left(u_2\right)\right),\text{P-}a.s.$

从引理2.2和引理2.6，存在一常数 $C\in \text{R}$ 使得，对于任意 $u_2\in U_{t+\delta ,T}$，$y,y^{\prime }\in {\text{R}}^n$，

(i) $\left|W\left(t+\delta ,y,j\right)-W\left(t+\delta ,y^{\prime },j\right)\right|\le C\left|y-y^{\prime }\right|,$

(ii) $\left|J\left(t+\delta ,y,j;u_2,{\beta }_2\left(u_2\right)\right)-J\left(t+\delta ,y^{\prime },j;u_2,{\beta }_2\left(u_2\right)\right)\right|\le C\left|y-y^{\prime }\right|,\text{P-}a.s.$ (3.2)

我们通过近似 $X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)}$ 来表示构造，

$W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1(u_1^{ϵ})},{\theta }_{t+\delta }^{t,i}\right)\le \underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2,{\beta }_2\left(u_2\right)\right),\text{P-}a.s.$

为了估计上面不等式的右边，我们注意到存在一些序列 $\left\{u_k^2,k\ge 1\right\}\subset U_{t+\delta ,T}$ 使得

$\underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2,{\beta }_2\left(u_2\right)\right)=\underset{k\ge 1}{\sup }J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i},u_k^2,{\beta }_2\left(u_k^2\right)\right),\text{P-}a.s.$

令 $ϵ>0$ 且

$\begin{array}{l}{\widetilde{△}}_k=\{\underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2,{\beta }_2\left(u_2\right)\right)\\ \le J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_k^2,{\beta }_2\left(u_k^2\right)\right)+ϵ\}\in {\mathcal{F}}_{t+\delta },k\ge 1.\end{array}$

构造 ${△}_1={\widetilde{△}}_1,{△}_k={\widetilde{△}}_k\setminus \left({\displaystyle \underset{j=1}{\overset{k-1}{\cup }}{\widetilde{△}}_j}\right)\in {\mathcal{F}}_{t+\delta },k\ge 2$，${\left\{{△}_k\right\}}_{k\ge 1}$ 是 $\left(\Omega ,{\mathcal{F}}_{t+\delta }\right)$ 一分割，此外， $u_2^{ϵ}=\underset{k\ge 1}{\sum }{\chi }_{{△}_k}{u}_k^2\in U_{t+\delta ,T}$。因此，从 ${\beta }_2$ 的非预测性知， ${\beta }_2\left(u_2^{ϵ}\right)=\underset{k\ge 1}{\sum }{\chi }_{{△}_k}{\beta }_2\left(u_k^2\right)$，且由 ${\beta }_1,{\beta }_2$ 的定义，我们得到 $\beta \left(u_1^{ϵ}\oplus u_2^{ϵ}\right)={\beta }_1\left(u_1^{ϵ}\right)\oplus {\beta }_2\left(u_2^{ϵ}\right)$。由倒向随机微分方程的存在性和唯一性，我们知

$\begin{array}{l}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2^{ϵ},{\beta }_2\left(u_2^{ϵ}\right)\right)\\ =E\left[Y_{t+\delta }^{t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2^{ϵ},{\beta }_2\left(u_2^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]\\ =E\left[\underset{k\ge 1}{\sum }{\chi }_{{△}_k}{Y}_{t+\delta }^{t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_k^{ϵ},{\beta }_2\left(u_k^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]\\ =\underset{k\ge 1}{\sum }{\chi }_{{△}_k}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_k^{ϵ},{\beta }_2\left(u_k^{ϵ}\right)\right),\text{P-}a.s.\end{array}$

因此，

$\begin{array}{l}W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i}\right)\\ \le \underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2,{\beta }_2\left(u_2\right)\right)\\ \le E\left[\underset{k\ge 1}{\sum }{\chi }_{{△}_k}{Y}_{t+\delta }^{t,x,i;u_1^{ϵ}\oplus u_k^2,\beta \left(u_1^{ϵ}\oplus u_k^2\right)}|{\mathcal{F}}_{t+\delta }\right]+ϵ\\ =E\left[Y_{t+\delta }^{t,x,i;u_1^{ϵ}\oplus u_2^{ϵ},\beta \left(u_1^{ϵ}\oplus u_2^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]+ϵ\\ =E\left[Y_{t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]+ϵ,\text{P-}a.s.,\end{array}$ (3.3)

其中 $u^{ϵ}=u_1^{ϵ}\oplus u_2^{ϵ}\in U_{t,T}$。从(3.1)和(3.3)可以知道，

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)\le E\left[G_{t,t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)}\left[E\left[Y_{t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]+ϵ\right]|{\mathcal{F}}_t\right]\\ \le E\left[G_{t,t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)}\left[E\left[Y_{t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]\right]|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}\left[E\left[Y_{t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]\right]|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}\left[Y_{t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}\right]|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ\\ =E\left[Y_t^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ\\ \le \underset{u\in U_{t,T}}{\text{esssup}}E\left[Y_t^{t,x,i;u,\beta \left(u\right)}|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ,\text{P-}a.s.\end{array}$ (3.4)

因为 $\beta \in {\mathcal{B}}_{t,T}$ 是任意选择的对于所有的 $\beta \in {\mathcal{B}}_{t,T}$，我们有 。因此，

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)\le \underset{\beta \in {\mathcal{B}}_{t,T}}{\text{essinf}}\underset{u\in U_{t,T}}{\text{esssup}}E\left[Y_t^{t,x,i;u,\beta \left(u\right)}|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ\\ =W\left(t,x,i\right)+\left(C+1\right)ϵ.\end{array}$

则令 $ϵ\to 0$，我们得到 $W_{\delta }\left(t,x,i\right)\le W\left(t,x,i\right)$。

第二步 我们现在处理 $W\left(t,x,i\right)\le W_{\delta }\left(t,x,i\right)$ 的情况。从 $W_{\delta }\left(t,x,i\right)$ 的定义，我们得到

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)=\underset{{\beta }_1\in {\mathcal{B}}_{t,t+\delta }}{\text{essinf}}\underset{u_1\in U_{t,t+\delta }}{\text{esssup}}E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1\left(u_1\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1,{\beta }_1\left(u_1\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right]\\ =\underset{{\beta }_1\in {\mathcal{B}}_{t,t+\delta }}{\text{essinf}}{\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_1\right),\end{array}$

且对于一些 $\left\{{\beta }_l^1,l\ge 1\right\}\subset {\mathcal{B}}_{t,t+\delta }$ 使得，

对于任意的 $ϵ>0$，我们令 ${\tilde{\Lambda }}_l=\left\{{\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_l^1\right)-ϵ\le W_{\delta }\left(t,x,i\right)\right\}\in {\mathcal{F}}_t,l\ge 1$，$\Lambda ={\tilde{\Lambda }}_1$ 且 ${\Lambda }_l={\tilde{\Lambda }}_l\setminus \left({\displaystyle \underset{k=1}{\overset{l-1}{\cup }}{\tilde{\Lambda }}_k}\right)\in {\mathcal{F}}_t,l\ge 2$，${\left\{{\Lambda }_l\right\}}_{l\ge 1}$ 是 $\left(\Omega ,{\mathcal{F}}_t\right)$ 的一分割，且 ${\beta }_1^{ϵ}=\underset{l\ge 1}{\sum }{\chi }_{{\Lambda }_l}{\beta }_l^1\in {\mathcal{B}}_{t,t+\delta }$。由倒向随机微分方程的存在性和唯一性，我们得到对于所有的 $u_1\in U_{t,t+\delta }$

${\mathcal{I}}_{\delta }\left(t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)\right)=\underset{l\ge 1}{\sum }{\chi }_{{\Lambda }_l}{\mathcal{I}}_{\delta }\left(t,x,i;u_1,{\beta }_l^1\left(u_1\right)\right),\text{P-}a.s.,$

此外，对于所有的 $u_1\in U_{t,t+\delta }$，

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)\ge \underset{l\ge 1}{\sum }{\chi }_{{\Lambda }_l}{\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_l^1\right)-ϵ\\ \ge \underset{l\ge 1}{\sum }{\chi }_{{\Lambda }_l}{\mathcal{I}}_{\delta }\left(t,x,i;u_1,{\beta }_l^1\left(u_1\right)\right)-ϵ\\ ={\mathcal{I}}_{\delta }\left(t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)\right)-ϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right]-ϵ,\text{P-}a.s.\end{array}$ (3.5)

我们现在关注区间 $\left[t+\delta ,T\right]$，从 $W\left(t+\delta ,y,j\right)$ 的定义，我们得到，对于任意 $\left(y,j\right)\in {\text{R}}^n\times \mathcal{M}$，存在 ${\beta }_{y,j}^{ϵ}\in {\mathcal{B}}_{t+\delta ,T}$ 使得

$W\left(t+\delta ,y,j\right)\ge \underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,y,j;u_2,{\beta }_{y,j}^{ϵ}\left(u_2\right)\right)-ϵ,\text{P-}a.s.$ (3.6)

我们现在考虑 ${\text{R}}^n$ 的分割，即， $\underset{l\ge 1}{\sum }{O}_l={\text{R}}^n$ 满足对于每一 $l\ge 1$，$diam\left(O_l\right)\le ϵ$。令任意的 $\left(y_l,j\right)\in O_l\times \mathcal{M},l\ge 1$ 是固定的，且定义

$\overline{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}}=\underset{l\ge 1,j\in \mathcal{M}}{\sum }{y}_l{\chi }_{\left\{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\in O_l,{\theta }_{t+\delta }^{t,i}=j\right\}}.$