本文研究了具有状态切换的二人零和随机微分对策,主要结果是在倒向随机微分方程框架下具有状态切换的二人零和随机微分对策的动态规划原理。 In this paper, we study dynamic programming principles for two-player zero-sum stochastic dif-ferential games with regime switching. The main results of this paper concern dynamic program-ming principles with the help of the theory of backward stochastic differential equations.
本文研究了具有状态切换的二人零和随机微分对策,主要结果是在倒向随机微分方程框架下具有状态切换的二人零和随机微分对策的动态规划原理。
随机微分对策,倒向随机微分方程,动态规划原理,状态切换
Junyao Li
University of Shanghai and Technology, Shanghai
Received: Mar. 20th, 2021; accepted: Apr. 22nd, 2021; published: Apr. 30th, 2021
In this paper, we study dynamic programming principles for two-player zero-sum stochastic differential games with regime switching. The main results of this paper concern dynamic programming principles with the help of the theory of backward stochastic differential equations.
Keywords:Stochastic Differential Games, Backward Stochastic Differential Equations, Dynamic Programming Principles, Regime Switching
Copyright © 2021 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
自从Fleming和Souganidis [
动态规划原则是解决最优控制问题最主要、也是最常用的方法之一,它意味着从今天来看的最优控制,在明天来看仍然是最优的,参见Fleming and Soner [
本文的组织结构如下。在第2节中,我们将介绍一些符号和基本知识。在后文中将用到。在第三节中,我们将介绍动态规划原理。在第4节中,我们将讨论本文给出的结果的一些可能的应用。
设 ( Ω , F , ℙ ) 是一个固定概率空间,其上定义了d维布朗运动 { B s } s ∈ [ 0 , T ] 和马氏链 { θ s } s ∈ [ 0 , T ] ,其中 Ω 是从 [ 0 , T ] 到 R d 的连续函数的集合,从0开始 ( Ω = C 0 ( [ 0 , T ] , R d ) ) , F 是 Ω 上完备的Borel σ -代数,P是维纳测度。这里我们假设 F = ( F s ) s ∈ [ 0 , T ] ,其中 F s ≜ F s θ ∨ F s B 。令 ( F s B ) s ∈ [ 0 , T ] 表示布朗运动 { B s } s ∈ [ 0 , T ] 产生的过滤。且 ( F s θ ) s ∈ [ 0 , T ] 表示马氏链 { θ s } s ∈ [ 0 , T ] 生成的过滤。假设B和 θ ⋅ 是独立的。马氏链 { θ s } s ∈ [ 0 , T ] 取有限状态空间 M = { 1 , ⋯ , m } 中的值,是可观测的。马氏链 { θ s } s ∈ [ 0 , T ] 的生成元 Q = ( q i k ) i , k ∈ M ∈ R m × m 由下式给出
P ( θ s + δ = k | θ s = i , s ∈ [ 0 , T ] ) = { q i k δ + o ( δ ) , k ≠ i , 1 + q i i δ + o ( δ ) , k = i ,
其中 q i k 是从市场机制i到k的切换概率,对于每个 ( i , k ) ∈ M × M , q i i = − ∑ k ≠ i q i k < 0 且 q i k ≥ 0 。
我们将在倒向随机微分方程的框架下,在有限时间范围内研究一个具有切换的两人零和随机微分对策。随机微分对策的动态由下面随机微分方程描述:对于 t ∈ [ 0 , T ] ,
其中 T > 0 为固定的有限时间范围, ( t , x , i ) ∈ [ 0 , T ] × R n × M 视为初始状态, P { θ t t , i = i } = 1 。 X t 是X在时间t的值, ( u , v ) = ( u s , v s ) s ∈ [ t , T ] 是一对 F t 适应的过程,它们在一些紧致度量空间U和V中取值,分别称为两个参与者I和II的容许控制。下面给出了系数 b : [ 0 , T ] × R n × M × U × V → R n 和 σ : [ 0 , T ] × R n × M × U × V → R n × d 的精确假设。映射b和 σ 满足下列条件:
(H2.1)
(i) 对于每一固定 x ∈ R n , i ∈ M , b ( ⋅ , x , i , ⋅ , ⋅ ) 和 σ ( ⋅ , x , i , ⋅ , ⋅ ) 是关于 ( t , u , v ) 连续的;
(ii) 对于任意 x , x ′ ∈ R n , i ∈ M 和 u ∈ U , v ∈ V ,存在一正的常数C使得,
| b ( t , x , i , u , v ) − b ( t , x ′ , i , u , v ) | + | σ ( t , x , i , u , v ) − σ ( t , x ′ , i , u , v ) | ≤ C | x − x ′ | .
从(H2.1)我们能够得到b和 σ 的局部增长条件即,存在 C > 0 使得,对于所有的 0 ≤ t ≤ T , u ∈ U , v ∈ V , x ∈ R n , i ∈ M
| b ( t , x , i , u , v ) | + | σ ( t , x , i , u , v ) | ≤ C ( 1 + | x | ) .
如果上述假设成立,对于任意 u ∈ U 和 v ∈ V ,控制系统(2.1)有唯一解 { X t , x , i ; u , v , 0 ≤ t ≤ s ≤ T } 。且我们有如下估计。
引理2.1. 在映射b和 σ 的假设下,存在一常数 C > 0 使得,对于任意 x , x ′ ∈ R n , i ∈ M 和 u ∈ U , v ∈ V ,
E { sup t ≤ s ≤ T | X s t , x , i ; u , v | 2 | F t } ≤ C ( 1 + | x | 2 ) , P- a . s . , E { sup t ≤ s ≤ T | X s t , x , i ; u , v − X s t , x ′ , i ; u , v | 2 | F t } ≤ C | x − x ′ | 2 , P- a . s .
玩家的成本泛函由倒向随机微分方程:
Y s t , x , i ; u , v = Φ ( X T t , x , i ; u , v , θ T t , i ) + ∫ s T f ( r , X r t , x , i ; u , v , Y r t , x , i ; u , v , Z r t , x , i ; u , v , θ r t , i , u r , v r ) d r − ∫ s T Z r t , x , i , u , v d B r , s ∈ [ t , T ] , (2.2)
给出,其中 X t , x , i ; u , v 和 θ t , i 是 给出的。上面的倒向随机微分方程有唯一一个解 ( Y s t , x , i ; u , v , Z s t , x , i ; u , v ) s ∈ [ t , T ] 。
我们现在给出两个函数 f : [ 0 , T ] × R n × R × R d × R m × m × U × V → R 和端点成本函数 Φ : R n → R 满足下面条件:
(H2.2)
(i) 对于任意固定的 ( x , y , z , i ) ∈ R n × R × R d × M , f ( ⋅ , x , y , z , i , ⋅ , ⋅ ) 是关于 ( t , u , v ) 连续的。
(ii) 存在 C > 0 使得,对于所有 t ∈ [ 0 , T ] , x , x ′ ∈ R n , y , y ′ ∈ R , z , z ′ ∈ R d , i ∈ M , u ∈ U 和 v ∈ V ,
| f ( t , x , y , z , i , u , v ) − f ( t , x ′ , y ′ , z ′ , i , u , v ) | ≤ C ( | x − x ′ | + | y − y ′ | + | z − z ′ | ) .
(iii) 存在 C > 0 使得,对于所有的 x , x ′ ∈ R n , i ∈ M
| Φ ( x , i ) − Φ ( x ′ , i ) | ≤ C | x − x ′ | .
在上面的条件下,我们有如下估计。
引理2.2. 对于所有的 t ∈ [ 0 , T ] , i ∈ M , u ∈ U 和 v ∈ V ,存在一常数 C > 0 使得,
现在,我们介绍容许控制和容许策略。令 t 1 , t 2 是两个确定时间,且 0 ≤ t 1 ≤ t 2 ≤ T 。
定义2.3. 对于玩家I (或者,player II)在时间 [ t , T ] 上取值于 U t , T (或者, V t , T )的容许控制过程 u = { u ( s , ω ) : s ∈ [ t 1 , t 2 ] } (或者, v = { v ( s , w ) : s ∈ [ t 1 , t 2 ] } )关于滤波 F 是循序可测的。
在时间 [ t 1 , t 2 ] 上对于玩家I (或者,玩家II)的所有容许控制被定义为 U t 1 , t 2 (或者, V t 1 , t 2 )。
定义2.4.在时间 [ t , T ] 上玩家Ⅰ的非预测性策略是一映射 α : V → U 使得,对于任意 F t -停时S和任意的 v , v ′ ∈ V t , T ,如果在 〚 t , S 〛 上 v ≡ v ′ (符号 〚 t , S 〛 = { ( s , ω ) ∈ [ 0 , T ] × Ω , t ≤ s ≤ S ( ω ) } )。同理,我们可以定义在 [ t , T ] 上玩家II的非预测性策略 β : U t , T → V t , T 。
在时间 [ t , T ] 上对于玩家I (或者,玩家II)的所有非预测性策略被定义为 A t , T (或者, B t , T )。
对于给定的控制过程 u ∈ U t , T 和 v ∈ V t , T ,我们定义相关的成本泛函
J ( t , x , i ; u , v ) = E [ Y t t , x , i ; u , v | F t ] , ( t , x , i ) ∈ [ 0 , T ] × R n × M ,
其中, Y t , x , i ; u , v 是由倒向随机微分方程 定义的。在对策中,我们分别定义下值函数W和上值函数U,
W ( t , x , i ) = essinf β ∈ B t , T esssup u ∈ U t , T J ( t , x , i ; u , β ( u ) ) ,
和
U ( t , x , i ) = esssup α ∈ A t , T essinf v ∈ V t , T J ( t , x , i ; α ( v ) , v ) .
上面的引理在 [
引理2.5. 在假设(H2.1)和(H2.2)下,对于所有 ( t , x , i ) ∈ [ 0 , T ] × R n × M ,值函数 W ( t , x , i ) 和 U ( t , x , i ) 是确定性函数。
引理2.6. 在假设(H2.1)和(H2.2)下,对于所有 ( t , x , i ) ∈ [ 0 , T ] × R n × M 和 x , x ′ ∈ R n ,我们有
| W ( t , x , i ) | ≤ C ( 1 + | x | ) .
| W ( t , x , i ) − W ( t ′ , x , i ) | ≤ C ( 1 + | x | ) | t − t ′ | 1 2 ,
| W ( t , x , i ) − W ( t , x ′ , i ) | ≤ C | x − x ′ | ,
对于函数U相同性质成立。
现在我们引入倒向随机半群,对于给定的初始状态 ( t , x , i ) ,我们定义了一个正数 δ ≤ T − t ,对于允许的控制过程 u ( ⋅ ) ∈ U t , t + δ 和 v ( ⋅ ) ∈ V t , t + δ ,以及一个实值随机变量 η ∈ ( Ω , F t + δ , P ; R ) ,我们定义
G t , t + δ t , x , i ; u , v [ η ] = Y t ¯ t , x , i ; u , v
其中, ( Y ¯ s t , ξ , i ; u , v , Z ¯ s t , ξ , i ; u , v ) s ∈ [ t , t + δ ] 是下面倒向随机微分方程在端点时刻 t + δ 的解,
Y ¯ s t , x , i ; u , v = η + ∫ s t + δ f ( r , X r t , ξ , i ; u , v , Y ¯ r t , ξ , i ; u , v , Z ¯ r t , ξ , i ; u , v , θ r t , i , u r , v r ) d r − ∫ s t + δ Z ¯ r t , ξ , i ; u , v d B r , P- a . s . , s ∈ [ t , t + δ ] ,
且 X t , x , i ; u , v 是随机微分方程(2.1)的解。根据倒向随机微分方程解的唯一性,我们得到倒向随机微分方程(2.2)的解 Y t , x , i ; u , v 满足
J ( t , x , i ; u , v ) = E [ Y t t , x , i ; u , v | F t ] = E [ G t , T t , x , i ; u , v [ Φ ( X T t , x , i ; u , v , θ T t , i ) ] | F t ] = E [ G t , t + δ t , x , i ; u , v [ Y t + δ t , x , i ; u , v ] | F t ] = E [ G t , t + δ t , x , i ; u , v [ E [ Y t + δ t , x , i ; u , v | F t + δ ] ] | F t ] = E [ G t , t + δ t , x , i ; u , v [ J ( t + δ , X t + δ t , x , i ; u , v , θ t + δ t , i ; u , v ) ] | F t ] .
我们现在介绍具有状态切换的随机微分对策的值函数的动态规划原理。
命题3.1. 在假设(H2.1)和(H2.2)下,下面动态规划原理成立:对于所有 0 < δ ≤ T − t , x ∈ R n , i ∈ M ,
U ( t , x , i ) = esssup α ∈ A t , t + δ essinf v ∈ V t , t + δ E [ G t , t + δ t , x , i ; α ( v ) , v [ U ( t + δ , X t + δ t , x , i ; α ( v ) , v , θ t + δ t , i ) ] | F t ] ,
和
W ( t , x , i ) = essinf β ∈ B t , t + δ esssup u ∈ U t , t + δ E [ G t , t + δ t , x , i ; u , β ( u ) [ W ( t + δ , X t + δ t , x , i ; u , β ( u ) , θ t + δ t , i ) ] | F t ] .
证明:令
W δ ( t , x , i ) = essinf β ∈ B t , t + δ esssup u ∈ U t , t + δ E [ G t , t + δ t , x , i ; u , β ( u ) [ W ( t + δ , X t + δ t , x , i ; u , β ( u ) , θ t + δ t , i ) ] | F t ] .
我们将 W δ ( t , x , i ) 与 W ( t , x , i ) 相吻合的证明分几个步骤进行证明。
第一步.令 β ∈ B t , T 是任意固定的,则给定 u 2 ∈ U t + δ , T ,我们定义 β 在 U t , t + δ 的限制 β 1 如下:
β 1 ( u 1 ) = β ( u 1 ⊕ u 2 ) | [ t , t + δ ] , u 1 ∈ U t , t + δ ,
其中 u 1 ⊕ u 2 = u 1 χ [ t , t + δ ] + u 2 χ ( t + δ , T ] 将 u 1 扩展为 U t , T 中的一个元素。显然, β 1 ∈ B t , t + δ 。且从 β 的非预测性性质,我们得到 β 1 独立于 u 2 ∈ U t + δ , T 的特殊选择。因此,从 W δ ( t , x , i ) 的定义得
W δ ( t , x , i ) ≤ esssup u 1 ∈ U t , t + δ E [ G t , t + δ t , x , i ; u 1 , β 1 ( u 1 ) [ W ( t + δ , X t + δ t , x , i ; u 1 , β 1 ( u 1 ) , θ t + δ t , i ) ] | F t ] ,
令 I δ ( t , x , i ; u , v ) = E [ G t , t + δ t , x , i ; u , v [ W ( t + δ , X t + δ t , x , i ; u , v , θ t + δ t , i ) ] | F t ] 且对于一些序列 { u l 1 , l ≥ 1 } ⊂ U t , t + δ 使得,
I δ ( t , x , i ; β 1 ) = esssup u 1 ∈ U t , t + δ I δ ( t , x , i ; u 1 , β 1 ( u 1 ) ) = sup l ≥ 1 I δ ( t , x , i ; u l 1 , β 1 ( u l 1 ) ) , P- a . s .
令 ϵ > 0 且设 Γ ˜ l = { I δ ( t , x , i ; β 1 ) ≤ I δ ( t , x , i ; u l 1 , β 1 ( u l 1 ) ) + ϵ } ∈ F t , l ≥ 1 。构造 Γ 1 = Γ ˜ 1 , Γ l = Γ ˜ l ∖ ( ∪ k = 1 l − 1 Γ ˜ k ) ∈ F t , l ≥ 2 , { Γ l } l ≥ 1 是 ( Ω , F t ) 的一分割,且 u 1 ϵ = ∑ l ≥ 1 χ Γ l u l 1 ∈ U t , t + δ 。此外,从 β 1 的非预测性,我们得到 β 1 ( u 1 ϵ ) = ∑ l ≥ 1 χ Γ l β 1 ( u l 1 ) 。由倒向随机微分方程的存在性和唯一性,得到对于 β 1 ∈ B t , t + δ ,
因此,
W δ ( t , x , i ) ≤ I δ ( t , x , i ; β 1 ) ≤ ∑ l ≥ 1 χ Γ l I δ ( t , x , i ; u l 1 , β 1 ( u l 1 ) ) + ϵ = I δ ( t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) ) + ϵ = E [ G t , t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) [ W ( t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ) ] | F t ] + ϵ , P- a . s . (3.1)
我们现在关注区间 [ t + δ , T ] ,借助 β 1 ( ⋅ ) = β ( ⋅ ⊕ u 2 ) ∈ B t , t + δ 不依赖于 u 2 ∈ U t + δ , T ,我们能定义 β 2 ( u 2 ) = β ( u 1 ϵ ⊕ u 2 ) | [ t + δ , T ] ,对于任意 u 2 ∈ U t + δ , T ,从 β ∈ B t , T 可知, β 2 : U t + δ , T → V t + δ , T 属于 B t + δ , T 。因此,由 W ( t + δ , y , j ) 的定义知,对于任意的 ( y , j ) ∈ R n × M 使得,
W ( t + δ , y , j ) ≤ esssup u 2 ∈ U t + δ , T J ( t + δ , y , j ; u 2 , β 2 ( u 2 ) ) , P- a . s .
从引理2.2和引理2.6,存在一常数 C ∈ R 使得,对于任意 u 2 ∈ U t + δ , T , y , y ′ ∈ R n ,
(i) | W ( t + δ , y , j ) − W ( t + δ , y ′ , j ) | ≤ C | y − y ′ | ,
(ii) | J ( t + δ , y , j ; u 2 , β 2 ( u 2 ) ) − J ( t + δ , y ′ , j ; u 2 , β 2 ( u 2 ) ) | ≤ C | y − y ′ | , P- a . s . (3.2)
我们通过近似 X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) 来表示构造,
W ( t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ) ≤ esssup u 2 ∈ U t + δ , T J ( t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ; u 2 , β 2 ( u 2 ) ) , P- a . s .
为了估计上面不等式的右边,我们注意到存在一些序列 { u k 2 , k ≥ 1 } ⊂ U t + δ , T 使得
esssup u 2 ∈ U t + δ , T J ( t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ; u 2 , β 2 ( u 2 ) ) = sup k ≥ 1 J ( t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i , u k 2 , β 2 ( u k 2 ) ) , P- a . s .
令 ϵ > 0 且
△ ˜ k = { esssup u 2 ∈ U t + δ , T J ( t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ; u 2 , β 2 ( u 2 ) ) ≤ J ( t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ; u k 2 , β 2 ( u k 2 ) ) + ϵ } ∈ F t + δ , k ≥ 1.
构造 △ 1 = △ ˜ 1 , △ k = △ ˜ k ∖ ( ∪ j = 1 k − 1 △ ˜ j ) ∈ F t + δ , k ≥ 2 , { △ k } k ≥ 1 是 ( Ω , F t + δ ) 一分割,此外, u 2 ϵ = ∑ k ≥ 1 χ △ k u k 2 ∈ U t + δ , T 。因此,从 β 2 的非预测性知, β 2 ( u 2 ϵ ) = ∑ k ≥ 1 χ △ k β 2 ( u k 2 ) ,且由 β 1 , β 2 的定义,我们得到 β ( u 1 ϵ ⊕ u 2 ϵ ) = β 1 ( u 1 ϵ ) ⊕ β 2 ( u 2 ϵ ) 。由倒向随机微分方程的存在性和唯一性,我们知
J ( t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ; u 2 ϵ , β 2 ( u 2 ϵ ) ) = E [ Y t + δ t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ; u 2 ϵ , β 2 ( u 2 ϵ ) | F t + δ ] = E [ ∑ k ≥ 1 χ △ k Y t + δ t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ; u k ϵ , β 2 ( u k ϵ ) | F t + δ ] = ∑ k ≥ 1 χ △ k J ( t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ; u k ϵ , β 2 ( u k ϵ ) ) , P- a . s .
因此,
W ( t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ) ≤ esssup u 2 ∈ U t + δ , T J ( t + δ , X t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) , θ t + δ t , i ; u 2 , β 2 ( u 2 ) ) ≤ E [ ∑ k ≥ 1 χ △ k Y t + δ t , x , i ; u 1 ϵ ⊕ u k 2 , β ( u 1 ϵ ⊕ u k 2 ) | F t + δ ] + ϵ = E [ Y t + δ t , x , i ; u 1 ϵ ⊕ u 2 ϵ , β ( u 1 ϵ ⊕ u 2 ϵ ) | F t + δ ] + ϵ = E [ Y t + δ t , x , i ; u ϵ , β ( u ϵ ) | F t + δ ] + ϵ , P- a . s . , (3.3)
其中 u ϵ = u 1 ϵ ⊕ u 2 ϵ ∈ U t , T 。从(3.1)和(3.3)可以知道,
W δ ( t , x , i ) ≤ E [ G t , t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) [ E [ Y t + δ t , x , i ; u ϵ , β ( u ϵ ) | F t + δ ] + ϵ ] | F t ] ≤ E [ G t , t + δ t , x , i ; u 1 ϵ , β 1 ( u 1 ϵ ) [ E [ Y t + δ t , x , i ; u ϵ , β ( u ϵ ) | F t + δ ] ] | F t ] + ( C + 1 ) ϵ = E [ G t , t + δ t , x , i ; u ϵ , β ( u ϵ ) [ E [ Y t + δ t , x , i ; u ϵ , β ( u ϵ ) | F t + δ ] ] | F t ] + ( C + 1 ) ϵ = E [ G t , t + δ t , x , i ; u ϵ , β ( u ϵ ) [ Y t + δ t , x , i ; u ϵ , β ( u ϵ ) ] | F t ] + ( C + 1 ) ϵ = E [ Y t t , x , i ; u ϵ , β ( u ϵ ) | F t ] + ( C + 1 ) ϵ ≤ esssup u ∈ U t , T E [ Y t t , x , i ; u , β ( u ) | F t ] + ( C + 1 ) ϵ , P- a . s . (3.4)
因为 β ∈ B t , T 是任意选择的对于所有的 β ∈ B t , T ,我们有 。因此,
W δ ( t , x , i ) ≤ essinf β ∈ B t , T esssup u ∈ U t , T E [ Y t t , x , i ; u , β ( u ) | F t ] + ( C + 1 ) ϵ = W ( t , x , i ) + ( C + 1 ) ϵ .
则令 ϵ → 0 ,我们得到 W δ ( t , x , i ) ≤ W ( t , x , i ) 。
第二步 我们现在处理 W ( t , x , i ) ≤ W δ ( t , x , i ) 的情况。从 W δ ( t , x , i ) 的定义,我们得到
W δ ( t , x , i ) = essinf β 1 ∈ B t , t + δ esssup u 1 ∈ U t , t + δ E [ G t , t + δ t , x , i ; u 1 , β 1 ( u 1 ) [ W ( t + δ , X t + δ t , x , i ; u 1 , β 1 ( u 1 ) , θ t + δ t , i ) ] | F t ] = essinf β 1 ∈ B t , t + δ I δ ( t , x , i ; β 1 ) ,
且对于一些 { β l 1 , l ≥ 1 } ⊂ B t , t + δ 使得,
对于任意的 ϵ > 0 ,我们令 Λ ˜ l = { I δ ( t , x , i ; β l 1 ) − ϵ ≤ W δ ( t , x , i ) } ∈ F t , l ≥ 1 , Λ = Λ ˜ 1 且 Λ l = Λ ˜ l ∖ ( ∪ k = 1 l − 1 Λ ˜ k ) ∈ F t , l ≥ 2 , { Λ l } l ≥ 1 是 ( Ω , F t ) 的一分割,且 β 1 ϵ = ∑ l ≥ 1 χ Λ l β l 1 ∈ B t , t + δ 。由倒向随机微分方程的存在性和唯一性,我们得到对于所有的 u 1 ∈ U t , t + δ
I δ ( t , x , i ; u 1 , β 1 ϵ ( u 1 ) ) = ∑ l ≥ 1 χ Λ l I δ ( t , x , i ; u 1 , β l 1 ( u 1 ) ) , P- a . s . ,
此外,对于所有的 u 1 ∈ U t , t + δ ,
W δ ( t , x , i ) ≥ ∑ l ≥ 1 χ Λ l I δ ( t , x , i ; β l 1 ) − ϵ ≥ ∑ l ≥ 1 χ Λ l I δ ( t , x , i ; u 1 , β l 1 ( u 1 ) ) − ϵ = I δ ( t , x , i ; u 1 , β 1 ϵ ( u 1 ) ) − ϵ = E [ G t , t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) [ W ( t + δ , X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) , θ t + δ t , i ) ] | F t ] − ϵ , P- a . s . (3.5)
我们现在关注区间 [ t + δ , T ] ,从 W ( t + δ , y , j ) 的定义,我们得到,对于任意 ( y , j ) ∈ R n × M ,存在 β y , j ϵ ∈ B t + δ , T 使得
W ( t + δ , y , j ) ≥ esssup u 2 ∈ U t + δ , T J ( t + δ , y , j ; u 2 , β y , j ϵ ( u 2 ) ) − ϵ , P- a . s . (3.6)
我们现在考虑 R n 的分割,即, ∑ l ≥ 1 O l = R n 满足对于每一 l ≥ 1 , d i a m ( O l ) ≤ ϵ 。令任意的 ( y l , j ) ∈ O l × M , l ≥ 1 是固定的,且定义
X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) ¯ = ∑ l ≥ 1 , j ∈ M y l χ { X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) ∈ O l , θ t + δ t , i = j } .
显然,我们有
| X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) − X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) ¯ | ≤ ϵ , (3.7)
在 Ω 的每一处,对于任意的 u 1 ∈ U t , t + δ 。而且,对于每一个 y l 和j,存在 β y l , j ϵ ∈ B t + δ , T 使得 成立,且
β u 1 ϵ = ∑ l ≥ 1 , j ∈ M χ { X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) ∈ O l , θ t + δ t , i = j } β y l , j ϵ ∈ B t + δ , T .
现在我们定义新的策略 β ϵ ( u ) = β 1 ϵ ( u 1 ) ⊕ β u 1 ϵ ( u 2 ) , u ∈ U t , T ,其中 u 1 = u | [ t , t + δ ] , u 2 = u | ( t + δ , T ] 。显然, β ϵ : U t , T → V t , T 。
接下来,我们将证明 β ϵ 是非预测性的,实际上,令 S : Ω → [ t , T ] 是 F -停时, u , u ′ ∈ U t , T ,使得 u ≡ u ′ 在 〚 t , S 〛 上。将 u , u ′ 分解为 u 1 , u ′ 1 ∈ U t , t + δ ,使得 u = u 1 ⊕ u 2 和 u ′ = u ′ 1 ⊕ u ′ 2 。因为在 〚 t , S ∧ ( t + δ ) 〛 上, u 1 ≡ u ′ 1 ,我们有 β 1 ϵ ( u 1 ) ≡ β 1 ϵ ( u ′ 1 ) 在 〚 t , S ∧ ( t + δ ) 〛 上。另一方面,在 〛 t + δ , S ∧ ( t + δ ) 〛 ( ⊂ ( t + δ , T ] × { S > t + δ } ) 上 u 2 ≡ u ′ 2 ,且在 S > t + δ 上,我们有 X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) = X t + δ t , x , i ; u ′ 1 , β 1 ϵ ( u ′ 1 ) 。因此,从定义知,在 { S > t + δ } 上, β u 1 ϵ = β u ′ 1 ϵ 且在 〛 t + δ , S ∨ ( t + δ ) 〛 上, β u 1 ϵ ( u 2 ) ≡ β u ′ 1 ϵ ( u ′ 2 ) 。所以,在 〚 t , S 〛 上,
β ϵ ( u ) = β 1 ϵ ( u 1 ) ⊕ β u 1 ϵ ( u 2 ) ≡ β 1 ϵ ( u ′ 1 ) ⊕ β u ′ 1 ϵ ( u ′ 2 ) = β ϵ ( u ′ )
从而知 β ϵ ∈ B t , T 。
固定 u ∈ U t , T 是任意的且分为 u 1 = u | [ t , t + δ ] ∈ U t , t + δ , u 2 = u | ( t + δ , T ] ∈ U t + δ , T ,则从(3.5),(3.2) (i)和(3.7),我们知
W δ ( t , x , i ) ≥ E [ G t , t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) [ W ( t + δ , X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) , θ t + δ t , i ) ] | F t ] − ϵ ≥ E [ G t , t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) [ W ( t + δ , X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) ¯ , θ t + δ t , i ) − C ϵ ] | F t ] − ϵ ≥ E [ G t , t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) [ W ( t + δ , X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) ¯ , θ t + δ t , i ) ] | F t ] − C ϵ = E [ G t , t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) [ ∑ l ≥ 1 , j ∈ M χ { X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) ∈ O l , θ t + δ t , i = j } W ( t + δ , y l , j ) ] | F t ] − C ϵ .
从(3.6),(3.2) (ii)和(3.7)得,对于任意的 u ∈ U t , T ,
W δ ( t , x , i ) ≥ E [ G t , t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) [ ∑ l ≥ 1 , j ∈ M χ { X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) ∈ O l , θ t + δ t , i = j } J ( t + δ , y l , j ; u 2 , β y l ϵ ( u 2 ) ) − ϵ ] | F t ] − C ϵ ≥ E [ G t , t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) [ ∑ l ≥ 1 , j ∈ M χ { X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) ∈ O l , θ t + δ t , i = j } J ( t + δ , y l , j ; u 2 , β y l ϵ ( u 2 ) ) ] | F t ] − C ϵ = E [ G t , t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) [ J ( t + δ , X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) ¯ , θ t + δ t , i ; u 2 , β u 1 ϵ ( u 2 ) ) ] | F t ] − C ϵ ≥ E [ G t , t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) [ J ( t + δ , X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) , θ t + δ t , i ; u 2 , β u 1 ϵ ( u 2 ) ) − C ϵ ] | F t ] − C ϵ
≥ E [ G t , t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) [ J ( t + δ , X t + δ t , x , i ; u 1 , β 1 ϵ ( u 1 ) , θ t + δ t , i ; u 2 , β u 1 ϵ ( u 2 ) ) ] | F t ] − C ϵ = E [ G t , t + δ t , x , i ; u , β ϵ ( u ) [ E [ Y t + δ t , x , i ; u , β ϵ ( u ) | F t + δ ] ] | F t ] − C ϵ = E [ G t , t + δ t , x , i ; u , β ϵ ( u ) [ Y t + δ t , x , i ; u , β ϵ ( u ) ] | F t ] − C ϵ = E [ Y t t , x , i ; u , β ϵ ( u ) | F t ] − C ϵ , P- a . s . ,
因此,
W δ ( t , x , i ) ≥ esssup u ∈ U t , T J ( t , x , i ; u , β ϵ ( u ) ) − C ϵ ≥ essinf β ∈ B t , T esssup u ∈ U t , T J ( t , x , i ; u , β ( u ) ) − C ϵ = W ( t , x , i ) − C ϵ , P- a . s .
令 ϵ → 0 ,我们有 W δ ( t , x , i ) ≥ W ( t , x , i ) 。
证毕。
传统扩散模型相比,状态切换模型有两个明显的优点。首先,底层的马尔可夫链可以用来为具有长期系统影响的离散事件建模。其次,在进行数值实验时,状态切换模型只需要非常有限的数据输入。由于具有表征各种随机事件的能力和易处理性,状态切换模型近年来受到人们的广泛关注。本文的结果可以通过所谓的哈密顿雅可比–贝尔曼方程与一些最优控制问题联系起来。
李钧瑶. 具有状态切换的二人零和随机微分对策的动态规划原理Dynamic Programming Principles for Two-Player Zero-Sum Stochastic Differential Games with Regime Switching[J]. 理论数学, 2021, 11(04): 654-662. https://doi.org/10.12677/PM.2021.114079