中国石油大学(华东)理学院，山东 青岛

收稿日期：2020年12月16日；录用日期：2021年1月5日；发布日期：2021年1月20日

摘要

本文研究了一个倒向随机微分时滞方程的最优控制问题。利用三个正倒向耦合的伴随方程，文中得到了最优控制满足的充分条件并给出一个最优消费选择的例子来说明理论结果的应用。

关键词

倒向随机微分时滞方程，最优控制，伴随方程

An Optimal Control Problem of Backward Stochastic Differential Delay Equation

Shuang Wu

College of Science, China University of Petroleum, Qingdao Shandong

Received: Dec. 16^th, 2020; accepted: Jan. 5^th, 2021; published: Jan. 20^th, 2021

ABSTRACT

This paper studies an optimal problem of backward stochastic differential delay equation. By means of a three-coupled system of adjoint equations, we give a sufficient condition for optimal control. As an application, a financial example is presented to illustrate the theoretical result.

Keywords:Backward Stochastic Differential Delay Equation, Optimal Control, Adjoint Equation

Copyright © 2021 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

近来，Delong，Imkeller [1] 研究了一种含有状态延迟的新型倒向随机微分方程，本文称之为倒向随机微分时滞方程。随后，对于这种方程的最优控制问题也陆续展开，涌现出一些有代表性的成果。比如：Chen，Huang [2] 研究了倒向随机微分时滞方程的最优控制问题并给出相应的最大值原理；而Shi，Wang则在文献 [3] 中研究了一个倒向随机微分时滞方程的非零和微分对策，他们得到了纳什均衡点满足的必要和充分条件。本文的特点是采用两个倒向和一个正向随机微分方程作为伴随方程，这和文献 [2] [3] 中的不同，那里的伴随方程是时间超前的正向随机微分方程。借助于伴随方程，文中给出最优控制满足的充分条件。最后，通过一个金融市场中的最优消费问题来说明主要结果的应用。

2. 问题描述

本文以R来表示一维欧式空间；以 $T>0$ 表示终端时间；以 $\left(\Omega ,F,{\left\{F_t\right\}}_{t\ge 0},P\right)$ 表示具有 $\sigma$ -代数族的完备的概率空间； $W\left(t\right)$ 表示一维标准布朗运动，且有 $F_t=\sigma \left\{W\left(s\right),0\le s\le t\right\},F=F_T$ ；此外：

$L^2\left(r,s;R\right)=\left\{\phi \left(t\right)|\phi \left(t\right)是R值确定性的函数且{\displaystyle {\int }_r^s{\phi }^2\left(t\right)\text{d}t<+\infty }\right\};$

$L^2\left(F_t;R\right)=\left\{\zeta |\zeta 是R值F_t可测随机变量且E{\zeta }^2<+\infty \right\};$

$L_F^2\left(r,s;R\right)=\left\{\psi (\cdot )|\psi (\cdot )是R值F_t适应的随机过程且E{\displaystyle {\int }_r^s{\psi }^2\left(t\right)\text{d}t}<+\infty \right\}.$

现在从下面的状态方程开始：

$\{\begin{array}{l}-\text{d}{y}^v\left(t\right)=f\left(t,y^v\left(t\right),y_{\delta }^v\left(t\right),{\bar{y}}^v\left(t\right),z^v\left(t\right),v\left(t\right)\right)-z^v\left(t\right)\text{d}W\left(t\right),t\in \left[0,T\right)\\ y^v\left(T\right)=\xi ,y\left(t\right)=\phi \left(t\right),t\in \left[-\delta ,0\right).\end{array}$ (1)

这里， $f:\left[0,T\right]\times R\times R\times R\times R\times R\times R\to R$ 是连续函数； $y_{\delta }^v\left(t\right)=y^v\left(t-\delta \right)$ ； ${\bar{y}}^v\left(t\right)={\displaystyle {\int }_{-\delta }^0{\text{e}}^{\lambda s}{y}^v\left(t+s\right)\text{d}s}$ ； $\xi \in L^2\left(F_T;R\right)$ ； $\phi \left(t\right)\in L^2\left(-\delta ,0;R\right)$ ； $v(\cdot )\in L_F^2\left(0,T;R\right)$ 是控制过程。价值泛函如下：

$J\left(v(\cdot )\right)=E{\displaystyle {\int }_0^{T}l\left(t,y^v\left(t\right),y_{\delta }^v\left(t\right),{\bar{y}}^v\left(t\right),z^v\left(t\right),v\left(t\right)\right)\text{d}t}+h\left(y^v\left(0\right)\right),$

我们的问题是寻找控制 $u(\cdot )$，使得： $J\left(u(\cdot )\right)=\underset{v(\cdot )\in L_F^2\left(0,T;R\right)}{\max }J\left(v(\cdot )\right)$。

以下给出两个假定：

(H2.1) f是连续可微的；偏导 $f_y,f_{y_{\delta }},f_{\bar{y}},f_z,f_v$ 是一致有界的；

(H2.2) l和h是连续可微的，且存在 $C>0$，使得：

$\left|l_y\right|+\left|l_{y_{\delta }}\right|+\left|l_{\bar{y}}\right|+\left|l_z\right|+\left|l_v\right|+\left|h_y\right|\le C\left(1+\left|y\right|+\left|y_{\delta }\right|+\left|\bar{y}\right|+\left|z\right|+\left|v\right|\right)$。

然后有以下解的存在唯一性结果。

引理 [2] 如果(H2.1)成立，则对于任意的 $v(\cdot )\in L_F^2\left(0,T;R\right)$ 以及充分小的 $\delta$，方程(1)有唯一的解 $\left(y^v(\cdot ),z^v(\cdot )\right)\in L_F^2\left(-\delta ,T;R\right)\times L_F^2\left(-\delta ,T;R\right)$。

3. 充分条件

本节将建立最优控制 $u(\cdot )$ 满足的充分条件，为此，我们先定义Hamiltonian函数 $H:\left[0,T\right]\times R\times R\times R\times R\times R\times R\times R\to R$ 如下：

$H\left(t,y,y_{\delta },\bar{y},z,v,p,\bar{p}\right)=l\left(t,y,y_{\delta },\bar{y},z,v\right)-p\cdot f\left(t,y,y_{\delta },\bar{y},z,v\right)+\bar{p}\cdot \left(y-\lambda \bar{y}-{\text{e}}^{-\lambda \delta }{y}_{\delta }\right),$

并引入伴随方程：

$\{\begin{array}{l}\text{d}p\left(t\right)=-H_y\left(t\right)\text{d}t-H_z\left(t\right)\text{d}W\left(t\right),\\ p\left(0\right)=h_y\left(y^u\left(0\right)\right),\end{array}$ (2)

$\{\begin{array}{l}\text{d}\bar{p}\left(t\right)=-H_{\bar{y}}\left(t\right)\text{d}t-\bar{q}\left(t\right)\text{d}W\left(t\right),\\ \bar{p}\left(T\right)=0,\end{array}$ (3)

$\{\begin{array}{l}\text{d}\tilde{p}\left(t\right)=-H_{y_{\delta }}\left(t\right)\text{d}t-\tilde{q}\left(t\right)\text{d}W\left(t\right),\\ \tilde{p}\left(T\right)=0.\end{array}$ (4)

为简化，记 ${\theta }^u\left(t\right)=\left(y^u\left(t\right),y_{\delta }^u\left(t\right),{\bar{y}}^u\left(t\right),z^u\left(t\right)\right),H\left(t\right)=H\left(t,{\theta }^u\left(t\right),u\left(t\right),p\left(t\right),\bar{p}\left(t\right)\right)$。然后我们有以下主要结果。

定理 假设(H2.1)和(H2.2)成立，而 $u(\cdot )$ 是某个给定控制。假设有：(i) 对任意 $t\in \left[0,T\right]$，$H_v\left(t,{\theta }^u\left(t\right),v,p\left(t\right),\bar{p}\left(t\right)\right)$ 在 $v=u\left(t\right)$ 处连续；(ii) 对于 $p\left(t\right)$ 和 $\bar{p}\left(t\right)$，$H\left(t,\cdot ,\cdot ,\cdot ,\cdot ,\cdot ,p\left(t\right),\bar{p}\left(t\right)\right)$ 和 $h(\cdot )$ 是凸的；(iii) 方程(2)~(4)有解且 $\left(\tilde{p}(\cdot ),\tilde{q}(\cdot )\right)=0$ ；(iv) $H\left(t,{\theta }^u\left(t\right),u\left(t\right),p\left(t\right),\bar{p}\left(t\right)\right)={\max }_{v\in R}H\left(t,{\theta }^u\left(t\right),v,p\left(t\right),\bar{p}\left(t\right)\right)$。那么 $u(\cdot )$ 是最优的。

证明：对于任意控制 $v(\cdot )$，由Hamiltonian函数H的定义，可以验证：

$\begin{array}{c}J\left(v(\cdot )\right)-J\left(u(\cdot )\right)=E{\displaystyle {\int }_0^T\{H\left(t,{\theta }^v\left(t\right),v\left(t\right),p\left(t\right),\bar{p}\left(t\right)\right)}-H\left(t,{\theta }^u\left(t\right),u\left(t\right),p\left(t\right),\bar{p}\left(t\right)\right)\\ +p\left(t\right)\left(f\left(t,{\theta }^v\left(t\right),v\left(t\right)\right)-f\left(t,{\theta }^u\left(t\right),u\left(t\right)\right)\right)\\ -\bar{p}\left(t\right)\left(y^v\left(t\right)-\lambda {\bar{y}}^v\left(t\right)-{\text{e}}^{-\lambda \delta }{y}_{\delta }^v\left(t\right)-\left(y^u\left(t\right)-\lambda {\bar{y}}^u\left(t\right)-{\text{e}}^{-\lambda \delta }{y}_{\delta }^u\left(t\right)\right)\right)\}\text{d}t\\ +h\left(y^v\left(0\right)\right)-h\left(y^u\left(0\right)\right)\end{array}$ (5)

对 $p\left(t\right)\left(y^v\left(t\right)-y^u\left(t\right)\right)+\bar{p}\left(t\right)\left({\bar{y}}^v\left(t\right)-{\bar{y}}^u\left(t\right)\right)+\tilde{p}\left(t\right)\left(y_{\delta }^v\left(t\right)-y_{\delta }^u\left(t\right)\right)$ 利用伊藤公式，可得：

$\begin{array}{c}0=E{\displaystyle {\int }_0^T\{-H_y\left(t\right)\left(y^v\left(t\right)-y^u\left(t\right)\right)}-p\left(t\right)\left(f\left(t,{\theta }^v\left(t\right),v\left(t\right)\right)-f\left(t,{\theta }^u\left(t\right),u\left(t\right)\right)\right)\\ -H_{\bar{y}}\left(t\right)\left({\bar{y}}^v\left(t\right)-{\bar{y}}^u\left(t\right)\right)-H_{y_{\delta }}\left(t\right)\left(y_{\delta }^v\left(t\right)-y_{\delta }^u\left(t\right)\right)-H_z\left(t\right)\left(z^v\left(t\right)-z^u\left(t\right)\right)\\ +\bar{p}\left(t\right)\left(y^v\left(t\right)-\lambda {\bar{y}}^v\left(t\right)-{\text{e}}^{-\lambda \delta }{y}_{\delta }^v\left(t\right)-\left(y^u\left(t\right)-\lambda {\bar{y}}^u\left(t\right)-{\text{e}}^{-\lambda \delta }{y}_{\delta }^u\left(t\right)\right)\right)\}\text{d}t\\ -h_y\left(y^u\left(0\right)\right)\left(y^v\left(0\right)-y^u\left(0\right)\right)\end{array}$ (6)

结合(5)和(6)可知

$\begin{array}{c}J\left(v(\cdot )\right)-J\left(u(\cdot )\right)=E{\displaystyle {\int }_0^T\{H\left(t,{\theta }^v\left(t\right),v\left(t\right),p\left(t\right),\bar{p}\left(t\right)\right)}-H\left(t,{\theta }^u\left(t\right),u\left(t\right),p\left(t\right),\bar{p}\left(t\right)\right)\\ -H_y\left(t\right)\left(y^v\left(t\right)-y^u\left(t\right)\right)-H_{\bar{y}}\left(t\right)\left({\bar{y}}^v\left(t\right)-{\bar{y}}^u\left(t\right)\right)-H_{y_{\delta }}\left(t\right)\left(y_{\delta }^v\left(t\right)-y_{\delta }^u\left(t\right)\right)\\ -H_z\left(t\right)\left(z^v\left(t\right)-z^u\left(t\right)\right)\}\text{d}t+h\left(y^v\left(0\right)\right)-h\left(y^u\left(0\right)\right)-h_y\left(y^u\left(0\right)\right)\left(y^v\left(0\right)-y^u\left(0\right)\right).\end{array}$ (7)

由(7)，然后利用H和h的凸性有

$J\left(v(\cdot )\right)-J\left(u(\cdot )\right)\le E{\displaystyle {\int }_0^T{H}_v\left(t,{\theta }^u\left(t\right),u\left(t\right),p\left(t\right),\bar{p}\left(t\right)\right)\left(v\left(t\right)-u\left(t\right)\right)\text{d}t}$

再由假设(ii)和(iv)可知：

$H_v\left(t,{\theta }^u\left(t\right),u\left(t\right),p\left(t\right),\bar{p}\left(t\right)\right)\left(v\left(t\right)-u\left(t\right)\right)\le 0$

这说明 $J\left(v(\cdot )\right)-J\left(u(\cdot )\right)\le 0$，从而 $u(\cdot )$ 是最优的。证毕。

方程(2)是一个正向随机微分方程，而(3)、(4)是两个倒向随机微分方程，它们是相互耦合的，因此解的存在性并非显然，读者可参考文献 [4] 来进一步了解正倒向随机微分方程解的存在性问题。然而在某些特殊的情况下，方程(2)~(4)的解确实存在，从而可以利用以上定理来确定最优控制，让我们来看一个例子。

4. 应用

考虑一个金融市场，其中有一种债券和一种股票可以交易。它们的价格满足：

$\text{d}B\left(t\right)=r\left(t\right)B\left(t\right)\text{d}t,B\left(0\right)=b_0$

以及

$\text{d}S\left(t\right)=S\left(t\right)\left[\mu \left(t\right)\text{d}t+\sigma \left(t\right)\text{d}W\left(t\right)\right],S\left(0\right)=s_0$

其中， $r\left(t\right)$ 为无风险利率； $\mu \left(t\right)$ 为增值回报率； $\sigma \left(t\right)$ 为股票波动系数。给出以下假设：

(H4.1) $r\left(t\right),\mu \left(t\right),\sigma \left(t\right)$ 是确定性的函数；它们和 ${\sigma }^{-1}\left(t\right)$ 都是一致有界的。

我们这里假定只有一种股票是为了简化论述，多种股票的情形并无本质区别。假设某人投资债券和股票，他需要在时刻T达成财富目标 $\xi$，与此同时，投资人希望最大化他的效用泛函J。我们以 $\pi (\cdot )$ 来表示在股票上的投资量，以 $y(\cdot )$ 来表示财富过程，以 $c(\cdot )$ 来表示投资者的瞬时消费率。假设投资人可以根据过去的投资表现来注入或者撤出资金，比如投资表现好就追加投入，否则就撤出部分资金回避风险，则财富过程可以用下述倒向随机微分时滞方程来描述：

$\{\begin{array}{l}\text{d}y\left(t\right)=\left[\tilde{r}\left(t\right)y\left(t\right)-\beta \left(t\right)y_{\delta }\left(t\right)-\alpha \bar{y}\left(t\right)+\pi \left(t\right)b\left(t\right)-c\left(t\right)\right]\text{d}t+\pi \left(t\right)\sigma \left(t\right)\text{d}W\left(t\right),\\ y\left(T\right)=\xi ,y\left(t\right)=0,t\in \left[-\delta ,0\right).\end{array}$ (7)

这里， $\alpha >0$，而 $\beta \left(t\right)$ 是某个确定性的函数， $\tilde{r}\left(t\right)=r\left(t\right)+\alpha +\beta \left(t\right)$，$b\left(t\right)=\mu \left(t\right)-r\left(t\right)$。如果记 $z\left(t\right)=\pi \left(t\right)\sigma \left(t\right)$，则(7)可改写为：

$\{\begin{array}{l}\text{d}y\left(t\right)=\left[\tilde{r}\left(t\right)y\left(t\right)-\beta \left(t\right)y_{\delta }\left(t\right)-\alpha \bar{y}\left(t\right)+b\left(t\right){\sigma }^{-1}\left(t\right)z\left(t\right)-c\left(t\right)\right]\text{d}t+z\left(t\right)\text{d}W\left(t\right),\\ y\left(T\right)=\xi ,y\left(t\right)=0,t\in \left[-\delta ,0\right).\end{array}$ (8)

假设投资者的效用泛函为：

$J\left(c(\cdot )\right)=E{\displaystyle {\int }_0^{T}L{\text{e}}^{-\gamma t}\frac{c{\left(t\right)}^{1-R}}{1-R}\text{d}t-K\left(y\left(0\right)\right),}$

这里， $L>0,K>0,\gamma >0,0<R<1$。投资者的目的是最大化以上效用泛函。上述实例可以看成文献 [5] 中应用的一个推广，现在利用第三节的结果来解决这个问题。

此时，Hamiltonian函数为：

$\begin{array}{c}H\left(t,y,y_{\delta },\bar{y},z,c,p,\bar{p}\right)=L{\text{e}}^{-\gamma t}\frac{c^{1-R}}{1-R}-p\left(\tilde{r}\left(t\right)y-\beta \left(t\right)y_{\delta }-\alpha \bar{y}+{\sigma }^{-1}\left(t\right)b\left(t\right)z-c\right)\\ +\bar{p}\left(y-\lambda \bar{y}-{\text{e}}^{-\lambda \delta }{y}_{\delta }\right),\end{array}$

而伴随方程满足：

$\{\begin{array}{l}\text{d}p\left(t\right)=-\left[\tilde{r}\left(t\right)p\left(t\right)+\bar{p}\left(t\right)\right]\text{d}t-{\sigma }^{-1}\left(t\right)b\left(t\right)p\left(t\right)\text{d}W\left(t\right),\\ p\left(0\right)=K,\end{array}$ (9)

$\{\begin{array}{l}\text{d}\bar{p}\left(t\right)=\left[\alpha p\left(t\right)+\lambda \bar{p}\left(t\right)\right]\text{d}t-\bar{q}\left(t\right)\text{d}W\left(t\right),\\ \bar{p}\left(T\right)=0,\end{array}$ (10)

$\{\begin{array}{l}\text{d}\tilde{p}\left(t\right)=\left[\beta \left(t\right)p\left(t\right)+{\text{e}}^{-\lambda \delta }\bar{p}\left(t\right)\right]\text{d}t-\tilde{q}\left(t\right)\text{d}W\left(t\right),\\ \tilde{p}\left(T\right)=0,\end{array}$ (11)

为确保 $\left(\tilde{p}(\cdot ),\tilde{q}(\cdot )\right)=0$，令

$\beta \left(t\right)p\left(t\right)+{\text{e}}^{-\lambda \delta }\bar{p}\left(t\right)=0,$ (12)

然后对 $\beta \left(t\right)p\left(t\right)$ 利用伊藤公式得：

$\text{d}\beta \left(t\right)p\left(t\right)=\left\{-\beta \left(t\right)\left[\tilde{r}\left(t\right)p\left(t\right)+\bar{p}\left(t\right)\right]+\stackrel{\dot{}}{\beta }\left(t\right)p\left(t\right)\right\}\text{d}t-\beta \left(t\right){\sigma }^{-1}\left(t\right)b\left(t\right)p\left(t\right)\text{d}W\left(t\right),$ (13)

把(12)代入(13)，再把它和(10)比较系数，可知 $\beta \left(t\right)$ 应满足：

$\{\begin{array}{l}\stackrel{\dot{}}{\beta }\left(t\right)-\left(\tilde{r}\left(t\right)+\lambda \right)\beta \left(t\right)+{\text{e}}^{\lambda \delta }{\beta }^2\left(t\right)+{\text{e}}^{-\lambda \delta }\alpha =0,\\ \beta \left(T\right)=0\end{array}$ (14)

以及 $\bar{q}\left(t\right)=-{\text{e}}^{\lambda \delta }\beta \left(t\right){\sigma }^{-1}\left(t\right)b\left(t\right)p\left(t\right)$。因 $\tilde{r}\left(t\right)=r\left(t\right)+\alpha +\beta \left(t\right)$，(14)也可写为：

$\{\begin{array}{l}\stackrel{\dot{}}{\beta }\left(t\right)-\left(r\left(t\right)+\alpha +\lambda \right)\beta \left(t\right)+\left({\text{e}}^{\lambda \delta }-1\right){\beta }^2\left(t\right)+{\text{e}}^{-\lambda \delta }\alpha =0,\\ \beta \left(T\right)=0\end{array}$ (15)

注意(15)并非标准Riccati方程。如果 $\alpha =0$，显然 $\beta (t)=0$。我们讨论 $\alpha >0$ 的情形。令 $A\left(t\right)=r\left(t\right)+\alpha +\lambda$，$B={\text{e}}^{\lambda \delta }-1$，$C={\text{e}}^{-\lambda \delta }\alpha$，${\beta }_1\left(t\right)=\sqrt{B}\beta \left(t\right)-\sqrt{C}$。如果 $B=0$，(15)显然有解。现假设 $B>0$，可以验证：

$\{\begin{array}{l}{\stackrel{\dot{}}{\beta }}_1\left(t\right)-\left(A\left(t\right)-2\sqrt{BC}\right){\beta }_1\left(t\right)+\sqrt{B}{\beta }_1^2\left(t\right)-\sqrt{C}\left(A\left(t\right)-2\sqrt{BC}\right)=0,\\ {\beta }_1\left(T\right)=-\sqrt{C}.\end{array}$ (16)

当 $A\left(t\right)-2\sqrt{BC}\ge 0,\forall t\in \left[0,T\right]$ 时，由文献 [6] 中的命题4.2可知，(16)有唯一的解 ${\beta }_1\left(t\right)<0$。从而(15)有解 $\beta \left(t\right)={\beta }_1\left(t\right)+\sqrt{C}/\sqrt{B}$。

然后把(12)代入(9)可解得 $p\left(t\right)=K\Psi \left(t\right)$，这里， $\Psi \left(t\right)$ 满足：

$\{\begin{array}{l}\text{d}\Psi \left(t\right)=-\left[r\left(t\right)+\alpha +\left(1-{\text{e}}^{\lambda \delta }\right)\beta \left(t\right)\right]\Psi \left(t\right)\text{d}t-{\sigma }^{-1}\left(t\right)b\left(t\right)\Psi \left(t\right)\text{d}W\left(t\right),\\ \Psi \left(0\right)=1.\end{array}$ (17)

我们令：

$c^{*}\left(t\right)={\left(L{\text{e}}^{-\gamma t}\right)}^{\frac{1}{R}}{\left(p\left(t\right)\right)}^{-\frac{1}{R}}={\left(\frac{L}{K}\right)}^{\frac{1}{R}}{\left(\Psi \left(t\right)\right)}^{-\frac{1}{R}}{\text{e}}^{-\frac{\gamma }{R}t}$ (18)

根据第三节的定理可以验证， $c^{*}(\cdot )$ 是最优控制。

我们总结以上分析后有如下结论。

命题 假定(H4.1)成立。如果 $\alpha >0$ 且 $r\left(t\right)\ge 2\sqrt{\alpha \left(1-{\text{e}}^{-\lambda \delta }\right)}-\alpha -\lambda ,\forall t\in \left[0,T\right]$ (即： $A\left(t\right)-2\sqrt{BC}\ge 0$ )， $\beta \left(t\right)$ 满足(15)，那么 $c^{*}(\cdot )$ 是投资者的最优消费。

文章引用

吴 霜. 一个倒向随机微分时滞方程的最优控制问题
An Optimal Control Problem of Backward Stochastic Differential Delay Equation[J]. 应用数学进展, 2021, 10(01): 137-142. https://doi.org/10.12677/AAM.2021.101016

参考文献