中国地质大学(武汉)，数学与物理学院，湖北 武汉

收稿日期：2024年4月29日；录用日期：2024年5月22日；发布日期：2024年5月31日

摘要

最优控制问题广泛应用于工程学、经济学、生物学等众多领域。由于寻求解析解往往极具挑战性，人们通常采用设计合适的数值算法来求解其数值解。在这些问题中，刚性最优控制问题的数值求解方法尤为关键，这类问题的处理通常面临两难选择：问题的刚性特性容易引起数值方法的不稳定性，而过度追求数值格式的稳定性则可能导致计算成本显著增加，使得算法难以实用。本文专注于一类特定的刚性最优控制问题，通过改进传统的正则化前后扫描迭代算法，既保证了算法的稳定性，同时也显著提高了计算效率。最后通过数值实验验证了上述结论。

关键词

最优控制问题，刚性，前后扫描迭代算法

Improved Regularization Forward-Backward Scan Iterative Algorithm for Solving Rigid Optimal Control Problems

Yuheng Lin

School of Mathematics and Physics, China University of Geosciences (Wuhan), Wuhan Hubei

Received: Apr. 29^th, 2024; accepted: May 22^nd, 2024; published: May 31^st, 2024

ABSTRACT

Optimal control problems are prevalent in various fields such as engineering, economics, and biology. As finding analytical solutions is often highly challenging, suitable numerical algorithms are typically employed to derive numerical solutions. Among these, the numerical resolution of stiff optimal control problems is particularly crucial, as it often involves a dilemma: the stiffness of the problem can easily lead to instability in numerical methods, while excessively prioritizing the stability of numerical schemes can significantly increase computational costs, rendering the algorithms impractical. This paper focuses on a specific type of stiff optimal control problem and enhances the traditional regularized forward-backward scan iterative algorithm. This improvement not only ensures the stability of the algorithm but also significantly enhances its computational efficiency. Finally, the above conclusions are verified by numerical experiments.

Keywords:Optimal Control Problem, Stiffness, Forward-Backward Scan Iterative Algorithm

Copyright © 2024 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

最优控制问题是推导控制策略的一种数学优化方法，作为变分法的拓展，其历史最早可追溯到三百多年前。其中，带有常微分方程约束的最优控制问题是十分常见且基础性的一类问题，它通常对应着实际生产生活中的控制问题经过数学建模后，再进行空间(或时间)离散后得到的半离散问题，其一般形式表现为：

和一般的最优控制问题类似，带有常微分方程约束的最优控制问题理论研究以苏联学者庞特里亚金和美国学者贝尔曼 [1] 给出的最优必要条件为基础，在Hopfield神经网络优化 [2] 、混沌优化控制 [3] 以及鲁棒控制 [4] 等多个领域都发展出了丰富的理论结果，推动了包括航天航空、物理化学反应精细化研究在内的各个科学研究领域的发展。

然而，绝大多数带常微分方程约束的最优控制问题并不能通过解析的方式求得其最优解，因此有必要构造有效的数值计算方法来求其数值最优解。一般，数值求解最优控制问题的方法分为两大类：直接法和间接法：所谓直接法就是对问题先离散再优化，主要包括直接配点法和控制参数化方法；而间接法就是基于最优性条件对问题先优化，然后再离散求解，具体方法主要包括边界迭代法和拟线性化法。

Li等人通过引入增广的哈密顿量，构造了一种新的间接法即正则化前后扫描迭代算法用于求解庞特里亚金最小值原理 [5] ；文献 [6] 在此基础上证明了采用辛龙格库塔方法离散上述选代格式的全局收敛性，使得应用正则化前后选代算法求解带常微分方程约束的最优控制问题成为可能。

在本文中，考虑一类带有刚性微分方程的最优控制问题(OptimalControl Problem, OCP)：

$\text{Minimize}J=j\left(x\left(T\right)\right)+{\displaystyle {\int }_0^{T}L\left(x\left(t\right),u\left(t\right)\right)\text{d}t}\text{.}$ (1.1)

受到微分方程和初值条件约束：

$\stackrel{\dot{}}{x}\left(t\right)=f\left(x\left(t\right),u\left(t\right)\right)+g\left(x\left(t\right),u\left(t\right)\right),t\in \left[0,T\right]$ (1.2)

$x\left(0\right)=x_0,$ (1.3)

其中f为非刚性项，而g为刚性项：在对现实世界系统的数学建模中，f和g通常是对系统的空间导数利用有限差分或有限元方法近似后剩下的时间导数算子，由这两个算子引起的时间尺度可能会有很大的不同；尽管整个方程依然是刚性的，但在选代离散求解的过程中对于f和g分别进行不同处理是非常有意义的：如果为了保证稳定性而对包括非刚性项之内的整个系统采用隐式格式进行求解，将会产生十分昂贵的计算成本，但这在一定程度上是可以避免的。

2. 改进算法的构造

2.1. 正则化前后扫描迭代算法

引入协态变量λ，定义上述问题的哈密顿量如下：

$H\left(x,\lambda ,u\right):=L\left(x,u\right)+{\lambda }^{\text{T}}\left(f\left(x,u\right)+g\left(x,u\right)\right)$

在适当条件下，最优控制问题(1.1)~(1.3)的一阶最优性条件如下 [7] [8] ：

$\stackrel{\dot{}}{x}=H_{\lambda }\left(x,\lambda ,u\right)=f\left(x,u\right)+g\left(x,u\right),x\left(0\right)=x_0,$ (2.1)

$\lambda =-H_x\left(x,\lambda ,u\right)=-L_x\left(x,u\right)-f_x{\left(x,u\right)}^{\text{T}}\lambda -g_x{\left(x,u\right)}^{\text{T}}\lambda ,\lambda \left(T\right)=j^{\prime }\left(x\left(T\right)\right),$ (2.2)

$0=H_u\left(x,\lambda ,u\right)=L_u\left(x,u\right)+f_u{\left(x,u\right)}^{\text{T}}\lambda +b_u{\left(x,u\right)}^{\text{T}}\lambda ,$ (2.3)

Li等人在2018年提出了一种正则化前后扫描迭代的算法，来求解一般最优控制问题中的庞特里亚金最大值原理(即一阶最优性条件)，该方法借鉴了增广拉格朗日函数的思想，引入拓展的哈密顿函数：

$\tilde{H}\left(x,\lambda ,u,p,q\right)=H\left(x,\lambda ,u\right)-\frac{\rho }{2}\left({\Vert p-H_{\lambda }\left(x,\lambda ,u\right)\Vert }^2+{\Vert q+H_x\left(x,\lambda ,u\right)\Vert }^2\right)$

正则化前后扫描迭代算法可以描述为：

其中正则化参数 $\rho >0$ 。需要注意到，在算法的第三、四步分别更新x和λ时，拓展的哈密顿函数都等同于原本的哈密顿函数，正则项仅在第五步更新u时起作用。

要想得到最优解，还需要在算法的框架下采用某种离散格式，将连续最优控制问题进行离散选代求解。在离散格式的选择上，为了确保计算结果的收敛性，将采用辛龙格库塔方法 [6] ，完整的离散格式将在下一节中介绍。

2.2. 改进后的正则化前后扫描迭代算法

为了方便后续对f和g进行不同处理，将状态变量x分裂成两个不同的状态变量 $x_1$ 和 $x_2$ ，重新定义问题的哈密顿量：

$K\left(x_1,x_2,\lambda ,u\right):=L\left(x_2,u\right)+{\lambda }^{\text{T}}\left(f\left(x_1,u\right)+g\left(x_2,u\right)\right)$

需要注意到，当 $x_1,x_2$ 取值相同时，新定义的哈密顿量K与之前的哈密顿量H相同，即

$K\left(x_1,x_2,\lambda ,u\right)=H\left(x,\lambda ,u\right),x_1=x_2=x.$

在此基础上，依据正则化前后扫描迭代算法的构造思路，引入正则化参数ρ，定义拓展的哈密顿量：

$\begin{array}{c}\tilde{K}\left(x_1,x_2,\lambda ,u,p,q\right)=K\left(x_1,x_2,\lambda ,u\right)\\ -\frac{\rho }{2}\left({\Vert p-K_{\lambda }\left(x_1,x_2,\lambda ,u\right)\Vert }^2+{\Vert q+K_{x1}\left(x_1,x_2,\lambda ,u\right)+K_{x2}\left(x_1,x_2,\lambda ,u\right)\Vert }^2\right)\end{array}$ (2.4)

在选代更新的过程中为了降低计算成本，对于f这一项采用显式格式进行更新计算，由于算子f是非刚性的，所以显式更新也不会影响其数值稳定性；对于f以外的其他项，由于其具有刚性，为保证数值算法的稳定性，依然采用隐式更新。具体而言，在第 $k+1$ 次选代时，根据以下格式按顺序更新x、λ和u：

${\stackrel{\dot{}}{x}}^{\left(k+1\right)}={\tilde{K}}_{\lambda }\left(x^{\left(k\right)},x^{\left(k+1\right)},{\lambda }^{\left(k\right)},u^{\left(k\right)},{\stackrel{\dot{}}{x}}^{\left(k+1\right)},{\stackrel{\dot{}}{\lambda }}^{\left(k+1\right)}\right)$ (2.5)

$\begin{array}{c}{\stackrel{\dot{}}{\lambda }}^{\left(k+1\right)}=-{\tilde{K}}_{x_1}\left(x^{\left(k+1\right)},x^{\left(k+1\right)},{\lambda }^{\left(k+1\right)},u^{\left(k\right)},{\stackrel{\dot{}}{x}}^{\left(k+1\right)},{\stackrel{\dot{}}{\lambda }}^{\left(k+1\right)}\right)\\ -{\tilde{K}}_{x_2}\left(x^{\left(k+1\right)},x^{\left(k+1\right)},{\lambda }^{\left(k+1\right)},u^{\left(k\right)},{\stackrel{\dot{}}{x}}^{\left(k+1\right)},{\stackrel{\dot{}}{\lambda }}^{\left(k+1\right)}\right)\end{array}$ (2.6)

(2.7)

上式经由s阶辛龙格库塔格式离散后的迭代格式如下：

(2.8)

(2.9)

(2.10)

(2.11)

(2.12)

$0={\tilde{K}}_U\left(X_{n,i}^{\left(k+1\right)},x_{n,i}^{\left(k+1\right)},{\Lambda }_{n,i}^{\left(k+1\right)},U_{n,i}^{\left(k+1\right)},\frac{x_{n+1}^{\left(k+1\right)}-X_n^{\left(k+1\right)}}{\tau },\frac{{\lambda }_{n+1}^{\left(k+1\right)}-{\lambda }_n^{\left(k+1\right)}}{\tau }\right)$ (2.13)

其中 $X_n=\left(X_{n,1},\cdots ,X_{n,s}\right),{\Lambda }_n=\left({\Lambda }_{n,1},\cdots ,{\Lambda }_{n,s}\right),U_n=\left(U_{n,1},\cdots ,U_{n,s}\right)$ 分别表示状态变量x、协态变量λ和控制变量u在辛龙格库塔格式下在第 $n+1$ 个小区间中内点上的取值。另外，为了保证离散格式的辛性，上述公式中的系数除了要满足龙格库塔方法的基本要求外，还需满足以下关系 [9] ：

${\tilde{a}}_{ij}=b_j-b_j{a}_{ij}/b_i$

需要注意的是，与寻常的正则化前后扫描迭代算法相比，改进后的算法只在状态变量更新过程中有所不同，在协态变量和控制变量的更新计算中，状态变量为已知量，不会发生改变。

3. 数值实验

为了探讨新构造出来的算法的性质，本章采用Python3.9编程实现该算法来求解一个刚性最优控制问题实例。考虑如下带有奇异扰动微分方程约束的刚性最优控制问题

$\text{Minimize}J=c(\; 1\; )$

受微分方程和初值条件约束：

$c\left(t\right)=\frac{1}{2}\left(u^2\left(t\right)+x^2\left(t\right)+4z^2\left(t\right)\right),c\left(0\right)=0,$ (3.1)

$\stackrel{\dot{}}{x}\left(t\right)=z\left(t\right)+u\left(t\right),x\left(0\right)=1,$ (3.2)

$\stackrel{\dot{}}{z}\left(t\right)=\frac{1}{ϵ}\left(\frac{1}{2}x\left(t\right)-z\left(t\right)\right),z\left(0\right)=\frac{1}{2},$ (3.3)

其中 $ϵ>0$ (在本实验中不失普遍性地取 $ϵ=0.15$ )。显然，微分方程中的刚性项和非刚性项可以分开来独立表示，即令：

$y=\left(\begin{array}{c}c\\ x\\ z\end{array}\right),f\left(y,u\right)=\left(\begin{array}{c}\frac{1}{2}\left(u^2+x^2+4z^2\right)\\ z+u\\ 0\end{array}\right),g\left(y\right)=\frac{1}{\int }\left(\begin{array}{c}0\\ 0\\ \frac{1}{2}x-z\end{array}\right),$ (3.4)

这样就将非刚性项f和刚性项y分离开了。

设步长 $\tau =0.01$ ，选代终止条件 $\delta ={10}^{-5}$ ，离散格式选取辛中点格式 $\left(s=1,a_{11}=b_1=0.5\right)$ 。经过118次迭代，得到问题数值解(见图1)。

随着步长τ的变小，指标函数也趋向收敛(见图2)。

与改进前的算法相比，在相同的选代终止条件下，新算法所需的迭代次数更少，即新算法的数值收敛速度更快，并且，这个速度上的差距会随着步长的变大而增大(见图3)。

同样地，与改进前的算法算法相比，新算法拥有更少的CPU耗时，这表明改进后的新算法有着更高的计算效率(见图4)。

虽然在本实验的示例问题求解过程中两种算法的CPU耗时差距不大，但当系统变得更加高维或体量更大时，采用新算法将能节约相当可观的时间，降低计算成本。因此，本文中对传统的正则化前后扫描迭代算法的改进是有效且有意义的。

图1. 用改进后中点方法求得的x(t)，u(t)和λ(t)

图2. 改进后方法在不同tau值下得到的成本泛函值

图3. 改进后中点法和原中点法在不同tau取值下所需的迭代次数

图4. 改进后中点法和原中点法在不同delta取值下所需的CPU耗时

4. 总结与展望

本文向经典的正则化前后扫描迭代算法迭代过程中引入一种混合更新机制，对非刚性项项采用显式更新，而对其余项则采用隐式更新，使其用于一类特殊的有实际应用背景的刚性最优控制问题时，相比经典的算法有着更高的计算效率和更低的计算成本，最后通过数值实验证实了这个结论。

文章引用

林钰珩. 改进的正则化前后扫描迭代算法求解刚性最优控制问题
Improved Regularization Forward-Backward Scan Iterative Algorithm for Solving Rigid Optimal Control Problems[J]. 应用数学进展, 2024, 13(05): 2499-2505. https://doi.org/10.12677/aam.2024.135238

参考文献