ABSTRACT

In this paper, we give the Lipschitz condition for a class of discrete-time control problems in which the system has unique solution. Further, we present the control variable transformation function by using the control parameterization method. As a result, the optimal control problem we are considering is converted to a nonlinear differentiable programming problem. Then we put forward a class of first-order optimality conditions for this optimal control problem. Finally, two examples are provided to demonstrate the effectiveness of the proposed first-order optimality conditions.

Keywords:Contraction Fixed Point Theorem, Control Parameterization Method, Optimality Condition

一类离散时间最优控制问题的一阶最优性条件

杨小杭¹，徐应涛^2*，张莹¹，杜林岳³

¹浙江师范大学数理与信息工程学院，浙江 金华

²浙江师范大学行知学院，浙江 金华

³浙江师范大学人事处，浙江 金华

收稿日期：2016年11月10日；录用日期：2016年11月26日；发布日期：2016年11月30日

摘 要

本文对一类离散时间的控制问题，提出了存在唯一解的Lipschitz条件，并进一步地，引进控制参数化方法定义控制变量转化函数，将最优控制问题等价转化为非线性可微规划问题，得到了此类最优控制问题的一阶最优性条件。最后，给出两个算例用以验证如上提出的一阶最优性条件。

关键词 :压缩不动点定理，控制参数化方法，最优性条件

1. 引言

对于离散时间最优控制问题，应用控制变量参数化方法 [1] [2] 将最优控制问题转化为非线性规划问题进而求解是目前比较有效的途径。很多学者对如何运用优化算法求解转化后的非线性规划问题进行了广泛研究 [3] [4] [5] [6] ，然而对于如何应用非线性规划的最优性条件来给出最优控制问题的最优性条件的研究相对较少。

对于控制系统方程解的存在唯一性问题 [7] [8] [9] ，在 [10] 中针对一阶微分、差分方程组给出了使解存在唯一的Lipschitz条件，并证明了解关于参数的连续依赖性。在控制参数化方法的相关研究中，Teo等在 [1] [2] 中详细介绍了控制参数化方法并给出了严格的数学证明，并基于非线性优化算法 [11] 设计了最优控制软件MISER [12] 。在 [1] [4] 中给出了离散时间最优控制问题的连续可微条件，保证了目标函数以及约束条件关于控制向量的梯度是存在的，并且基于伴随方程法 [1] 给出了梯度的具体计算公式。此外，Fritz John定理和Kuhn-Tucker定理是最优化理论里两个重要的定理。 [13] 讨论了使Fritz John点满足Kuhn-Tucker条件的MFCQ。针对一类离散时间最优控制问题。首先，本文给出精确的控制变量转化函数，将离散时间最优控制问题等价转化为非线性可微规划问题。其次，给出具体的Lipschitz条件，使该系统在满足这类Lipschitz条件下存在唯一解。然后给出更弱的I-MFCQ，同时给出该问题的一阶最优性条件。最后，给出两个算例应用最优性条件来求解最优控制问题。

2. 离散时间最优控制问题

基于一阶非线性差分方程给出离散时间最优控制问题标准型如下：

(1)

其中，为离散时间节点构成的集合，为状态变量，为控制变量，为初始状态，为边界控制量，为实值函数，且有关于是连续可微的。满足(1)的状态变量称为容许状态，满足(1)的控制变量称为容许控制，并且用表示容许控制集。

注1在满足一定Lipschitz条件下，上述系统(1)存在唯一解，具体的Lipschitz条件将在下一节中给出.故对于任意，状态变量可以表示为。

记约束条件如下：

(2)

(3)

其中，为连续可微的实值函数；，为实值函数，且有在上连续可微。

(4)

其中，为连续可微实值函数;为实值函数，并且有在上连续可微。称满足(2)-(3)的容许控制为可行控制，用表示可行控制集。

问题1 对于离散时间最优控制系统(1)，求解最优控制使之满足约束条件(2)~(3)，并且使性能指标(4)达到最优。

3. 最优控制问题的转换及相关性质

令，且对有。所有构成的集合用表示。基于控制变量参数化方法 [1] [2] 构建精确控制变量转化函数如下：

(5)

其中为到上的实值函数，为特征函数，表示如下：

(6)

考虑如下系统：

(7)

其中，及为上一节中给出的实值函数。

考虑约束条件如下：

(8)

(9)

考虑性能指标如下：

(10)

其中，以及为上节定义的实值函数。可知新定义的均为到上的实值函数。

问题2 对于离散时间最优控制系统(7)，求解最优容许控制向量使之满足约束条件(8)~(9)，并且使性能指标(10)达到最优。

定理1 若，则问题1与问题2等价。

证明 不妨假设性能指标最小即为最优。先用归纳法证明。由初始条件有。当时，有成立。现假设时成立，即。当时，有

成立。综上。

假设为问题2的最优解，取。下证为问题1的最优解。由定义，易证。

(反证法)若不是问题1的最优解，即存在，使得，则有

取，令，有，且可知。同理有。故

有不是问题2的最优解，与假设矛盾。即有为问题1的最优解。

同理可证若为问题1的最优解，则存在相应为问题2的最优解。综上问题1与问题2等价。

下面的定理2证明了系统方程解的存在唯一性，命题1~3给出了问题2的连续可微性。

令，则有

(11)

易证系统(11)等价于系统(1)，于是若系统(11)存在唯一解，则也为系统(1)唯一解。定义范数为，其中且为欧氏距离。易知由如上范数定义的状态函数所构成的空间为完备的Banach空间，用表示。

假设1有

1) 对任意，存在使得；

2) 对任意，存在使得。

定理2若系统(11)满足假设1条件，并且，则对任意取定存在唯一解。

证明 记为维向量空间，构造数列使得。构造函数列，，其中，使得。定义映射如下

由假设1)易知是有意义的并且

下证是连续的。由假设2)及 [10] 有

。

由关于连续可微可知也是连续可微的。当，有，可知有，故。又由，有，即连续。

下证是压缩的。对任意由 [10] 有

由有关于是压缩的。由不动点定理 [14] 可知存在唯一不动点，即对任意存在唯一的使得。即(11)存在唯一解。

定理3 若系统(7)满足假设1条件，并且，则对任意取定，存在唯一解。

通过系统方程得出状态变量与控制变量的唯一关系，代入性能指标以及约束条件(8)~(10)中，原最优控制问题即转化为了标准的非线性规划问题。

命题1 对，有在上连续可微。

证明 先证的连续可微性。已知对有

其中，，可见在处连续可微，又由的任意性可知在上连续可微。

取为的第个分量，下证有在上连续可微。

当时，由为定值，有在上连续可微。当时，有，故

由在上连续可微，可知也连续可微，即，在上存在且连续，再由，有在上存在且连续；由时，有在上连续可微，即在上连续可微;由在上连续可微，有在上存在且连续。综上，可知在上存在且连续。

现假设时成立，于是有在上连续可微。同上易证在上存在且连续，即在上连续可微，得证在上连续可微。

同理亦有在上连续可微。

由定理1及命题1易证下面两命题成立。

命题2 对于问题2，当取时有：

1) 对，关于在上连续可微；

2) 对，，关于在上连续可微。

命题3 对于问题2，当取时，有在上连续可微。

注2 由命题3可知，在问题2中关于维矩阵的梯度存在。

下面基于伴随方程法 [1] 给出具体的梯度计算公式。首先定义哈密顿函数如下：

其中，由如下伴随方程给出：

。 (12)

求解(12)并设解为，可得各函数梯度如下：

4. 一阶最优性条件

对记：

命题4 当时，有。

证明 对任意，由定理1有。故

即有。同理可证。

定理4 若为问题1的局部最优控制，则存在，使得

(13)

(14)

(15)

其中，，

证明 已知为问题1的局部最优控制，取，令，有，由定理1知为问题2的最优控制.取，易证当时，，有。由文献 [13] 中定理8.11可知，若为问题2的最优控制，则存在以及，使得

由命题4，有。代入上式即有定理4成立。

定义1 [15] 在问题1中，若满足如下条件：

1)有解，其中为r维零向量；

2)线性无关。

则称符合。

定义2 在问题1中，若满足如下条件：

1)有解，其中为r维零向量；

2)线性无关。

则称符合。

命题5 若符合，则必然符合。

证明 假设符合，则存在，使，；。当取，，令，于是有，成立，即有符合。

注3 由命题5可知是基于矩阵给出的，其条件相对于更弱。

定理5若为问题1的局部最优控制，并且满足，则存在使得

(16)

(17)

(18)

证明 因是问题1的局部最优控制，故由定理4知(13)~(15)成立。若，则由(13)有

(19)

其中，且不全为零。以满足的与上式相乘有

其中，为维零矩阵。故

其中，为维零向量。若存在某，则上式不成立，故必有，。于是(19)式即为，且不全为零，这与线性无关矛盾。故有，将除遍(13)~(15)，再将视为新的，即有定理成立。

在此，称(13)~(15)为Fritz John条件，(16)~(18)为条件，并且称满足条件的点为点。易证下面三个定理成立。

定理6 若为问题1的局部最优控制，且线性无关，则满足条件。

定理7 (充分条件)假设是上的凸函数，是线性函数。若是问题2的点，且，则是问题1的全局最优控制。

定理8 (充分条件)假设为凸集，为上的凸函数。若是问题2的点，且，则是问题1的全局最优控制。

5. 算例

例1 考虑离散时间控制系统：

性能指标为：，

约束条件为：，

取，求使得性能指标达到最小的最优控制。

解 由系统方程有，故性能指标转化为；约束条件转化为。

由半正定，故是凸函数。由定理7，若存在使上述问题满足条件，并取，则有为原最优控制问题的全局最优控制。于是，由条件可列方程如下：

解之得唯一解。故原最优控制问题有唯一的全局最优控制。

例2 考虑离散时间控制系统：

性能指标为：，

约束条件为：

取，求使得性能指标达到最小的最优控制。

解 取，对两边取负，即有求解使最小。由系统方程有，，，故性能指标转化为；约束条件转化为。

，并且为半正定矩阵，故是凸函数。由定理7，若存在使上述问题满足条件，并取，则有为最优控制问题的全局最优控制。于是由条件可列方程如下：

解之得唯一解。故原最优控制问题有唯一的全局最优控制。

基金项目

浙江省大学生科技创新活动计划(2015R404066)，浙江省教育厅科研项目(Y201534211)。

文章引用

杨小杭,徐应涛,张莹,杜林岳. 一类离散时间最优控制问题的一阶最优性条件
First-Order Optimality Conditions for a Class of Discrete-Time Optimal Control Problems[J]. 应用数学进展, 2016, 05(04): 773-782. http://dx.doi.org/10.12677/AAM.2016.54089

参考文献 (References)