Advances in Applied Mathematics
Vol. 11  No. 11 ( 2022 ), Article ID: 58068 , 10 pages
10.12677/AAM.2022.1111840

椭圆最优控制问题的修改交替方向乘子 计算方法

林继桐

广东工业大学数学与统计学院,广东 广州

收稿日期:2022年10月16日;录用日期:2022年11月10日;发布日期:2022年11月21日

摘要

本文研究了具有混合控制–状态约束的椭圆最优控制问题。我们采用有限元法离散化连续型最优化问题,并使用由正定矩阵诱导的范数作为非精项,近似计算经典交替方向乘子算法中的子问题,由此提出了修改的交替方向乘子(mADMM)算法。此外我们证明了mADMM算法的全局收敛性和收敛速率。最后,利用数值例子来验证提出的理论结果。

关键词

最优控制问题,交替方向乘子算法,收敛性分析

A Modified Alternating Direction Method of Multipliers Algorithm for Elliptic Optimal Control Problem

Jitong Lin

School of Mathematics and Statistics, Guangdong University of Technology, Guangzhou Guangdong

Received: Oct. 16th, 2022; accepted: Nov. 10th, 2022; published: Nov. 21st, 2022

ABSTRACT

In this paper, an elliptic optimal control problem with mixed control-state constraint is considered. The finite element method is used to discretize the continuous optimization problem. And the norm induced by a positive definite matrix is used as the inexact term to approximate the subproblem in the classical alternating direction method of the multipliers algorithm. And a modified alternating direction method of multipliers (mADMM) algorithm is proposed. In addition, the global convergence and convergence rate of mADMM algorithm are proven. Finally, a numerical example demonstrates the theoretical results.

Keywords:Optimal Control Problem, Alternating Direction Method of Multipliers, Convergence Analysis

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

早在60年代初,最优控制理论出现了众多的研究方法。其中极大值原理,动态规划和变分法奠定了最优控制理论基础。近年偏微分方程最优控制问题成为了国内外研究热点之一,它在癌症检查 [1],捕鱼模型 [2] 和致动器设计 [3] 等领域起着重要的作用。随着研究不断深入,具有混合约束的偏微分方程最优控制问题也逐渐引起研究员关注。一般的,这类最优控制问题的解析解都难以获得,即使可以求出解析解,但在工业设计上也难以实现,从而,如何获得既接近解析解又方便计算的数值解变得尤其重要。

离散–优化是处理偏微分方程最优控制问题的有效思路。有限元法作为一种成熟的偏微分方程数值方法,在离散化连续型最优控制问题中也发挥着重要作用,并且有大量文献 [4] [5] [6] 讨论了有限元法在离散化椭圆最优控制问题时的收敛性。对于离散的最优控制问题,文献 [7] 使用交替方向乘子算法进行计算数值解,并对多种偏微分约束情况进行讨论,最后给出了该算法全局收敛性证明。文献 [8] 考虑带控制 L 1 范数代价的椭圆最优控制问题,提出具有非精确结构的交替方向乘子算法,并证明该算法的全局收敛性及其收敛速率。文献 [9] 采用了原对偶主动集方法作交替方向乘子算法的后处理器来提高计算精度。文献 [10] 研究了一类具有点态约束的椭圆最优控制问题,采用Lavrentiev正则化处理状态约束后,使用有限元法离散该问题,并在有限维线性空间上使用非精确的交替方向乘子算法进行计算。文献 [11] 采用“优化–离散–优化”策略,提出了一种叫多级交替方向乘子算法,并给出该算法的收敛性及其收敛速率证明。

基于以上研究,本文采用有限元法离散化具有混合控制–状态约束的椭圆最优控制问题,在有限维空间上提出mADMM算法计算离散最优控制问题的解。

2. 主要问题和预备知识

在下文的讨论中我们设 · L 2 L 2 ( Ω ) 空间上的范数, · N N × N 上的范数,由正定矩阵 H N × N 诱导范数为 ξ H 2 = ξ T H ξ ξ N

本文主要关注使用mADMM算法解决以下椭圆最优控制问题:

min y , u J ( y , u ) = 1 2 y y d L 2 2 + α 2 u L 2 2 s .t . { Δ y + y = u x Ω y = 0 x Ω a y + λ u b x Ω (1)

其中 Δ 为Laplace算子, y H 0 1 ( Ω ) u L 2 ( Ω ) Ω d ( d = 2 , 3 ) 是一个开、凸区域,有着多边形边界 Ω 。函数 y d L 2 ( Ω ) 已给定, a 0 α , λ , b 0 为给定参数。由文献 [7] [10] 可知最优控制问题(1)存在唯一解 ( y * , u * ) 。根据偏微分方程知识我们可知,存在连续线性单射 S : H 0 1 ( Ω ) L 2 ( Ω ) ,使得 y = S u 。从而,我们把最优控制问题(1)转化成以下最优化问题:

min u U J ( u ) = 1 2 S u y d L 2 2 + α 2 u L 2 2 (2)

其中 U = { u L 2 ( Ω ) | a ( λ I + S ) u b } ,I为恒等算子。

我们使用有限元法对最优化问题(2)进行离散。对区域 Ω 进行均匀三角分割,并获得节点集合 { p i } i = 1 N 和有限元空间 V h = s p a n { ϕ i } i = 1 N ,其中 ϕ i 为分片线性函数。我们选用插值算子 R h : L 2 ( Ω ) V h

R h ω = i = 1 N ω ( p i ) ϕ i ( p ) .

由此我们得到离散的最优化问题:

min u h U h J ( u h ) = 1 2 S h u h y ¯ d L 2 2 + α 2 u h L 2 2 (3)

其中 y ¯ d = R h y d U h = { u h L 2 ( Ω ) V h | a ( λ I + S h ) u h b } S h 为离散化的S算子。我们不妨设最优化问题(3)的解为 u h * ,由文献 [4] [10] 可知当网格测度 h 0 时,我们有 lim h 0 u * u h * L 2 = 0

Φ = ( ϕ 1 , ϕ 2 , , ϕ N ) T ,则在有限元空间 V h 中的任意元素 u h 可以表示为 u h : = x T Φ ,其中 x N 。根据有限元法的知识我们得到刚度矩阵K和质量矩阵M分别为

K = ( ϕ i ϕ j d Ω ) i , j = 1 N M = ( ϕ i ϕ j d Ω ) i , j = 1 N

其中 为梯度算子。因为,刚度矩阵K是对称半正定矩阵,质量矩阵M是对称正定矩阵,从而 K + M 是可逆矩阵。利用刚度矩阵K和质量矩阵M我们得到最优化问题(3)的矩阵–向量形式:

min x X J ( x ) = 1 2 S ¯ x y d , h M 2 + α 2 x M 2 (4)

其中 X = { x N | a ( λ E + S ¯ ) x b } a = ( a , a , , a N ) T b = ( b , b , , b N ) T S ¯ = ( K + M ) 1 M y d , h = ( y d ( p 1 ) , y d ( p 2 ) , , y d ( p N ) ) T ,E为单位矩阵。由于 J ( x ) 是强凸函数,X为有界闭紧凸集,从而最优化问题(4)的解必定存在且唯一,记作 x *

3. 正定误差近似交替方向乘子算法

本节提出mADMM算法来计算凸优化问题(4),并讨论了该算法的全局收敛性和收敛速率。

首先,我们把凸优化问题(4)转化成线性约束优化问题。令集合 [ a , b ] = { x n | a x b } 和定义指

示函数

δ [ a , b ] ( z ) = { 0 z [ a , b ] + z [ a , b ] ,

为了方便,我们设

f ( x ) = 1 2 S ¯ x y d , h M 2 + α 2 x M 2 g ( z ) = δ [ a , b ] ( z )

则凸优化问题(4)等价于以下线性约束优化问题:

{ min x , z J ( x , z ) = f ( x ) + g ( z ) z = ( λ E + S ¯ ) x . (5)

根据线性束优化问题(5),易得其增广Lagrange函数为

L σ ( x , z , μ ) = f ( x ) + g ( z ) + μ T M [ z ( λ E + S ¯ ) x ] + σ 2 z ( λ E + S ¯ ) x M 2 ,

其中 μ N 是Lagrange乘子。在增广Lagrange函数的基础上,我们提出mADMM算法如下:

输入初始数值 ( x 0 , z 0 , μ 0 ) N × N × N ,惩罚参数 σ > 0 ,停机误差 ε > 0 和任意对称正定矩阵W。令迭代次数 k = 0

输出 ( x k + 1 , z k + 1 , μ k + 1 )

步骤1计算 x k + 1 如下式所示:

x k + 1 = arg min x L σ ( x , z k , μ k ) + 1 2 x x k W 2 . (6)

步骤2计算 z k + 1 如下式所示:

z k + 1 = arg min z L σ ( x k + 1 , z , μ k ) . (7)

步骤3计算 μ k + 1 如下式所示:

μ k + 1 = μ k + σ [ z k + 1 ( λ E + S ¯ ) x k + 1 ] . (8)

步骤4计算误差

η = x k x k + 1 W 2 + σ z k z k + 1 M 2 + 1 σ μ k μ k + 1 M 2

η ε 时停止计算,并输出 ( x k + 1 , z k + 1 , μ k + 1 ) ,否则,令 k : = k + 1 回到步骤1继续计算。

3.1. mADMM算法的收敛性

为了证明mADMM算法的收敛性,我们需要以下符号:

H : = ( W 0 0 0 σ M 0 0 0 1 / σ M ) ξ k : = ( x k z k μ k ) ξ ˜ k : = ( x k + 1 z k + 1 μ k + σ [ z k ( λ E + S ¯ ) x k + 1 ] )

序列 { ξ k } k = 0 由(6)~(8)计算所得。由于最优化问题(4)的解是存在且唯一的,同样地线性约束优化问题(5)的解也是唯一的,由此我们可以得到线性约束优化问题(5)的一阶最优条件:

定理3.1设 ( x * , z * ) 为线性约束优化问题(5)的解,当且仅当存在Lagrange乘数 μ * N ,使得下面的条件

f ( x ) f ( x * ) + ( x x * ) T [ ( λ E + S ¯ ) T M μ * ] 0 , x N ,

g ( z ) g ( z * ) + ( z z * ) T M μ * 0 , z N ,

z * = ( λ E + S ¯ ) x * ,

成立。

根据定理3.1,我们可以把线性约束优化问题(5)转化为变分不等式问题:找 ξ * 3 N 使得

f ( x ) f ( x * ) + g ( z ) g ( z * ) + ( ξ ξ * ) T F ( ξ * ) 0 , ξ 3 N , (9)

其中

ξ : = ( x z μ ) ξ * : = ( x * z * μ * ) F ( ξ ) : = ( ( λ E + S ¯ ) T M μ M μ M z + M ( λ E + S ¯ ) x )

根据文献 [12],我们可以推导得到以下不等式:

ξ k + 1 ξ * H 2 ξ k ξ * H 2 ξ k ξ k + 1 H 2 , k 0 , (10)

ξ k ξ k + 1 H 2 1 k + 1 ξ 0 ξ * H 2 , k 0 , (11)

由不等式(10)和(11),我们可以证明mADMM算是全局收敛的,并有以下定理。

定理3.2 设序列 { ξ k } k = 0 中的每个元素由(6)~(8)计算所得,则

lim k ξ k = ξ * .

证明由(10)我们可得

ξ k + 1 ξ * H ξ k ξ * H ξ k 1 ξ * H ξ 0 ξ * H .

利用三角不等式可得

ξ k + 1 H ξ 0 ξ * H + ξ * H .

从而, { ξ k } k = 0 为有界序列,则在 3 N 上必存在收敛子列 { ξ k j } j = 0 。假设任意收敛子列收敛到 ξ ¯ * ,即 lim j ξ k j = ξ ¯ * ,根据(11)我们易得 lim j ξ k j + 1 = ξ ¯ * 。选择 k = k j ,当 j 时,根据等式(6)~(8)的连续性我们有

x ¯ * = arg min x f ( x ) + σ 2 z ¯ * ( λ E + S ¯ ) x + 1 σ μ ¯ * M 2 + 1 2 x x ¯ * W 2 , (12)

z ¯ * = arg min z g ( z ) + σ 2 z ( λ E + S ¯ ) x ¯ * + 1 σ μ ¯ * M 2 , (13)

z ¯ * = ( λ E + S ¯ ) x ¯ * . (14)

由(12)和(14),利用变分法我们可得

f ( x ) f ( x ¯ * ) + ( x x ¯ * ) T [ ( λ E + S ¯ ) T M μ ¯ * ] 0 , x N .

同理根据(13)和(14),我们有

g ( z ) g ( z ¯ * ) + ( z z ¯ * ) T M μ ¯ * 0 , z N .

把上述两不等式相加,并根据等式(14),我们有

f ( x ) f ( x ¯ * ) + g ( z ) g ( z ¯ * ) + ( ξ ξ ¯ * ) T F ( ξ ¯ * ) 0 , ξ 3 N .

上述不等式意味着 ξ ¯ * 是变分不等式问题(9)的解。我们已知变分不等式问题(9)等价于线性约束优化问题(5),从而 ξ ¯ * = ξ * 。由于序列 { ξ k } k = 0 为有界序列且任意收敛子列都收敛到 ξ * ,则定理得证。

3.2. mADMM算法的收敛速率

基于定理3.1我们定义函数 D ( ξ ) : 3 N [ 0 , )

D ( ξ ) : = S ¯ T M ( S ¯ x y d , h ) + α M x ( λ E + S ¯ ) T M μ 2 + M [ z ( λ E + S ¯ ) x ] 2 + d i s t 2 ( 0 , g ( z ) + M μ ) ,

其中 g ( z ) 表示函数 g ( · ) 在点z上的次微分, d i s t 2 ( 0 , g ( z ) + M μ ) = inf { z 2 | z g ( z ) + M μ } 。由 lim k ξ k = ξ * ,可以推导得 lim k ξ ˜ k = ξ * 。由此,我们用 D ( ξ ˜ k ) 0 的快慢来估计mADMM算法的收敛速率。

定理3.3 设序列 { ξ ˜ k } k = 0 中的每个元素由(6)~(8)计算所得,则

lim k { k × min i = 1 , 2 , , k D ( ξ ˜ i ) } = 0 .

证明由函数 D ( ξ ) 的定义,易得

D ( ξ ˜ k ) = S ¯ T M ( S ¯ x k + 1 y d , h ) + α M x k + 1 ( λ E + S ¯ ) T M { μ k + σ [ z k ( λ E + S ¯ ) x k + 1 ] } 2 + d i s t 2 ( 0 , g ( z k + 1 ) + M { μ k + σ [ z k ( λ E + S ¯ ) x k + 1 ] } ) + M [ z k + 1 ( λ E + S ¯ ) x k + 1 ] 2 .

根据(6)和(7),我们有

S ¯ M ( S ¯ x k + 1 y d , h ) + α M x k + 1 σ ( λ E + S ¯ ) T M [ z k ( λ E + S ¯ ) x k + 1 + 1 σ μ k ] + W ( x k + 1 x k ) = 0 ,

0 g ( z k + 1 ) + M μ k + 1 .

把上述两式代入 D ( ξ ˜ k ) ,并利用(8)可得

D ( ξ ˜ k ) W ( x k x k + 1 ) 2 + σ M ( z k z k + 1 ) 2 + 1 σ M ( μ k μ k + 1 ) 2 W 2 x k x k + 1 2 + σ 2 M 2 z k z k + 1 2 + 1 σ 2 M 2 μ k μ k + 1 2 .

由于在有限维空间上任意范数都是等价的,则存在 C 0 ,使得

D ( ξ ˜ k ) C ( x k x k + 1 W 2 + σ z k z k + 1 M 2 + 1 σ μ k μ k + 1 M 2 ) = C ξ k ξ k + 1 H 2 .

根据(10)和定理3.2可推导得

k = 0 ξ k ξ k + 1 H 2 ξ 0 ξ * H 2 .

上述不等式意味着正项级数 k = 0 D ( ξ ˜ k ) 收敛,根据文献 [13] 的Lemma 6.1,定理3.3得证。

4. 数值例子

我们使用文献 [10] 中的Example 2来验证本文的结论。在这个例子中我们设 λ = 10 6 σ = 0.5 W = M / N 。在网格测度 h = 14 2 / 2 6 时,我们在图1图4中展示了用mADMM算法计算的结果与真实解的对比。在网格测度 h = 14 2 / 2 4 时,我们在图5中给出误差 ξ k ξ k + 1 H 2 随迭代次数增加的收敛性结果。

Figure 1. Numerical control

图1. 数值控制

Figure 2. Exact control

图2. 真实控制

Figure 3. Numerical state

图3. 数值状态

Figure 4. Exact state

图4. 真实状态

图1图4中我们很难比较得出数值解与真实解的差异,从而这个例子反应了我们提出的mADMM算法是收敛的。

图5表明,在本例中经过近20次迭代后,mADMM算法的收敛速率明显快于ADMM算法,在接近100次迭代后,这两种算法的误差系数 ξ k ξ k + 1 H 2 都会在10-26的量级上下浮动,并且这两种算法趋向0的速度会比序列 { 1 / k } k = 1 趋向0的速度要快,这也表明了(11)的合理性。

Figure 5. Iteration error

图5. 迭代误差

4. 结论

本文利用有限元法对具有混合控制–状态约束的椭圆最优控制问题进行离散化,并提出mADMM算法来求解 N 空间上的离散最优化问题。此外,验证了mADMM算法具有全局收敛性,并给出该算法的收敛速率。值得注意的是,我们可以通过选择不同的正定矩阵W来减少mADMM算法的迭代次数,这样可以提高算法的计算速度。因此,“如何选择最优的正定矩阵?”将会是我们继续研究的对象。

文章引用

林继桐. 椭圆最优控制问题的修改交替方向乘子计算方法
A Modified Alternating Direction Method of Multipliers Algorithm for Elliptic Optimal Control Problem[J]. 应用数学进展, 2022, 11(11): 7936-7945. https://doi.org/10.12677/AAM.2022.1111840

参考文献

  1. 1. Abdulla, U.G., Bukshtynov, V. and Seif, S. (2021) Cancer Detection through Electrical Impedance Tomography and Optimal Control Theory: Theoretical and Computational Analysis. Mathematical Biosciences and Engineering, 18, 4834-4859. https://doi.org/10.3934/mbe.2021246

  2. 2. Grass, D., Uecker, H. and Upmann, T. (2019) Optimal Fishery with Coastal Catch. Natural Resource Modeling, 32, e12235. https://doi.org/10.1111/nrm.12235

  3. 3. Ciambella, J. and Tomassetti, G. (2020) A Form-Finding Strategy for Magneto-Elastic Actuators. International Journal of Non-Linear Mechanics, 119, Article ID: 103297. https://doi.org/10.1016/j.ijnonlinmec.2019.103297

  4. 4. Casas, E. (1985) L^2 Estimates for the Finite Element Method for the Dirichlet Problem with Singular Data. Numerische Mathematik, 47, 627-632. https://doi.org/10.1007/BF01389461

  5. 5. Hinze, M. and Meyer, C. (2010) Variational Discretization of Lavrentiev-Regularized State Constrained Elliptic Optimal Control Problems. Computational Optimization and Applications, 46, 487-510. https://doi.org/10.1007/s10589-008-9198-1

  6. 6. Ciarlet, P.G. (1978) The Finite Element Method for Elliptic Problems. North-Holland, Amsterdam.

  7. 7. Zhang, K., Li, J.S., Song, Y.C. and Wang, X.S. (2017) An Alternating Direction Method of Multipliers for Elliptic Equation Constrained Optimization Problem. Science China Mathematics, 60, 361-378. https://doi.org/10.1007/s11425-015-0522-3

  8. 8. Song, X.L., Yu, B., Wang, Y.Y. and Zhang, X.P. (2018) An FE-Inexact Heterogeneous ADMM for Elliptic Optimal Control Problems with L^1-Control Cost. Journal of Systems Science and Complexity, 31, 1659-1697. https://doi.org/10.1007/s11424-018-7448-6

  9. 9. Song, X.L. and Yu, B. (2017) A Two-Phase Strategy for Control Constrained Elliptic Optimal Control Problems. Numerical Linear Algebra with Applications, 25, e2138. https://doi.org/10.1002/nla.2138

  10. 10. Chen, Z.X., Song, X.L., Zhang, X.P. and Yu, B. (2019) A FE-ADMM Algorithm for Lavrentiev-Regularized State-Con- strained Elliptic Control Problem. ESAIM-Control Optimisation and Calculus of Varuations, 25, Article No. 5. https://doi.org/10.1051/cocv/2018019

  11. 11. Chen, X.T., Song, X.L., Chen, Z.X. and Yu, B. (2020) A Multi-Level ADMM Algorithm for Elliptic PDE-Constrained Optimization Problems. Computational and Applied Mathematics, 39, Article No. 331. https://doi.org/10.1007/s40314-020-01379-1

  12. 12. He, B.S. and Yuan, X.M. (2015) On Non-Ergodic Convergence Rate of Douglas-Rachford Alternating Direction Method of Multipliers. Numerische Mathematik, 130,567-577. https://doi.org/10.1007/s00211-014-0673-6

  13. 13. Chen, L., Sun, D.F. and Toh, K.-C. (2017) An Efficient Inexact Symmetric Gauss-Seidel Based Majorized ADMM for High-Dimensional Convex Composite Conic Programming. Mathematical Programming, 161, 237-270. https://doi.org/10.1007/s10107-016-1007-5

期刊菜单