ABSTRACT

This paper presents a line search exact penalty method for nonlinear semidefinite programming. At each iteration, the search direction is determined by solving a quadratic semidefinite programming subproblem. Certain exact penalty function is used as merit function for line search and a step size is obtained. The penalty parameter is updated by the optimal solution of the trust region subproblem. Under some appropriate conditions, the global convergence of the proposed algorithm is proved.

Keywords:Nonlinear Semidefinite Programming, Line Search, Penalty Function, Global Convergence

非线性半定规划的一个线搜索 精确罚方法

吴加其，黎健玲

广西大学数学与信息科学学院，广西 南宁

收稿日期：2019年3月31日；录用日期：2019年4月15日；发布日期：2019年4月22日

摘 要

本文提出了一个求解非线性半定规划的线搜索精确罚函数方法。在每次迭代中通过求解一个二次半定规划产生搜索方向，某个精确罚函数作为效益函数用于线搜索确定步长。且借助信赖域子问题的最优解更新罚参数。在较温和的条件下本文证明了算法具有全局收敛性。

关键词 :非线性半定规划，线搜索，罚函数，全局收敛性

Copyright © 2019 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

本文考虑如下非线性半定规划问题(NLSDP)：

$\begin{array}{ll}\min \hfill & f\left(x\right)\hfill \\ \text{s}\text{.t}\text{.}\hfill & h\left(x\right)=\mathrm{0,}\hfill \\ \hfill & G\left(x\right)\preccurlyeq \mathrm{0,}\hfill \end{array}$ (0.1)

其中函数 $f\mathrm{<mo>\; :\; </mo>}{ℝ}^n\to ℝ$ ， $G\mathrm{<mo>\; :\; </mo>}{ℝ}^n\to {\mathbb{S}}^m$ ， $h\mathrm{<mi>\; </mi>\; <mo>\; :\; </mo>}{ℝ}^n\to {ℝ}^p$ 是连续可微函数。 ${\mathbb{S}}^m$ 表示所有m阶实对称矩阵构成的矩阵空间。 $A\preccurlyeq 0$ 表示A为半负定矩阵， $A\prec 0$ 表示A为负定矩阵。

非线性半定规划在工程设计，最优控制，经济，金融等领域有着广泛的应用(见文 [1] [2] [3] )。基于非线性规划的罚函数法思想，一些学者提出了求解非线性半定规划的罚函数型算法。文 [4] 引进了非线性半定规划罚函数，结合线搜索策略提出了一个罚函数型的序列半定规划算法；文 [5] 基于罚函数技术和二阶校正方向，提出了一个超线性收敛的序列半定规划算法；文 [6] 通过由两个具有相同系数矩阵的线性方程组产生主搜索方向，罚函数作为效益函数用于线搜索确定步长，提出非线性半定规划的一个序列线性方程组算法；文 [7] 的第3章通过引进罚函数作为效益函数建立了一个超线性收敛的序列半定规划算法。

本文是将文 [8] 中产生搜索方向的子问题的构造策略和罚参数的更新策略推广到非线性半定规划，建立一个求解非线性半定规划的线搜索精确罚函数方法。在每次迭代中通过求解一个二次半定规划产生搜索方向的某个精确罚函数作为效益函数，用于线搜索确定步长。而且构造了一个信赖域子问题，并且借助信赖域子问题的最优解更新罚参数。在较温和的条件下算法具有全局收敛性。

2. 算法

为方便起见，下面引进矩阵函数的微分算子和伴随算子的记号。

对于连续可微矩阵函数 $G\left(x\right)\mathrm{<mo>\; :\; </mo>}{ℝ}^n\to {\mathbb{S}}^m$ ，记其微分算子 $DG\left(x\right)$ 为

$DG\left(x\right):=\left(\frac{\partial G\left(x\right)}{\partial x_1},\frac{\partial G\left(x\right)}{\partial x_2},\cdots ,\frac{\partial G\left(x\right)}{\partial x_n}\right),$

且对任意的 $d\in {ℝ}^n$ ，有

$DG\left(x\right)d={\displaystyle \underset{i=1}{\overset{n}{\sum }}{d}_i\frac{\partial G\left(x\right)}{\partial x_i}}.$

记 $DG\left(x\right)$ 的伴随算子为 $DG{\left(x\right)}^{\mathrm{<mo>\; *\; </mo>}}$ ，且 $\forall Z\in {\mathbb{S}}^m$ ，有

$DG{\left(x\right)}^{*}Z:={\left(\langle \frac{\partial G\left(x\right)}{\partial x_1},Z\rangle ,\langle \frac{\partial G\left(x\right)}{\partial x_2},Z\rangle ,\cdots ,\langle \frac{\partial G\left(x\right)}{\partial x_n},Z\rangle \right)}^{\text{T}},$

其中 $\langle A\mathrm{,}B\rangle$ 表示矩阵A与B的内积，且 $\langle A\mathrm{,}B\rangle =\text{Tr}\left(AB\right)\mathrm{,\; <mi>\; </mi>}\forall A\mathrm{,}B\in {\mathbb{S}}^m$ ， $\text{Tr}(\cdot )$ 表示矩阵的迹。定义NLSDP (0.1)的Lagrange函数为

$L\left(x\mathrm{,}\lambda \mathrm{,}Y\right)=f\left(x\right)+{\lambda }^{\text{T}}h\left(x\right)+\langle Y\mathrm{,}G\left(x\right)\rangle \mathrm{,}$

其中 $\lambda \in {ℝ}^p\mathrm{,}Y\in {\mathbb{S}}^m$ 。

定义1.1：设 $x^{\mathrm{<mo>\; *\; </mo>}}\in {ℝ}^n$ 是NLSDP (0.1)的可行点，若存在向量 ${\lambda }^{\mathrm{<mo>\; *\; </mo>}}\in {ℝ}^p$ 和矩阵 $Y_{\mathrm{<mo>\; *\; </mo>}}\in {\mathbb{S}}^m$ 满足如下条件：

$\nabla f\left(x^{\mathrm{<mo>\; *\; </mo>}}\right)+Dh{\left(x^{\mathrm{<mo>\; *\; </mo>}}\right)}^{\text{T}}{\lambda }^{\mathrm{<mo>\; *\; </mo>}}+DG{\left(x^{\mathrm{<mo>\; *\; </mo>}}\right)}^{\ast }{Y}_{\mathrm{<mo>\; *\; </mo>}}=\mathrm{0,}$

$h\left(x^{\mathrm{<mo>\; *\; </mo>}}\right)=\mathrm{0,\; <mi>\; </mi>}G\left(x^{\mathrm{<mo>\; *\; </mo>}}\right)\preccurlyeq \mathrm{0,}$

$Y_{\mathrm{<mo>\; *\; </mo>}}\succcurlyeq \mathrm{0,\; <mi>\; </mi>}\text{Tr}\left(Y_{\mathrm{<mo>\; *\; </mo>}}G\left(x^{\mathrm{<mo>\; *\; </mo>}}\right)\right)=\mathrm{0,}$

则称 $x^{\mathrm{<mo>\; *\; </mo>}}$ 是NLSDP (0.1)的一个KKT点，称 $\left({\lambda }^{\mathrm{<mo>\; *\; </mo>}}\mathrm{,}{Y}_{\mathrm{<mo>\; *\; </mo>}}\right)$ 为对应于 $x^{\mathrm{<mo>\; *\; </mo>}}$ 的Lagrange乘子。

定义NLSDP (0.1)的约束违反度函数如下：

$v\left(x\right)=\Vert h\left(x\right)\Vert +{\lambda }_1{\left(G\left(x\right)\right)}_{+}\mathrm{,}$ (1.1)

其中 ${\lambda }_1\left(A\right)$ 表示矩阵A的最大特征值， ${\left(\alpha \right)}_{+}=\max \left\{\mathrm{0,\; <mi>\; </mi>}\alpha \right\}$ ， ${\left({\lambda }_1\left(A\right)\right)}_{+}$ 简记为 ${\lambda }_1{\left(A\right)}_{+}$ ， $\Vert \cdot \Vert$ 表示欧氏范数。定义NLSDP (0.1)的罚函数如下：

$P_{\alpha }\left(x\right)=f\left(x\right)+\alpha v\left(x\right),$ (1.2)

其中 $\alpha >0$ 为罚参数。设当前迭代点为 $x^k\in {ℝ}^n$ ，构造约束违反度函数 $v\left(x\right)$ 线性模型如下：

$m_k\left(d\right)=\Vert h\left(x^k\right)+Dh\left(x^k\right)d\Vert +{\lambda }_1{\left(G\left(x^k\right)+DG\left(x^k\right)d\right)}_{+}\mathrm{.}$ (1.3)

构造罚函数 $P_{\alpha }\left(x\right)$ 的二次模型如下：

$Q_k^{\alpha }\left(d\right)=f\left(x^k\right)+\nabla f{\left(x^k\right)}^{\text{T}}d+\frac{1}{2}{d}^{\text{T}}{B}_{k}d+\alpha m_k\left(d\right)\mathrm{,}$ (1.4)

其中矩阵 $B_k\in {ℝ}^{n\times n}$ 是NLSDP (0.1)的Lagrange函数的Hesse阵或其近似阵。对于给定的罚参数 $\alpha$ ，使用(1.4)产生搜索方向，即求解如下无约束问题(简记 $\text{QM}\left(x^k\mathrm{,}\alpha \right)$ )：

$\underset{d\in {ℝ}^n}{\min }{Q}_k^{\alpha }\left(d\right).$ (1.5)

记上述问题的最优解为 $d^k\left(\alpha \right)$ 。由于 $\text{QM}\left(x^k\mathrm{,}\alpha \right)\left(1.5\right)$ 是非光滑问题，求解较为复杂，因此将其等价转化为如下光滑问题：

$\begin{array}{l}\underset{d\mathrm{,}{z}_1\mathrm{,}{z}_2}{\min }\nabla f{\left(x^k\right)}^{\text{T}}d+\frac{1}{2}{d}^{\text{T}}{B}_{k}d+\alpha \left({\Vert z_1\Vert }^2+z_2\right)\\ \text{s}\text{.t}\text{.}h\left(x^k\right)+Dh\left(x^k\right)d=z_1\mathrm{,}\\ G\left(x^k\right)+DG\left(x^k\right)d\preccurlyeq z_2{I}_m\mathrm{,\; <mi>\; </mi>}{z}_2\ge 0,\end{array}$ (1.6)

其中 $I_m$ 为m阶单位矩阵。记其解为 $\left(d^k\left(\alpha \right)\mathrm{,\; <mi>\; </mi>}{z}_1^k\mathrm{,\; <mi>\; </mi>}{z}_2^k\right)$ 。

为更新罚参数，类似文 [8] ，构造如下信赖域子问题(简记 $\text{LM}\left(x^k\mathrm{,}{\Delta }_k\right)$ )：

$\min \mathrm{<mi>\; </mi>}{m}_k\left(d\right)\text{s}\text{.t}\text{.}{\Vert d\Vert }_{\infty }\le {\Delta }_k\mathrm{,}$ (1.7)

其中信赖域半径 ${\Delta }_k>0$ 。记其解为 $d_{LM}^k$ 。由于 $\text{LM}\left(x^k\mathrm{,}{\Delta }_k\right)\left(1.7\right)$ 为非光滑问题，因此将其等价转化为如下光滑问题：

$\begin{array}{ll}\underset{d\mathrm{,}{z}_1\mathrm{,}{z}_2}{\min }\hfill & \Vert z_1\Vert +z_2\hfill \\ \text{s}\text{.t}\hfill & h\left(x^k\right)+Dh\left(x^k\right)d=z_1\mathrm{,}\hfill \\ \hfill & G\left(x^k\right)+DG\left(x^k\right)d\preccurlyeq z_2{I}_m\mathrm{,}\hfill \\ \hfill & {\Vert d\Vert }_{\infty }\le {\Delta }_k\mathrm{,\; <mi>\; </mi>}{z}_2\ge 0.\hfill \end{array}$ (1.8)

下面给出算法的具体步骤。

算法A：

步骤0：(初始步)任取 $x^0\in {ℝ}^n$ ， $B_0=I_n$ (单位阵)， ${\alpha }_0>0,\mathrm{<mi>\; </mi>}\rho >0$ ， ${ϵ}_1\in \left(\mathrm{0,1}\right]$ ， ${ϵ}_2\in \left(\mathrm{0,}{ϵ}_1\right)$ ， $\tau \mathrm{,\; <mi>\; </mi>}\eta \in \left(\mathrm{0,1}\right)$ ， ${\Delta }_0\in \left[{\Delta }_{\min }\mathrm{,}{\Delta }_{\max }\right]$ 。令 $k=0$ 。

步骤1：求解子问题 $\text{QM}\left(x^k\mathrm{,}{\alpha }_k\right)\left(1.5\right)$ 得最优解 $d^k\left({\alpha }_k\right)$ 。若 $d^k\left({\alpha }_k\right)=0$ 并且 $v\left(x^k\right)=0$ ，则算法终止，否则转步骤2。

步骤2：若 $m_k\left(d^k\left({\alpha }_k\right)\right)=0$ 且 $Q_k^{{\alpha }_k}\left(0\right)-Q_k^{{\alpha }_k}\left(d^k\left({\alpha }_k\right)\right)\ge {ϵ}_2{\alpha }_{k}v\left(x^k\right)$ ，则转步骤5。

步骤3：求解子问题 $\text{LM}\left(x^k\mathrm{,}{\Delta }_k\right)\left(1.7\right)$ 得最优解 $d_{LM}^k$ 。若

$m_k\left(d_{LM}^k\right)=v\left(x^k\right)\mathrm{<mi>\; </mi>}且v\left(x^k\right)>0,$ (1.9)

则算法终止，否则转步骤4。

步骤4：(更新罚参数)

步骤4.1：若 $m_k\left(d_{LM}^k\right)=0$ ，则取 ${\bar{\alpha }}_k\ge {\alpha }_k+\rho$ 且使得如下等式成立

$m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)=0,$ (1.10)

其中 $d^k\left({\bar{\alpha }}_k\right)$ 是子问题 $\text{QM}\left(x^k\mathrm{,}{\bar{\alpha }}_k\right)\left(\text{1}.5\right)$ 的解，转步骤4.3。

步骤4.2：若 $m_k\left(d_{LM}^k\right)>0$ ，则取 ${\bar{\alpha }}_k={\alpha }_k$ ，若如下不等式

$m_k\left(0\right)-m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)\ge {ϵ}_1\left[m_k\left(0\right)-m_k\left(d_{LM}^k\right)\right]$ (1.11)

成立，则转步骤4.3，否则取 ${\bar{\alpha }}_k\ge {\alpha }_k+\rho$ 使得(1.11)成立，转步骤4.3，其中 $d^k\left({\bar{\alpha }}_k\right)$ 是子问题 $\text{QM}\left(x^k\mathrm{,}{\bar{\alpha }}_k\right)\left(\text{1}.5\right)$ 的最优解。

步骤4.3：(二次模型预估下降量)若不等式

$Q_k^{{\bar{\alpha }}_k}\left(0\right)-Q_k^{{\bar{\alpha }}_k}\left(d^k\left({\bar{\alpha }}_k\right)\right)\ge {ϵ}_2{\bar{\alpha }}_k\left[m_k\left(0\right)-m_k\left(d_{LM}^k\right)\right]$ (1.12)

成立，则令 ${\alpha }_k:={\bar{\alpha }}_k$ ，否则通过下式更新罚参数 ${\bar{\alpha }}_k$ ：

${\alpha }_k\mathrm{<mo>\; :\; </mo>}=\frac{\nabla f{\left(x^k\right)}^{\text{T}}{d}^k\left({\bar{\alpha }}_k\right)+\frac{1}{2}{\left(d^k\left({\bar{\alpha }}_k\right)\right)}^{\text{T}}{B}_k{d}^k\left({\bar{\alpha }}_k\right)}{m_k\left(0\right)-m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)+{ϵ}_2\left[m_k\left(d_{LM}^k\right)-m_k\left(0\right)\right]}+\rho \mathrm{,}$ (1.13)

其中 $0<{ϵ}_2<{ϵ}_1<1$ 。

步骤4.4：求解子问题 $\text{QM}\left(x^k\mathrm{,}{\alpha }_k\right)\left(\text{1}.5\right)$ 得最优解 $d^k\left({\alpha }_k\right)$ ，转步骤5。

步骤5：(线搜索)令 $t_k$ 为序列 $\left\{\mathrm{1,}\tau \mathrm{,}{\tau }^2\mathrm{,}\cdots \right\}$ 中满足如下不等式的最大值：

$P_{{\alpha }_k}\left(x^k\right)-P_{{\alpha }_k}\left(x^k+t_k{d}^k\left({\alpha }_k\right)\right)\ge \eta t_k\left[Q_k^{{\alpha }_k}\left(0\right)-Q_k^{{\alpha }_k}\left(d^k\left({\alpha }_k\right)\right)\right]\mathrm{,}$ (1.14)

则令 $\hat{x}=x^k+t_k{d}^k\left({\alpha }_k\right)$ 。

步骤6：(更新步)利用某种方式更新 $B_k$ 为对称正定矩阵 $B_{k+1}$ ，取 ${\Delta }_{k+1}\in \left[{\Delta }_{\min }\mathrm{,}{\Delta }_{\max }\right]$ ， ${\alpha }_{k+1}:={\alpha }_k$ ， $x^{k+1}:=\hat{x}$ ，转步骤1。

3. 全局收敛性

本节将分析算法A的适定性。为此，需作如下基本假设：

假设A：

A1：函数 $f\left(x\right)\mathrm{,\; <mi>\; </mi>}h\left(x\right)\mathrm{,\; <mi>\; </mi>}G\left(x\right)$ 是二阶连续可微；

A2：算法A产生的序列 $\left\{x^k\right\}$ 包含于某个紧凸集中；

A3：存在正常数a和b，使得 $a{\Vert y\Vert }^2\le y^{\text{T}}{B}_{k}y\le b{\Vert y\Vert }^2\mathrm{,\; <mi>\; </mi>\; <mi>\; </mi>}\forall y\in {ℝ}^n$ 。

现将非线性规划的稳定点和不可行稳定点的定义(见文 [9] )推广到非线性半定规划。

定义2.1：设 $x\in {ℝ}^n$ ，若对于任意非零向量 $y\in {ℝ}^n$ ，函数 $w\left(x\right)$ 的方向导数 $w^{\prime }\left(x\mathrm{<mo>\; ;\; </mo>}y\right)\ge 0$ ，则称x为 $w\left(x\right)$ 的一个稳定点。

定义2.2：设 $x\in {ℝ}^n$ ，若对于任意向量 $y\in {ℝ}^n$ ，有 $v^{\prime }\left(x\mathrm{<mo>\; ;\; </mo>}y\right)\ge 0$ ，则称x为NLSDP (0.1)的一个稳定点。同时若 $v\left(x\right)>0$ ，则称x为NLSDP (0.1)的一个不可行稳定点。

引理2.1：设 $x^k$ 为当前迭代点，则

$v^{\prime }\left(x^k\mathrm{<mo>\; ;\; </mo>}y\right)={m^{\prime }}_k\left(\mathrm{0\; <mo>\; ;\; </mo>}y\right)\mathrm{,\; <mi>\; </mi>\; <mi>\; </mi>\; <mi>\; </mi>}{P^{\prime }}_{\alpha }\left(x^k\mathrm{<mo>\; ;\; </mo>}y\right)={\left(Q_k^{\alpha }\right)}^{\prime }\left(\mathrm{0\; <mo>\; ;\; </mo>}y\right)\mathrm{,\; <mi>\; </mi>}\forall y\in {ℝ}^n\mathrm{.}$ (2.1)

证明：由文 [4] 的引理5知

$v^{\prime }\left(x^k\mathrm{<mo>\; ;\; </mo>}y\right)=\Vert Dh\left(x^k\right)y\Vert +{\left[{\lambda }_1{(\cdot )}_{+}\right]}^{\prime }\left(G\left(x^k\right)\mathrm{<mo>\; ;\; </mo>}DG\left(x^k\right)y\right)\mathrm{.}$ (2.2)

另外，对于 $\tilde{d}\in {ℝ}^n$ ，由文 [4] 的引理5知

$\begin{array}{c}{m^{\prime }}_k\left(\tilde{d}\mathrm{<mo>\; ;\; </mo>}y\right)=\Vert {\left(h\left(x^k\right)+Dh\left(x^k\right)d\right)}^{\prime }\left(\tilde{d}\mathrm{<mo>\; ;\; </mo>}y\right)\Vert +{\left[{\lambda }_1{\left(G\left(x^k\right)+DG\left(x^k\right)d\right)}_{+}\right]}^{\prime }\left(\tilde{d}\mathrm{<mo>\; ;\; </mo>}y\right)\\ =\Vert Dh\left(x^k\right)y\Vert +{\left[{\lambda }_1{(\cdot )}_{+}\right]}^{\prime }\left(G\left(x^k\right)+DG\left(x^k\right)\tilde{d}\mathrm{<mo>\; ;\; </mo>}DG\left(x^k\right)y\right)\mathrm{,}\end{array}$

令 $\tilde{d}=0$ ，可得

${m^{\prime }}_k\left(0;y\right)=\Vert Dh\left(x^k\right)y\Vert +{\left[{\lambda }_1{(\cdot )}_{+}\right]}^{\prime }\left(G\left(x^k\right);DG\left(x^k\right)y\right).$ (2.3)

由(2.2)和(2.3)即知(2.1)的第一个式子成立。由方向导数的定义以及(2.1)的第一个式子即知(2.1)的第二个式子成立。

引理2.2：设当前点为 $x^k$ ，则如下结论成立：

(1) $x^k$ 为 $P_{\alpha }\left(x\right)$ 的稳定点当且仅当子问题 $\text{QM}\left(x^k\mathrm{,}\alpha \right)\left(1.5\right)$ 的最优解 $d^k\left(\alpha \right)=0$ 。

(2) 若 $x^k$ 为 $P_{\alpha }\left(x\right)$ 的稳定点且 $v\left(x^k\right)=0$ ，则 $x^k$ 是NLSDP (0.1)的一个KKT点。

(3) $x^k$ 为 $v\left(x\right)$ 的稳定点当且仅当对于任意给定的信赖域半径 $\Delta >0$ ，子问题 $\text{LM}\left(x^k\mathrm{,}{\Delta }_k\right)\left(1.7\right)$ 的最优解 $d_{LM}^k$ 满足如下等式：

$m_k\left(d_{LM}^k\right)=v\left(x^k\right)\mathrm{.}$ (2.4)

证明：(1) 子问题 $\text{QM}\left(x^k\mathrm{,}\alpha \right)\left(1.5\right)$ 的最优解 $d^k\left(\alpha \right)=0$ 当且仅当对于任意方向 $y\in {ℝ}^n$ ，有 ${\left(Q_k^{\alpha }\right)}^{\prime }\left(\mathrm{0\; <mo>\; ;\; </mo>}y\right)\ge 0$ 。再由引理2.1和稳定点的定义知结论成立。

(2) 若 $x^k$ 是 $P_{\alpha }\left(x\right)$ 的稳定点，则由结论(1)知子问题 $\text{QM}\left(x^k\mathrm{,}\alpha \right)\left(1.5\right)$ 的最优解 $d^k\left(\alpha \right)=0$ 。由子问题(1.6)的KKT条件可得

$\nabla f\left(x^k\right)+B_k{d}^k\left(\alpha \right)+Dh{\left(x^k\right)}^{\text{T}}{\lambda }_k+DG{\left(x^k\right)}^{\ast }{Y}_k=\mathrm{0,}$ (2.5a)

$h\left(x^k\right)+Dh\left(x^k\right)d^k\left(\alpha \right)=z_1^k\mathrm{,}$ (2.5b)

$G\left(x^k\right)+DG\left(x^k\right)d^k\left(\alpha \right)\preccurlyeq z_2^k{I}_m\mathrm{,}$ (2.5c)

$Y_k\succcurlyeq \mathrm{0,\; <mi>\; </mi>}$ (2.5d)

$\text{Tr}\left(Y_k\left(G\left(x^k\right)+DG\left(x^k\right)d^k\left(\alpha \right)-z_2^k{I}_m\right)\right)=\mathrm{0.\; <mi>\; </mi>}$ (2.5e)

将 $d^k\left(\alpha \right)=0$ 代入，即有

$\nabla f\left(x^k\right)+Dh{\left(x^k\right)}^{\text{T}}{\lambda }_k+DG{\left(x^k\right)}^{\ast }{Y}_k=\mathrm{0,}$ (2.6a)

$h\left(x^k\right)=z_1^k\mathrm{,}$ (2.6b)

$G\left(x^k\right)\preccurlyeq z_2^k{I}_m\mathrm{,}$ (2.6c)

$Y_k\succcurlyeq \mathrm{0,\; <mi>\; </mi>}$ (2.6d)

$\text{Tr}\left(Y_k\left(G\left(x^k\right)-z_2^k{I}_m\right)\right)=0.$ (2.6e)

由 $v\left(x^k\right)=0$ 知 $x^k$ 为NLSDP (0.1)的可行点，故结合(2.6b)，(2.6c)和 $z_2^k\ge 0$ 知 $\left(z_1^k,z_2^k\right)=\left(0,0\right)$ 。再结合(2.6a)，(2.6d)，(2.6e)即知 $x^k$ 是NLSDP (0.1)的KKT点。

(3) 由引理2.1知 $x^k$ 是 $v\left(x\right)$ 的稳定点当且仅当0是 $m_k\left(d\right)$ 的稳定点，结合 $m_k\left(d\right)$ 是凸函数知0是 $\text{LM}\left(x^k\mathrm{,}{\Delta }_k\right)\left(1.7\right)$ 的一个最优解，因此， $m_k\left(d_{LM}^k\right)=m_k\left(0\right)$ ，结合 $m_k\left(0\right)=v\left(x^k\right)$ 即得 $m_k\left(d_{LM}^k\right)=v\left(x^k\right)$ 。反之，若 $m_k\left(d_{LM}^k\right)=m\left(0\right)$ ，即0是子问题 $\text{LM}\left(x^k\mathrm{,}{\Delta }_k\right)\left(1.7\right)$ 的一个最优解，由此知0是 $m_k\left(d\right)$ 的稳定点，于是对任意方向 $y\in {ℝ}^n$ ，有 ${m^{\prime }}_k\left(\mathrm{0\; <mo>\; ;\; </mo>}y\right)\ge 0$ 。由引理2.1即知 $x^k$ 是 $v\left(x\right)$ 的稳定点。

为了方便起见，记

$q_k^f\left(d\right)\mathrm{<mo>\; :\; </mo>}=f\left(x^k\right)+\nabla f{\left(x^k\right)}^{\text{T}}d+\frac{1}{2}{d}^{\text{T}}{B}_{k}d\mathrm{,}$ (2.7)

则由(1.4)知 $Q_k^{\alpha }\left(d\right)=q_k^f\left(d\right)+\alpha m_k\left(d\right)$ 。下面引理给出算法A的适定性。

引理2.3：设当前点 $x^k$ 既不是NLSDP (0.1)的KKT点，也不是约束违反度函数 $v\left(x\right)$ 的稳定点，则以下结论成立：

(1) 若算法A执行到步骤4，则当 $m_k\left(d_{LM}^k\right)=0$ 时，存在 ${\bar{\alpha }}_k>0$ ，使得(1.10)式成立；当 $m_k\left(d_{LM}^k\right)>0$ 时，存在 ${\bar{\alpha }}_k>0$ ，使得(1.11)式成立。另外，若(1.12)不成立，则通过(1.13)式产生的 ${\alpha }_k$ 满足如下不等式：

$Q_k^{{\alpha }_k}\left(0\right)-Q_k^{{\alpha }_k}\left(d^k\left({\alpha }_k\right)\right)\ge {ϵ}_2{\alpha }_k\left[m_k\left(0\right)-m_k\left(d_{LM}^k\right)\right]\mathrm{,}$ (2.8)

其中是子问题 $\text{QM}\left(x^k\mathrm{,}{\alpha }_k\right)\left(1.5\right)$ 的最优解。同时该 ${\alpha }_k$ 也满足不等式(1.10)和(1.11)。

(2) 若算法A执行到步骤5，则 $d^k\left({\alpha }_k\right)$ 是罚函数 $P_{{\alpha }_k}\left(x\right)$ 在 $x^k$ 处的下降方向，并且总存在步长 $t_k>0$ ，使得(1.14)式成立。

证明：(1) 若算法A执行到步骤4，由于子问题(1.8)的最优解 $\left(d_{LM}^k\mathrm{,}{z}_1^k\mathrm{,}{z}_2^k\right)$ 是子问题(1.6)的可行解，故有

$m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)\le m_k\left(d_{LM}^k\right)\mathrm{.}$ (2.9)

若 $m_k\left(d_{LM}^k\right)=0$ ，则由上式知(1.10)成立。若 $m_k\left(d_{LM}^k\right)>0$ ，注意到 ${ϵ}_1\in \left(\mathrm{0,1}\right]$ 。由于0是子问题(1.7)的可行解，因此有 $m_k\left(0\right)-m_k\left(d_{LK}^k\right)\ge 0$ 。于是由(2.9)有

$m_k\left(0\right)-m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)\ge m_k\left(0\right)-m_k\left(d_{LM}^k\right)\ge {ϵ}_1\left[m_k\left(0\right)-m_k\left(d_{LM}^k\right)\right],$

故(1.11)式成立。

若(1.12)不成立，注意到当前的 ${\bar{\alpha }}_k$ 为步骤4.1或步骤4.2更新后的罚参数且子问题 $\text{QM}\left(x^k\mathrm{,}{\bar{\alpha }}_k\right)\left(1.5\right)$ 的最优解是 $d^k\left({\bar{\alpha }}_k\right)$ ，下面分两种情况讨论：

若 $m_k\left(0\right)-m_k\left(d_{LM}^k\right)=0$ ，注意到 $d^k\left({\bar{\alpha }}_k\right)$ 是子问题 $\text{QM}\left(x^k\mathrm{,}{\alpha }_k\right)\left(1.5\right)$ 的最优解，则有 $Q_k^{{\alpha }_k}\left(0\right)\ge Q_k^{{\alpha }_k}\left(d^k\left({\alpha }_k\right)\right)$ 。因此， $Q_k^{{\alpha }_k}\left(0\right)-Q_k^{{\alpha }_k}\left(d^k\left({\alpha }_k\right)\right)-{ϵ}_2{\alpha }_k\left[m_k\left(0\right)-m_k\left(d_{LM}^k\right)\right]\ge 0$ ，即(2.8)成立。

若 $m_k\left(0\right)-m_k\left(d_{LM}^k\right)>0$ ，则 $m_k\left(0\right)>m_k\left(d_{LM}^k\right)\ge 0$ ，故 $m_k\left(0\right)>0$ 。

记 $\Gamma \mathrm{<mo>\; :\; </mo>}=m_k\left(0\right)-m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)+{ϵ}_2\left[m_k\left(d_{LM}^k\right)-m_k\left(0\right)\right]$ ，往证 $\Gamma >0$ 。

若(1.10)成立，则

$\Gamma =m_k\left(0\right)+{ϵ}_2\left[m_k\left(d_{LM}^k\right)-m_k\left(0\right)\right]=\left(1-{ϵ}_2\right)m_k\left(0\right)+{ϵ}_2{m}_k\left(d_{LM}^k\right)>0.$

若(1.11)成立，结合 $0<{ϵ}_2<{ϵ}_1$ 及 $m_k\left(0\right)-m_k\left(d_{LM}^k\right)>0$ ，则有

$\Gamma \ge {ϵ}_1\left[m_k\left(0\right)-m_k\left(d_{LM}^k\right)\right]+{ϵ}_2\left[m_k\left(d_{LM}^k\right)-m_k\left(0\right)\right]=\left({ϵ}_1-{ϵ}_2\right)\left[m_k\left(0\right)-m_k\left(d_{LM}^k\right)\right]\mathrm{,}$

由此可知 $\Gamma >0$ 。

接下来证明 ${\alpha }_k$ 满足(2.8)。由(1.13)得

$\begin{array}{l}{\alpha }_k\left[m_k\left(0\right)-m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)\right]+{ϵ}_2{\alpha }_k\left[m_k\left(d_{LM}^k\right)-m_k\left(0\right)\right]\\ =\nabla f{\left(x^k\right)}^{\text{T}}{d}^k\mathrm{<mo\; stretchy="false">\; (\; </mo>}{\bar{\alpha }}_k\mathrm{<mo\; stretchy="false">\; )\; </mo>}+\frac{1}{2}{\left(d^k\left({\bar{\alpha }}_k\right)\right)}^{\text{T}}{B}_k{d}^k\left({\bar{\alpha }}_k\right)+\Gamma \cdot \rho \mathrm{,}\end{array}$

结合 $\Gamma >0,\mathrm{<mi>\; </mi>}\rho >0$ 和(1.4)，得

$\begin{array}{l}{ϵ}_2{\alpha }_k\left[m_k\left(0\right)-m_k\left(d_{LM}^k\right)\right]\\ \le -\nabla f{\left(x^k\right)}^{\text{T}}{d}^k\left({\bar{\alpha }}_k\right)-\frac{1}{2}{\left(d^k\left({\bar{\alpha }}_k\right)\right)}^{\text{T}}{B}_k{d}^k\left({\bar{\alpha }}_k\right)+{\alpha }_k\left[m_k\left(0\right)-m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)\right]\\ =Q_k^{{\alpha }_k}\left(0\right)-Q_k^{{\alpha }_k}\left(d^k\left({\bar{\alpha }}_k\right)\right)\le Q_k^{{\alpha }_k}\left(0\right)-Q_k^{{\alpha }_k}\left(d^k\left({\alpha }_k\right)\right)\mathrm{,}\end{array}$

即 ${\alpha }_k$ 满足(3.8)。

最后证明 ${\alpha }_k$ 满足(1.10)和(1.11)。设罚参数 ${\alpha }_1<{\alpha }_2$ ，由于 $d^k\left(\alpha \right)$ 是子问题 $\text{QM}\left(x^k\mathrm{,}\alpha \right)\left(1.5\right)$ 的最优解，故有 $Q_k^{{\alpha }_2}\left(d^k\left({\alpha }_1\right)\right)\ge Q_k^{{\alpha }_2}\left(d^k\left({\alpha }_2\right)\right)\mathrm{,\; <mi>\; </mi>}{Q}_k^{{\alpha }_1}\left(d^k\left({\alpha }_2\right)\right)\ge Q_k^{{\alpha }_1}\left(d^k\left({\alpha }_1\right)\right)$ ，即

$q_k^f\left(d^k\left({\alpha }_1\right)\right)+{\alpha }_2{m}_k\left(d^k\left({\alpha }_1\right)\right)\ge q_k^f\left(d^k\left({\alpha }_2\right)\right)+{\alpha }_2{m}_k\left(d^k\left({\alpha }_2\right)\right)\mathrm{,}$

$q_k^f\left(d^k\left({\alpha }_2\right)\right)+{\alpha }_1{m}_k\left(d^k\left({\alpha }_2\right)\right)\ge q_k^f\left(d^k\left({\alpha }_1\right)\right)+{\alpha }_1{m}_k\left(d^k\left({\alpha }_1\right)\right)\mathrm{,}$

两式相减，得 $m_k\left(d^k\left({\alpha }_1\right)\right)\ge m_k\left(d^k\left({\alpha }_2\right)\right)$ ，因此， $m_k\left(d^k\left(\alpha \right)\right)$ 是关于罚参数 $\alpha$ 的单调减函数。由于(1.12)式不成立，故有 $Q_k^{{\bar{\alpha }}_k}\left(0\right)-Q_k^{{\bar{\alpha }}_k}\left(d^k\left({\bar{\alpha }}_k\right)\right)<{ϵ}_2{\bar{\alpha }}_k\left[m_k\left(0\right)-m_k\left(d_{LM}^k\right)\right]$ ，结合 $\Gamma >0$ ，化简得

${\bar{\alpha }}_k<\frac{\nabla f{\left(x^k\right)}^{\text{T}}{d}^k\left({\bar{\alpha }}_k\right)+\frac{1}{2}{\left(d^k\left({\bar{\alpha }}_k\right)\right)}^{\text{T}}{B}_k{d}^k\left({\bar{\alpha }}_k\right)}{m_k\left(0\right)-m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)+{ϵ}_2\left[m_k\left(d_{LM}^k\right)-m_k\left(0\right)\right]}\mathrm{,}$

结合(1.13)式，可得 ${\bar{\alpha }}_k<{\alpha }_k$ ，因此有

$m_k\left(d^k\left({\alpha }_k\right)\right)\le m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)\mathrm{.}$ (3.10)

若 $m_k\left(d_{LM}^k\right)=0$ ，则由(2.10)和(2.9)得 $0\le m_k\left(d^k\left({\alpha }_k\right)\right)\le m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)\le m_k\left(d_{LM}^k\right)=0$ ，故 $m_k\left(d^k\left({\alpha }_k\right)\right)=0$ ，即 ${\alpha }_k$ 满足(1.10)式。

若 $m_k\left(d_{LM}^k\right)>0$ ，则由(2.10)和(2.11)得

$m_k\left(0\right)-m_k\left(d^k\left({\alpha }_k\right)\right)\ge m_k\left(0\right)-m_k\left(d^k\left({\bar{\alpha }}_k\right)\right)\ge {ϵ}_1\left[m_k\left(0\right)-m_k\left(d_{LM}^k\right)\right],$

即 ${\alpha }_k$ 满足(1.11)式。

(2) 若 $x^k$ 不是罚函数 $P_{{\alpha }_k}\left(x\right)$ 的稳定点，则由引理2.2 (1)知 $d^k\left({\alpha }_k\right)\ne 0$ 。由于 $Q_k^{{\alpha }_k}\left(d\right)$ 是凸的且 $d^k\left({\alpha }_k\right)$ 为 $\text{QM}\left(x^k\mathrm{,}{\alpha }_k\right)\left(1.5\right)$ 的最优解，故有 $Q_k^{{\alpha }_k}\left(d^k\left({\alpha }_k\right)\right)<Q_k^{{\alpha }_k}\left(0\right)$ 。由方向导数的定义和 $Q_k^{{\alpha }_k}\left(d\right)$ 的凸性得

$\begin{array}{c}{\left(Q_k^{{\alpha }_k}\right)}^{\prime }\left(0;d^k\left({\alpha }_k\right)\right)=\underset{t\to 0^{+}}{\lim }\frac{Q_k^{{\alpha }_k}\left(t{d}^k\left({\alpha }_k\right)\right)-Q_k^{{\alpha }_k}\left(0\right)}{t}\\ =\underset{t\to 0^{+}}{\lim }\frac{Q_k^{{\alpha }_k}\left(\left(1-t\right)0+t{d}^k\left({\alpha }_k\right)\right)-Q_k^{{\alpha }_k}\left(0\right)}{t}\\ \le \underset{t\to 0^{+}}{\lim }\frac{\left(1-t\right)Q_k^{{\alpha }_k}\left(0\right)+t{Q}_k^{{\alpha }_k}\left(d^k\left({\alpha }_k\right)\right)-Q_k^{{\alpha }_k}\left(0\right)}{t}\\ =Q_k^{{\alpha }_k}\left(d^k\left({\alpha }_k\right)\right)-Q_k^{{\alpha }_k}\left(0\right)<0,\end{array}$

因此， $d^k\left({\alpha }_k\right)$ 是 $Q_k^{{\alpha }_k}\left(d\right)$ 在0处的下降方向。由引理2.1可得：

${P^{\prime }}_{{\alpha }_k}\left(x^k;d^k\left({\alpha }_k\right)\right)={\left(Q_k^{{\alpha }_k}\right)}^{\prime }\left(0;d^k\left({\alpha }_k\right)\right)<0$

因此， $d^k\left({\alpha }_k\right)$ 是罚函数 $P_{{\alpha }_k}\left(x\right)$ 在 $x^k$ 处的下降方向。从而当 $t>0$ 充分小时，有如下不等式成立：

$P_{{\alpha }_k}\left(x^k+t{d}^k\left({\alpha }_k\right)\right)<P_{{\alpha }_k}\left(x^k\right)+t\eta {P^{\prime }}_{{\alpha }_k}\left(x^k;d^k\left({\alpha }_k\right)\right).$ (2.11)

由 $Q_k^{{\alpha }_k}\left(d\right)$ 的凸性可得 $Q_k^{{\alpha }_k}\left(0+t{d}^k\left({\alpha }_k\right)\right)\ge Q_k^{{\alpha }_k}\left(0\right)+t{\left(Q_k^{{\alpha }_k}\right)}^{\prime }\left(0;d^k\left({\alpha }_k\right)\right)$ ，故有

$\begin{array}{c}-t{\left(Q_k^{{\alpha }_k}\right)}^{\prime }\left(0;d^k\left({\alpha }_k\right)\right)\ge Q_k^{{\alpha }_k}\left(0\right)-Q_k^{{\alpha }_k}\left(0+t{d}^k\left({\alpha }_k\right)\right)\\ =Q_k^{{\alpha }_k}\left(0\right)-Q_k^{{\alpha }_k}\left(\left(1-t\right)0+t{d}^k\left({\alpha }_k\right)\right)\\ \ge Q_k^{{\alpha }_k}\left(0\right)-\left(1-t\right)Q_k^{{\alpha }_k}\left(0\right)-t{Q}_k^{{\alpha }_k}\left(d^k\left({\alpha }_k\right)\right)\\ =t\left[Q_k^{{\alpha }_k}\left(0\right)-Q_k^{{\alpha }_k}\left(d^k\left({\alpha }_k\right)\right)\right],\end{array}$

结合引理2.1和(2.11)，可知不等式(1.14)成立。

若算法有限步终止，则由引理2.2知当前点 $x^k$ 或为NLSDP (0.1)的KKT点，或为NLSDP (0.1)的不可行稳定点。在以下讨论中，不妨假设算法A产生无穷序列 $\left\{x^k\right\}$ 且 $x^{\mathrm{<mo>\; *\; </mo>}}$ 为其任一聚点。

类似文 [8] 的证明，可得如下引理成立。

引理2.4：若假设A成立，则对于任意 $\alpha >0$ ，子问题 $\text{QM}\left(x^k\mathrm{,}\alpha \right)\left(1.5\right)$ 的最优解 $d^k\left(\alpha \right)$ 包含于如下闭球：

${\mathcal{B}}_k\mathrm{<mo>\; :\; </mo>}=\left\{d\mathrm{<mi>\; </mi>\; <mo>\; |\; </mo>}\Vert d\Vert \le r^k\right\}\mathrm{,}$

其中， $r^k=b_3+b_4\Vert {\bar{d}}_k\Vert ,\mathrm{<mi>\; </mi>}{b}_3,\mathrm{<mi>\; </mi>}{b}_4>0$ ， ${\bar{d}}_k$ 是子问题 $\text{LM}\left(x^k\mathrm{,}{\Delta }_k\right)\left(1.7\right)$ 的解集中最小范数值点。

下面给出算法A的全局收敛性定理。

定理2.1：若假设A成立，罚参数序列 $\left\{{\alpha }_k\right\}$ 有界，算法A产生无穷序列 $\left\{x^k\right\}$ 且 $x^{\mathrm{<mo>\; *\; </mo>}}$ 为其任一聚点，则

(1) 若 $v\left(x^{*}\right)=0$ ，则 $x^{\mathrm{<mo>\; *\; </mo>}}$ 为NLSDP (0.1)的一个KKT点；

(2) 若 $v\left(x^{*}\right)>0$ ，则 $x^{\mathrm{<mo>\; *\; </mo>}}$ 为NLSDP (0.1)的一个不可行稳定点。

证明：由算法A和假设可知，罚参数序列 $\left\{{\alpha }_k\right\}$ 是单调不减且有界，因此，存在常数 $\bar{\alpha }>0$ ，当k充分大时，有 ${\alpha }_k\equiv \bar{\alpha }$ 。记 $\mathcal{K}\subseteq \left\{\mathrm{1,2,}\cdots \right\}$ ，不失一般性，当 $k\in \mathcal{K}$ 时，设 $x^k\to x^{\mathrm{<mo>\; *\; </mo>}}\mathrm{,\; <mi>\; </mi>}{B}_k\to B_{\mathrm{<mo>\; *\; </mo>}}\mathrm{,\; <mi>\; </mi>}{Q}_k^{\bar{\alpha }}\to Q_{\mathrm{<mo>\; *\; </mo>}}^{\bar{\alpha }}$ 。记 $d^{\mathrm{<mo>\; *\; </mo>}}$ 是子问题 $\text{QM}\left(x^{\mathrm{<mo>\; *\; </mo>}}\mathrm{,}\bar{\alpha }\right)\left(1.5\right)$ 的最优解，往证 $d^{*}=0$ 。

(反证)假设 $d^{\mathrm{<mo>\; *\; </mo>}}\ne 0$ ，则 $Q_{*}^{\bar{\alpha }}\left(0\right)-Q_{*}^{\bar{\alpha }}\left(d^{*}\right)>0$ 。于是有

$Q_k^{\bar{\alpha }}\left(0\right)-Q_k^{\bar{\alpha }}\left(d^{*}\right)\stackrel{K}{\to }{Q}_{*}^{\bar{\alpha }}\left(0\right)-Q_{*}^{\bar{\alpha }}\left(d^{*}\right)>0.$

记 $Q_{*}^{\bar{\alpha }}\left(0\right)-Q_{*}^{\bar{\alpha }}\left(d^{*}\right)=2\epsilon$ ，其中 $\epsilon >0$ 。因此存在指标 $k_0$ ，当 $k\left(\in \mathcal{K}\right)>k_0$ 时，由上式和 $Q_k^{\bar{\alpha }}\left(d^{\mathrm{<mo>\; *\; </mo>}}\right)\ge Q_k^{\bar{\alpha }}\left(d^k\left(\bar{\alpha }\right)\right)$ 得

$Q_k^{\bar{\alpha }}\left(0\right)-Q_k^{\bar{\alpha }}\left(d^k\left(\bar{\alpha }\right)\right)\ge Q_k^{\bar{\alpha }}\left(0\right)-Q_k^{\bar{\alpha }}\left(d^{\mathrm{<mo>\; *\; </mo>}}\right)>\epsilon \mathrm{.}$ (2.12)

当 $t>0$ 足够小时，由引理2.4，(1.1)，(1.3)，假设A1和Taylor展开式得

$\begin{array}{l}v\left(x^k+t{d}^k\left(\bar{\alpha }\right)\right)-m_k\left(t{d}^k\left(\bar{\alpha }\right)\right)\\ =\Vert h\left(x^k\right)+tDh\left(x^k\right)d^k\left(\bar{\alpha }\right)+O\left({\Vert t{d}^k\left(\bar{\alpha }\right)\Vert }^2\right)\Vert -\Vert h\left(x^k\right)+tDh\left(x^k\right)d^k\left(\bar{\alpha }\right)\Vert \\ +{\lambda }_1{\left(G\left(x^k\right)+tDG\left(x^k\right)d^k\left(\bar{\alpha }\right)+O\left({\Vert t{d}^k\left(\bar{\alpha }\right)\Vert }^2\right)\right)}_{+}\\ -{\lambda }_1{\left(G\left(x^k\right)+tDG\left(x^k\right)d^k\left(\bar{\alpha }\right)\right)}_{+}\\ =O\left({\Vert t{d}^k\left(\bar{\alpha }\right)\Vert }^2\right)\end{array}$ (2.13)

由引理2.4，(1.3)，假设A及Taylor展开式得

$\begin{array}{l}f\left(x^k+t{d}^k\left(\bar{\alpha }\right)\right)-q_k^f\left(t{d}^k\left(\bar{\alpha }\right)\right)\\ =f\left(x^k\right)+t\nabla f{\left(x^k\right)}^{\text{T}}{d}^k\left(\bar{\alpha }\right)+\frac{1}{2}{t}^2{\left(d^k\left(\bar{\alpha }\right)\right)}^{\text{T}}{\nabla }^{2}f\left(\xi \right)d^k\left(\bar{\alpha }\right)-q_k^f\left(t{d}^k\left(\bar{\alpha }\right)\right)\\ =\frac{1}{2}{t}^2{\left(d^k\left(\bar{\alpha }\right)\right)}^{\text{T}}\left({\nabla }^{2}f\left(\xi \right)-B_k\right)d^k\left(\bar{\alpha }\right)=O\left({\Vert t{d}^k\left(\bar{\alpha }\right)\Vert }^2\right)\mathrm{,}\end{array}$ (2.14)