Operations Research and Fuzziology
Vol. 09  No. 03 ( 2019 ), Article ID: 31597 , 7 pages
10.12677/ORF.2019.93024

A New Smoothing Newton Algorithm Based on the New Valued Function for Second-Order Cone Programming

Xiaojuan Liang

School of Mathematics and Information Science, Guangxi University, Nanning Guangxi

Received: Jul. 15th, 2019; accepted: Jul. 30th, 2019; published: Aug. 6th, 2019

ABSTRACT

Based on the Fischer-Burmeister function, a new Newton method is proposed for solving the Second-order cone programming. This algorithm adapts a new smoothing value function and proposes a Newton equation with disturbance to gain the search direction. Under suitable assumptions, we prove that the proposed new method is globally and locally quadratically convergent.

Keywords:Second-Order Cone Programming, Smoothing Newton Method, Global Convergence, Quadratical Convergence

二阶锥规划基于新价值函数的新光滑牛顿算法

梁晓娟

广西大学数学与信息科学学院,广西 南宁

收稿日期:2019年7月15日;录用日期:2019年7月30日;发布日期:2019年8月6日

摘 要

本文在Fischer-Burmeister (FB)函数的基础上,提出一种求解二阶锥规划(SOCP)问题的新光滑牛顿函数,并采用一种新的价值函数。同时用一个带扰动的牛顿方程组去获得搜索方向,在适当假设下,证明新算法具有全局收敛和局部二次收敛。

关键词 :二阶锥规划,光滑牛顿法,全局收敛,局部二次收敛

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

本文主要考虑以下线性二阶锥规划问题:

min { c T x | A x = b , x K } (1.1)

其对偶问题:

max { b T y | A T y + s = c , s K , y R m } (1.2)

二阶锥规划是凸规划问题的一个重要分支,它是在仿射空间与有限个二阶锥的笛卡尔积的交集上极小化或极大化一个线性函数。在现实生活中有着广泛的应用:图论优化(文 [1] ),力学(文 [2] ),投资组合(文 [3] )等都可以转化为二阶锥规划问题求解。此外,许多数学问题也可转化为二阶锥问题求解:线性规划,二次规划,范数极小化(文 [4] ),因而研究二阶锥规划具有重要的理论与现实意义。本文在向量值FB函数的基础上进行改进得到一个新的光滑函数,并采用一个新的价值函数,给出求解二阶锥问题的一个光滑牛顿法,并证明算法是全局收敛和局部二次收敛。

2. 基础知识

为了更好地研究二阶锥规划,介绍一些与二阶锥相伴的欧几里得若当代数的基本概念以及二阶锥规划的最优性条件等。先介绍一些记号,其中U表示反射矩阵, E n 1 表示 ( n 1 ) 阶单位阵, A r w ( x ) 表示一个箭形矩阵,本文用相应的大写字母表示箭形矩阵,比如 X = A r w ( x ) S = A r w ( s ) W = A r w ( w ) A i = A r w ( a i )

对于 x = ( x 1 ; x 2 ) R × R n 1 , s = ( s 1 ; s 2 ) R × R n 1 ,定义如下若当积:

x s ( x T s x 1 s 2 + s 1 x 2 ) = A r w ( x ) s = A r w ( x ) A r w ( s ) e = X S e

x 2 x x x + y 表示通常的向量的加法。

定理2.1 (谱分解定理) (文 [5] )

对向量x我们定义与二阶锥有关的谱分解为: x = λ 1 c 1 + λ 2 c 2 ,其中x的谱值 λ i 和与之对应的谱向量 c i 如下:

λ i = x 1 + ( 1 ) i + 1 x 2 , i = 1 , 2

ω R n 1 是满足 ω = 1 的任意向量。

定理2.2 (最优性条件) (文 [6] )如果(1.1)和(1.2)都有严格可行解,则 ( x , ( y , s ) ) 是(1.1)和(1.2)的最优解对当且仅当

{ A x = b , x K , A T y + s = c , s K , x s = 0 . (2.1)

对二阶锥规划,其二阶锥互补函数定义如下:

定义2.1 (文 [7] )如果向量值函数 ϕ s o c : R n × R n R n 满足

ϕ s o c ( x , s ) = 0 x s = 0 , x K , s K (2.2)

则称 ϕ s o c 为二阶锥互补函数。

对任意 z = ( μ , x , y ) R + × R n × R m ,定义函数 H ( z ) : R 1 + n + m R 1 + m + n 如下:

H ( z ) = ( μ b A x ϕ ( μ , x , c A T y ) ) (2.3)

Ψ ( z ) = ( b A x ϕ ( μ , x , c A T y ) ) (2.4)

其中 ϕ ( μ , x , c A T y ) 是任意的二阶锥互补函数。易见 H ( x , y , s ) = 0 是与最优性条件等价的方程组,由此可知, ( μ * , x * , y * ) H ( μ , x , y ) = 0 的解当且仅当 ( x * , y * , c A T y ) 满足最优性条件,是问题(1.1)和(1.2)的最优解对。由上易知,求解此方程组的关键在于构造合适的二阶锥互补函数。由于常见的二阶锥互补函数:向量值最小函数,向量值FB函数在 ( 0 , 0 ) 点不可微(即非光滑),不能直接用牛顿法求解,为了进一步研究,先给出光滑化的概念。

定义2.2 (文 [8] )对于不可微函数 h : R n R m ,考虑带有参数 μ > 0 的函数 h μ : R n R m ,如果它具备如下性质:

(1) 对于任意的 μ > 0 h μ 是光滑的;

(2) lim μ 0 h μ ( x ) = h ( x ) , x R n

则称 h μ 是h的光滑函数。

3. 一个新的光滑函数及其性质

光滑函数在二阶锥规划算法研究中起着重要作用。由于向量值最小函数,向量值FB函数并不处处连续可微,大大影响了其实际应用。本文在FB函数的基础上通过光滑对称扰动,得到一个新的向量值函数 ϕ ( μ , x , s ) : R + × R n × R n R n

ϕ ( μ , x , s ) = ( e μ + μ ) ( x + s ) ( e μ x + μ s ) 2 + ( μ x 2 + e μ s 2 ) + 2 μ 2 e (3.1)

因此可考虑用牛顿法求解 H ( z ) = 0 ,但对于所构造的 H ( z ) ,其雅可比矩阵必须是非奇异的。在讨论 H ( z ) 的性质之前先介绍相关结论。

引理3.1 (文 [7] )对于任意的 a 1 , , a p R n ,令 χ ( a 1 , , a p ) = i = 1 p ( a i ) 2 。则 χ 是全局利普希茨连续的;若 v 1 v 2 ,其中 v = ( v 1 ; v 2 ) R × R n 1 v = i = 1 p ( a i ) 2 ,则 χ ( a 1 , , a p ) 的任意邻域是连续可微的, χ 是强半光滑的。

引理3.2 (文 [9] )对于任意的 x , y R w K n 0 ,如果 w 2 K n x 2 + y 2 ,则

[ A r w ( w ) A r w ( x ) ] [ A r w ( w ) A r w ( y ) ] 0 , A r w ( w ) A r w ( x ) 0 , A r w ( w ) A r w ( y ) 0

且当 变为 _ 时,上述结论仍然成立。

定理3.1设 z = ( μ , x , y ) R + × R n × R m , H ( z ) : R 1 + n + m R 1 + m + n 由(2.3)式定义,令

a 1 = e μ x + μ s , a 2 = μ x + e μ s , a 3 = 2 μ e , w 2 = v = ( a 1 ) 2 + ( a 2 ) 2 + ( a 3 ) 2 = ( v 1 ; v 2 ) R × R n 1

(i) H ( z ) R 1 + n + m 上的全局利普希茨连续的处处强半光滑函数,且在 ( μ , x , y ) R + × R n × R m 处连续可微,其雅克比矩阵为

H ( z ) = ( 1 0 0 0 A 0 ϕ μ ( z ) ϕ x ( z ) ϕ s ( z ) A T ) (3.2)

其中

ϕ μ ( z ) = ( e μ + 1 ) ( x + s ) W 1 [ A 1 ( e μ x + s ) + A 2 ( x + e μ s ) + 2 μ e ]

ϕ x ( z ) = ( e μ + μ ) E n W 1 ( e μ A 1 + μ A 2 )

ϕ s ( z ) = ( e μ + μ ) E n W 1 ( μ A 1 + e μ A 2 )

(ii) 如果矩阵A行满秩,对任意的 μ > 0 H ( z ) 可逆。

证明:首先由引理3.1易知(i)成立。下证(ii)成立。对任意的 μ > 0 ,要证 H ( z ) 可逆,只需要证方程组 H ( z ) Δ z = 0 只有零解,即 Δ z = ( Δ μ , Δ x , Δ y ) = 0 。将(3.2)式代入 H ( z ) Δ z = 0 可得

Δ μ = 0 , A Δ x = 0 , ϕ x ( z ) Δ x ϕ s ( z ) A T Δ y = 0 (3.3)

ϕ x ( z ) ϕ s ( z ) 代入(3.3)式并将等式两端同时左乘W,得

[ ( e μ + μ ) W ( e μ A 1 + μ A 2 ) ] Δ x [ ( e μ + μ ) W ( μ A 1 + e μ A 2 ) ] A T y = 0 (3.4)

因为 ( e μ + μ ) 2 W 2 ( e μ x + μ s ) 2 ( μ x + e μ s ) 2 K 0 故由引理3.2知 ( e μ + μ ) W ( μ A 1 + e μ A 2 ) ( e μ + μ ) W ( e μ A 1 + μ A 2 ) 可逆。将方程(3.4)左乘 Δ x T [ ( e μ + μ ) W ( μ A 1 + e μ A 2 ) ] 1 ,由 A Δ x = 0 Δ x T [ ( e μ + μ ) W ( μ A 1 + e μ A 2 ) ] 1 [ ( e μ + μ ) W ( e μ A 1 + μ A 2 ) ] Δ x = 0

Δ x ˜ = [ ( e μ + μ ) W ( μ A 1 + e μ A 2 ) ] 1 Δ x

Δ x ˜ T [ ( e μ + μ ) W ( e μ A 1 + μ A 2 ) ] [ ( e μ + μ ) W ( μ A 1 + e μ A 2 ) ] Δ x ˜ = 0 (3.5)

由引理3.2知矩阵 [ ( e μ + μ ) W ( e μ A 1 + μ A 2 ) ] [ ( e μ + μ ) W ( μ A 1 + e μ A 2 ) ] 正定,因此 Δ x ˜ = 0 ,从而 Δ x = 0 ,又矩阵A行满秩,由(3.3)式可得 Δ y = 0 ,即 H ( z ) Δ z = 0 只有零解,故 H ( z ) 可逆。

4. 算法的描述

z = ( μ , x , y ) : R + × R n × R m ,一般采用价值函数: θ 1 ( z ) = H ( z ) 2 ,本文采用价值函数: θ ( z ) = μ + Ψ ( z ) 2 。下面给出具体的算法描述:

算法4.1 (二阶锥规划的一个光滑牛顿法)

步骤0:(初始化)给出常数 δ , σ ( 0 , 1 ) , μ 0 R + , η , γ ( 0 , 1 ) 满足 γ < μ 0 η + γ < 1 ( x 0 , y 0 ) R n × R m 为初始点,令 z 0 = ( μ 0 , x 0 , y 0 ) ,令 k : = 0

步骤1:(终止准则)若 H ( z k ) = 0 ,停止,否则令

γ k : = ( β k G k ) ,其中 β k = γ min { 1 , θ ( z k ) 2 } G k = η H ( z k ) 1 + θ ( z k ) Ψ ( z k )

步骤2:(确定搜索方向)解线性方程组 H ( z k ) + H ( z k ) Δ z k = γ k 得到搜索方向 Δ z k

步骤3:(确定步长)记 l k 是满足下式的最小非负整数l:

θ ( z k + δ l Δ z k ) [ 1 σ ( 1 γ + η ) δ l ] θ ( z k )

令步长 α k = δ l k

步骤4:(迭代更新)令 z k + 1 = z k + α k Δ z k , k : = k + 1 ,返回步骤1。

引理4.1令 Ψ ( z k ) 由(2.4)式所定义,如果 μ k 0 ,则

G ( z k ) η min { 1 , θ ( z k ) 2 } (4.1)

证明:因为 H ( z k ) 2 = μ k 2 + Ψ ( z k ) 2 ( μ k + Ψ ( z k ) ) 2 = θ ( z k ) 2 ,所以 H ( z k ) 2 θ ( z k )

又因为 Ψ ( z k ) θ ( z k ) ,故 G k = η H ( z k ) 1 + θ ( z k ) Ψ ( z k ) η θ ( z k ) 2 1 + θ ( z k ) 2 η 。又从上式第一个不等式得

G ( z ) ( η G ( z k ) ) θ ( z k ) 2 ,故 G ( z k ) η θ ( z k ) 2 。综上可得(4.1)式成立。

引理4.2设 β k , G ( z k ) 由算法的步骤2所定义,则对任意的 k 0 ,有

β k + G ( z k ) ( γ + η ) θ ( z k ) (4.2)

证明:对任意的 ζ 0 ,有 min { 1 , ζ 2 } ζ 成立,故由算法的步骤2得 β k = γ min { 1 , θ ( z k ) 2 } γ θ ( z k ) G ( z k ) η min { 1 , θ ( z k ) 2 } η θ ( z k ) ,故(4.2)式成立。

定理4.1设矩阵A行满秩,如果 μ k > 0 ,则算法4.1是适定的。

证明:因为矩阵A行满秩且 μ k > 0 ,由定理3.1知 H ( z ) 可逆,所以算法4.1的步骤2是适定的。令 Δ z k = ( Δ μ k , Δ x k , Δ y k ) R × R n × R m 是步骤2中方程组的解,则对任意的 α ( 0 , 1 ] ,有

μ k + 1 = μ k + α Δ μ k = μ k + α ( β k μ k ) + α β k > 0 (4.3)

由于 Ψ ( z k ) 在任意的 z k R × R n × R m 处连续可微,因此对任意的 α ( 0 , 1 ] ,有

Ψ ( z k + α Δ z k ) = Ψ ( z k ) + α Ψ ( z k ) Δ z k + o ( α ) = ( 1 α ) Ψ ( z k ) + α G ( z k ) + o ( α ) ( 1 α ) Ψ ( z k ) + α G ( z k ) + o ( α ) (4.4)

由(4.3)式和(4.4)式得

θ ( z k + α Δ z k ) = μ k + α Δ μ k + Ψ ( z k + α Δ z k ) ( 1 α ) μ k + α β k + ( 1 α ) Ψ ( z k ) + α G ( z k ) + o ( α ) = ( 1 α ) θ ( z k ) + α ( β k + G ( z k ) ) + o ( α ) ( 1 α ) θ ( z k ) + α ( γ + η ) θ ( z k ) + o ( α ) = [ 1 ( 1 γ η ) α ] θ ( z k ) + o (α)

上式第二个不等式由引理4.2可得,又因为 γ + η < 1 ,所以存在一个常数 α ¯ ( 0 , 1 ] ,使得对任意的 α ( 0 , α ¯ ] ,有

θ ( z k + t Δ z k ) [ 1 σ ( 1 γ η ) α ] θ ( z k ) (4.5)

即步骤3可在有限步终止,故步骤3是适定的。综上可知,算法4.1是适定的。

5. 收敛性分析

定理5.1 (i) 设矩阵A行满秩且 { z k = ( μ k , x k , y k ) } 是算法4.1生成的无穷迭代点列,则对 k 0 ,有 μ k > 0 ,其中

Λ : = { z = ( μ , x , y ) R + × R n × R m | μ β ( z ) } (5.1)

(ii) (全局收敛) { z k } 的任意聚点 z * = ( μ * , x * , y * ) 都是 H ( z k ) = 0 的解。

证明:(i) 由算法4.1的步骤4可知 { θ ( z k ) } 单调下降,由 { β k } 的定义可知 { β k } 单调下降。先用数学归纳法证明 μ k > 0 ,由算法4.1的步骤0知 μ 0 > γ > 0 ,假设 μ k > 0 ,下证 μ k + 1 > 0 ,由于 α k = δ l k ( 0 , 1 ] β k ( 0 , 1 ) ,由(4.3)式知 μ k + 1 > 0 ,故 μ k > 0

同理用数学归纳法证明 ,由算法4.1的步骤0知 μ 0 > γ β 0 ,即 z 0 Λ ,假设 z k Λ

下证 z k + 1 Λ ,由(4.3)式可得 μ k + 1 = ( 1 α ) μ k + α β k ( 1 α ) β k + α β k = β k β k + 1 ,故 z k + 1 Λ

(ii) 不失一般性,设 z * 是点列 { z k } 的任意聚点,要证 θ ( z * ) = 0 ,用反证法。假设 θ ( z * ) > 0 ,由算法4.1的步骤3知 { θ ( z k ) } 单调下降其有下界,结合 θ ( z k ) 的连续性,有 lim k + θ ( z k ) = θ ( z * ) 。由 β ( z k ) 的定义知 β ( z k ) 单调下降且趋于 β ( z * ) β * = β ( z * ) = γ min { 1 , θ ( z * ) } > 0 。另外,由(5.1)知,对任意的 k > 0 ,有 μ k β k ,从而 μ * β * μ 0 > 0 。又因为 H ( z * ) 可逆,令 Δ z k = ( Δ μ k , Δ x k , Δ y k ) 为算法4.1的步骤2的解,存在一个非负整数 l ¯ 使得 δ l ¯ [ 0 , α ¯ ] ,当k充分大时,有 θ ( z k + 1 ) [ 1 σ ( 1 γ η ) δ τ ] θ ( z k ) 。存在 z * 的一个闭邻域 N ( z * ) 和正数 t ¯ ( 0 , 1 ] ,使得对于任意的 z = ( μ , x , y ) N ( z * ) 和所有的 t [ 0 , t ¯ ] ,都有 μ > 0 H ( z ) 非奇异且

θ ( z k + t Δ z k ) [ 1 σ ( 1 2 γ μ 0 η ) t ] θ ( z k ) (5.2)

由算法4.1的步骤3知,对于充分大的k,步长 α k = δ l k δ τ ,因此有

θ ( z k + 1 ) [ 1 σ ( 1 γ η ) δ l l ] θ ( z k ) [ 1 σ ( 1 γ η ) δ τ ] θ (zk)

上式两端取极限得

θ ( z * ) > 0 知, σ ( 1 γ η ) δ τ 0 ,即 γ + η 1 ,与算法步骤0中 γ + η < 1 矛盾,故 θ ( z * ) = 0 。因此算法4.1是全局收敛的。

定理5.2 (局部二次收敛)设矩阵A行满秩且 z * 是算法4.1产生的迭代点列 { z k } 的任意聚点,若 V H ( z * ) 都是非奇异的,则 z k + 1 z * = O ( z k z * 2 ) ,且 μ k + 1 = O ( μ k 2 )

证明:类似文献 [10] 中定理8的证明可得此结论,在此省略。

文章引用

梁晓娟. 二阶锥规划基于新价值函数的新光滑牛顿算法
A New Smoothing Newton Algorithm Based on the New Valued Function for Se-cond-Order Cone Programming[J]. 运筹与模糊学, 2019, 09(03): 215-221. https://doi.org/10.12677/ORF.2019.93024

参考文献

  1. 1. Buss, M., Hashimoto, H. and Moore, J.B. (1996) Dexterous Hand Grasping Force Optimization. IEEE Transactions on Robotics and Autimation, 12, 406-418. https://doi.org/10.1109/70.499823

  2. 2. Beatriz, L., Antonio, M. and Joaquin, S. (2014) Robot Grasping Foundations. From Robot to Human Grasping Simulation, 19, 15-31. https://doi.org/10.1007/978-3-319-01833-1_2

  3. 3. Lobo, M.S., Vandenberghe, L., Boyd, S. and Lebret, H. (1998) Applications of Second-Order Cone Programming. Linear Algebra and Its Application, 284, 193-228. https://doi.org/10.1016/S0024-3795(98)10032-0

  4. 4. Andersen, K.D., Christiansen, E. and Overton, M.L. (1998) Computing Limit Loads by Minimizing a Sum of Norms. SIAM Journal on Scientific Computing, 19, 1046-1062. https://doi.org/10.1137/S1064827594275303

  5. 5. Faraut, J. and Koranyi, A. (1994) Analysis on Symmetric Cone Oxiord. Clarendon Press, Oxford.

  6. 6. Alizadeh, F. and Goldfarb, D. (2003) Second-Order Cone Programming. Mathematical Programming, 95, 3-51. https://doi.org/10.1007/s10107-002-0339-5

  7. 7. Sun, D.F. and Sun, J. (2005) Strong Semismoothness of the Fischer-Burmeister SDC and SOC Complementarity Functions. Mathematical Programming, 103, 575-581. https://doi.org/10.1007/s10107-005-0577-4

  8. 8. Hayashi, S., Yamashita, N. and Fukushima, M. (2005) A Com-bined Smoothing and Regularization Method for Monotone Second-Order Cone Complementarity Problems. SIAM Journal on Optimization, 15, 593-615. https://doi.org/10.1137/S1052623403421516

  9. 9. Fukushima, M., Luo, Z.Q. and Tseng, P. (2001) Smoothing Functions for Second-Order Cone Complementarity Problems. SIAM Journal on Optimization, 12, 436-460. https://doi.org/10.1137/S1052623400380365

  10. 10. Qi, L, Sun, D, Zhou, G. (2000) A New Look at Smoothing Newton Methods for Nonlinear Complementarity Problems and Box Constrained Variational Inequalities. Mathematical Programming, 87, 1-35. https://doi.org/10.1007/s101079900127

期刊菜单