本文设计了一个新的参数公式,在适当条件下,建立在此参数公式上的共轭梯度算法在WWP线搜索下全局收敛。初步的数值实验结果表明新算法是有效的。 This paper has designed a new parameter formula. The conjugate gradient algorithm which based on the parameter formula is global convergence with WWP line search under appropriate condi-tions. Preliminary numerical results turn out that this new method is effective.
黎勇1,袁功林2
1百色学院数学与统计学院,广西 百色
2广西大学数学与信息科学学院,广西 南宁
收稿日期:2016年10月27日;录用日期:2016年11月9日;发布日期:2016年11月18日
本文设计了一个新的参数公式,在适当条件下,建立在此参数公式上的共轭梯度算法在WWP线搜索下全局收敛。初步的数值实验结果表明新算法是有效的。
关键词 :无约束优化,共轭梯度法,全局收敛性
考虑无约束优化问题
度法是一种迭代算法,因为简便、存储需求小的优势而往往被用来求解大规模的优化问题,它的迭代公式通常如下:
其中
这里的
研究者普遍认为PRP方法是目前数值表现最好的共轭梯度法之一,但收敛性质比较一般。文献 [
受到了广泛关注。建立在这一参数公式基础上的共轭梯度算法不仅收敛效果好,而且数值结果也比较理想 [
该方法能够自动保证参数公式的非负性,而且不依赖任何线搜索,可以自动保证充分下降性,因而收敛效果也比较好。我们在文献 [
借鉴了文献 [
则可以得到一个新的共轭梯度法。
下面将建立并讨论新算法和算法的收敛性。新算法采用弱Wolfe-Powell(WWP)线搜索,步长
和
其中
算法1
步1:给出
步2:计算步长因子
步3:令
步4:按(4)式计算公式
步5:令
假设:
假设(i) 水平集
假设(ii) 函数
引理1. 若
证明:因为
由Cauchy-Schwarz不等式可得
引理2 (性质*)。考虑算法1,假设(i)、(ii)成立,若
则存在常数
以及
证明:取
而若
引理3 [
1)
2) 充分下降条件成立;
3) 性质(*)成立;
4) 假设(ⅰ)(ⅱ)成立;
则算法全局收敛。
在共轭梯度法的讨论中,充分下降条件
是一个很重要的性质。
根据以上3个引理,在假设充分下降条件可以满足的前提下,容易得出本文所给的共轭梯度法在WWP线搜索下全局收敛的结论。
定理1. 若假设(i) (ii)成立,且(9)式成立,序列
为了考查新算法的数值表现,本文选取26个函数进行数值实验,部分测试函数来自CUTE函数库。数值试验程序我们利用Fortran语言编写。表1列出的计算结果是在参数
测试函数 | 维数 | |||
---|---|---|---|---|
Extended Trigonometric | 3000 | 0.3333498E−06 | 0.9931361E−05 | 45/212 |
6000 | 0.1153415E−06 | 0.9473102E−05 | 47/239 | |
Extended Penalty | 3000 | 0.275597E+04 | 0.4997212E−05 | 10/69 |
6000 | 0.5611677E+04 | 0.8933257E−05 | 11/73 | |
Raydan 2 | 3000 | 0.300000E+04 | 0.7822789E−05 | 4/18 |
6000 | 0.6000000E+04 | 0.7820519E−05 | 4/18 | |
Hager | 3000 | −0.2925501E+06 | 0.3476614E−04 | 112/550 |
6000 | −0.9347349E+06 | 0.7880606E−04 | 140/602 | |
Generalized Tridiagonal 1 | 3000 | 0.2997210E+04 | 0.7700144E−05 | 27/83 |
6000 | 0.5997210E+04 | 0.7715256E−05 | 27/83 | |
Extended Three Exponential Terms | 3000 | 0.3838900E+04 | 0.8373884E−05 | 14/52 |
6000 | 0.7677800E+04 | 0.3013287E−05 | 15/59 | |
Generalized Tridiagonal 2 | 3000 | 0.1114854E+01 | 0.9450020E−05 | 123/371 |
6000 | 0.1114854E+01 | 0.9573045E−05 | 123/379 | |
Diagonal 4 | 3000 | 0.2804463E−08 | 0.1933722E−05 | 4/15 |
6000 | 0.5251179E−08 | 0.1871038E−05 | 4/15 | |
Diagonal 5 | 3000 | 0.2079442E+04 | 0.4251189E−07 | 2/10 |
6000 | 0.4158883E+04 | 0.4243535E−07 | 2/10 | |
Extended Himmelblau | 3000 | 0.9804727E−09 | 0.7983281E−05 | 14/57 |
6000 | 0.2062873E−08 | 0.8169256E−05 | 14/57 | |
Extended PSC1 | 3000 | 0.1159799E+04 | 0.5617920E−05 | 11/49 |
6000 | 0.2319597E+04 | 0.5786743E−05 | 11/49 | |
Extended Block Diagonal BD1 | 3000 | 0.4274553E−07 | 0.8234179E−05 | 25/120 |
6000 | 0.8402421E−07 | 0.8160427E−05 | 25/120 | |
Extended Quadratic Penalty QP1 | 3000 | 0.1199000E+05 | 0.9924719E−05 | 8/177 |
6000 | 0.2399000E+05 | 0.8802386E−05 | 9/242 | |
Extended EP1 | 3000 | 0.2379528E+05 | 0.4934875E−05 | 2/8 |
6000 | 0.4759058E+05 | 0.4882155E−05 | 2/8 | |
Extended Tridiagonal-2 | 3000 | 0.1168798E+04 | 0.9850863E−05 | 46/150 |
6000 | 0.2337985E+04 | 0.9371683E−05 | 47/182 | |
DIXMAANA (CUTE) | 3000 | 0.1000000E+01 | 0.2617340E−05 | 5/25 |
6000 | 0.1000000E+01 | 0.2617859E−05 | 5/25 | |
DIXMAANB (CUTE) | 3000 | 0.1000000E+01 | 0.1674320E−05 | 5/28 |
6000 | 0.1000000E+01 | 0.1670881E−05 | 5/28 | |
DIXMAANC (CUTE) | 3000 | 0.1000000E+01 | 0.8383319E−05 | 5/30 |
6000 | 0.1000000E+01 | 0.6797974E−05 | 5/30 | |
Broyden Tridiagonal | 3000 | 0.8949051E−11 | 0.9586283E−05 | 50/156 |
6000 | 0.3970671E+00 | 0.9702865E−05 | 286/882 |
EDENSCH (CUTE) | 3000 | 0.1800328E+05 | 0.6594267E−05 | 26/84 |
---|---|---|---|---|
6000 | 0.3600328E+05 | 0.6080001E−05 | 26/84 | |
DIAGONAL 6 | 3000 | 0.9180457E−07 | 0.7823246E−05 | 4/18 |
6000 | 0.1836105E−06 | 0.7823289E−05 | 4/18 | |
DIXMAAND (CUTE) | 3000 | 0.3328432E+04 | 0.8480679E−05 | 21/99 |
6000 | 0.6658787E+04 | 0.8407817E−05 | 20/88 | |
FLETCHCR (CUTE) | 3000 | −0.2999000E+04 | 0.1190158E−04 | 14/295 |
6000 | −0.5999000E+04 | 0.6698629E−05 | 14/225 | |
COSINE (CUTE) | 3000 | 0.6352702E−10 | 0.3965849E−06 | 7/29 |
6000 | 0.1283959E−09 | 0.3986312E−06 | 7/29 | |
Extended DENSCHNB (CUTE) | 3000 | 0.5952919E−10 | 0.2392949E−05 | 16/69 |
6000 | 0.1004371E−08 | 0.9853385E−05 | 15/66 | |
BIGGSB1 (CUTE) | 3000 | 0 | 0 | 0/2 |
6000 | 0 | 0 | 0/2 |
表1. 数值实验结果
上表中的测试结果表明新算法是有效的,特别是对于高维问题,新算法表现出了较好的处理能力,所以对于大规模优化问题的求解,新算法有能力解决此类问题。
国家自然科学基金项目(No.11661001, No.11661009);广西自然科学基金(No.2014GXNSFAA118030);广西教育厅科研项目(No.YB2014389)。
黎勇,袁功林. 一种新的共轭梯度法 A New Conjugate Gradient Method[J]. 应用数学进展, 2016, 05(04): 614-619. http://dx.doi.org/10.12677/AAM.2016.54071