 Pure Mathematics 理论数学, 2011, 1, 1-7 http://dx.doi.org/10.12677/pm.2011.11001 Published Online April 2011 (http://www.hanspub.org/journal/pm/) Copyright © 2011 Hanspub PM Modified DY and HS Conjugate Gradient Algorithms and Their Global Convergence Xiangrong Li College of Mathematics and Information S c ie n c e , Guangxi University, Nanning Email: xrli68@163. c om Received: Mar. 12th, 2011; revised: Mar. 20th, 2011; accepted: Mar. 21st, 2011. Abstract: Yuan[15] proposed a modified PRP conjugate gradient method which can ensure that the scalar 0 k holds and the search direction possesses the sufficient descent prop erty without an y line search. This technique has been extended to other conjugate gradient methods, but the convergence has been not given. In this paper, our purpose is to analyze the property of DY and HS: suff icient descent property and global con- vergen ce, moreover numerical results are shown. Keywords: Conjugate Gr adient Method; Sufficient Descent Property; Global Convergence 修改的 DY 和HS 共轭梯度算法及其全局收敛性 李向荣 广西大学数学与信息科学学院，南宁 Email: xrli68@163. c om 收稿日期：2011 年3月12日；修回日期：2011 年3月20 日；录用日期：2011 年3月21 日 摘 要：Yuan[15]提出了修改的 PRP 共轭梯度方法，该方法能保证参数 k 非负且搜索方向在不需要任何 线搜索下具有充分下降性。作者也将此技术推广到其它共轭梯度方法中，并给出了修改的公式，但是没 有给出具体的收敛性证明。本文的主要工作就是分析修改的 DY 和HS 共轭梯度方法的性质：充分下降 性和全局收敛性，同时给出数值检验结果。 关键词：共轭梯度方法；分下降性；全局收敛性 1. 引言 求解下述问题 min( ) f x n x (1.1) 其中 () f x连续可微。共轭梯度法拥有结构简单且效果 明显的性质常被用于求解此问题，该方法采用下面的 迭代公式 1,0,1,2, kkkk xx dk k x是第 次迭代点，k0 k 是步长， 是具有下面定 义形式的搜索方向 k d 1,1 ,0, kkk kk gdk dgk , (1.2) 其中 k 是一个参数，根据 k 的选取不同而称为不 同的共轭梯度法，下面我们给出几个著名的 k 的选取 方法： 11 2 () ,[1,2], T PRP kk k k k gg g g 11 2,[3], T FR kk k k gg g 11 ,[4], T CD kk kT kk gg dg , 11 k T k kk T k LS kgd ggg [5]  李向荣等 修改的 和 共轭梯度算法及其全局收敛性 2 | DY HS 11 1 () ,[6], () T HS kk k kT kkk gg g ggd 11 1 ,[7], () T DY kk kT kkk gg ggd )( kk xfg k x1k x 和，分别表示函数 在 和 的梯度值， )( 11 kk xfg )(xf .是欧氏向量范数。在上述方法 中，PRP，LS 和HS 的数值表现优越但收敛性不理想， FR，CD 和DY方法的收敛性好但数值表现不优越。 其中，PRP方法的数值表现最为理想，常常被人们用 于实际的问题求解。许多学者都希望找到数值表现可 与PRP 相媲美同时性质又比其好的方法，已取得许多 成果（见[8 -18]等）。在 文 献 [15]中，Yuang给出了下述 PRP 修改公式： 2 1 4 min ,, k MPRP PRPPRPT kk kk k ygd g k 其中 4 1 是常数， 。该方法拥有充分 kkk ggy 1 下降性和全局收敛性，且数值表现优于 PRP 方法。在 此公式的基础上，作者将此思想进行了推广，得到了 下面的修改的 DY 和HS公式： 2 11 2 min, k MDY DYDYT kk kk T kk g k g d dy (1.3) 和 2 1 2 min, k MHS HSHST kk kk T kk y k g d dy (1.4) 但没给出它们的性质分析，本文就是对上述两种方法 进行分析，得到它们的充分下降性和全局收敛性。下 一节我们将给出算法步骤，在第三部分分析收敛性， 数值检验结果将在最后一节给出。 2. 算法 算法 1(修改的DY和HS 算法) 步骤 0：给定 )1,(),21,0(, 0 n x和终止 参数 ,0 令，置 。 )( 000 xfgd 0:k 步骤 1：若 k g，停止。 步骤 2：利用下面的 WWP 线搜索技术寻找步长 k ： k T kkkkkk dgfdxf )( (2.1) 和 k T kk T kkk dgddxg )( (2.2) 步骤 3：令 kkkk dxx 1。如 果 1k g，停止。 步骤 4：利用下面公式计算搜索方向 k MDY kkk dgd 11 (2.3) 或 k MHS kkk dgd 11 (2.4) 步骤 5：置 ,1: kk 转步骤 2。 3. 充分下降性和全局收敛性分析 下面的引理说明了修改的DY 和HS 方向具有充 分下降性。 引理 3.1. 对修改的 DY 和HS 搜索方向对 下式 ,0k 2 kk T kgcgd (3.1) 和 2 )1( kk T kgcyd (3.2) 满足， 是常数。 0c 证明：If ,0 k则2 000 gdgT ，则(3.1)成立。 假设当 ， (3.1)对修改的 DY(2.3)和HS(2.4)均满足， 对 1k 1 k，利用(2.3)和(2.4) ，分别得到 22 11 11 1 222 111 11 2 min , TMDYT kk kkkk k kkk TT kk kk TT T kkkk kk gd gdg g ggg g ddg dydy dy (3.3) 和 22 11 111 2 11 11 2 min , TMHST kkkk kkk TT kTT kk kkkk kk TT T kkkk kk gd gdg g y gy gy g ddg dydy dy (3.4) 首先分析(3.4)，利用的定义式(3.1)和(2.2)，有 下式成立 k y 0)1()( 1 k T kkk T kk T kdgggdyd (3.5) 取k k T k k T k k k T ky yd dg vg yd u1 1 2 , 2 。下面分两种 Copyright © 2011 Hanspub PM  李向荣等 修改的 和 共轭梯度算法及其全局收敛性3 | DY HS 情况讨论(3.4)： 情形 1)若 k T k k T k k k T k k T kdg yd y yd yg 1 2 2 1 ，立即得到 2 111 kk T kgdg 。 情形 2)若 k T k k T k k k T k k T kdg yd y yd yg 1 2 2 1 ，则(3.4)可写成 2 21 11 111 2 22 2 11 11 2 22 1 2 1 1 11 () 4 2 1 14 Tk TT kk kk kkkkk TT kk kk k TT TT kkk kkkkk k T kk T kk T Tkkk TT kk kk k y gy gd ggddg dy dy y dggygdygd dy dy T g dy uvu v dy dy g 最后一个不等式利用了 22 1 2 T uvu v。令 411c且联立(3.5)，则(3.1)和(3.2)均成立。综上所 述，关于修改的HS 的方法，此引理成立。对于(3.3) 式，与上述证明过程类似，只需要在情形 1)和2)的分 析中，取 1 1 1 2 , 2 k k T k k T k k k T kg yd dg vg yd u 即可。所以此命题成立，证毕。 为了证明算法 1的收敛性，需要下面的假设条件： (A): (1) 水平集有界。 )}()(:{0 xfxfxn (2)在上有下界且连续可微，它的梯度 f g 满 足Lipschitz 条件，即存在常数 L > 0满足 .,,)( yxyxLygxg (3.6) 我们采用反证法来得到全局收敛性，即假设存在 常数 0 满足 ,0, kg k (3.7) 从上式导出矛盾，从而证明结论。 引理 3.2. 设假设(A )满足，序列和 由算 法1产生。如果不等式(3.7)成立，则 }{ k g}{ k d 0 k d且 , 2 01 kkk uu 其中 k k kd d u。 证明：利用(2.2)和Lipschitz 条件(3.6)，有 2 1 1, T T kkkkkk k gdgg dLd 结合(3.1)，得 2 1 k k T k kd dg L ， 将上式代入(2.1)，并利用假设(A)中函数 有下界，有 下式 f 2 2 0 T kk kk gd d (3.8) 成立。关系式(3.7)和引理 3.1 隐含着 0 k d，否则 0 k g，全局收敛性得证。因此 k k kd d u是有意义的。 令 1 1 1 1 , k k k k k m kkd g r d d . 其中或 。根 据(2.3)(或(2.4))，当 k均有 MDY k m k 1， MHS k m k kkkk uru 11 ， 再利用 1 1 kk uu，有 kkkkkkk uuuur 111 (3.9) 由 ，得0 m k 0 k 。利用(3.9)和三角不等式， 得到 11 1 1 11 2 kkkk kk kkkkkk k uuu u uuuu r 1 (3.10) 利用(3.1)和(3.8 )，有 11 2 1 2 1 2 1 4 1 kk kk k kgr d g 考虑(3.7)，得 1 2 1 kk r Copyright © 2011 Hanspub PM  李向荣等 修改的 和 共轭梯度算法及其全局收敛性 4 | DY HS 联立上述不等式和(3.10)，即获得此引理结论。证 毕。 下面的性质(*)由Gilbert 和Nocedal[19]给出，具体 内容为： 性质(*):如果 21 0 k g. (3.11) 若对所有 ，存在常数 和k1b0 满足 b k 和 k s得到 b k2 1 ，我们说该 方法满足性质(*)。 引理 3.3. 设假设(A )满足，序列和 由算 法1产生，如果存在常数 满足 }{ k g}{ k d 0MMdk MHS k m k ，则 满足性质(*)，其中 (或)。 m k MDY k m k 证明：对于修改的 HS方法，即 ，如果 MHS k m k k T k k T k k k T k k T kdg yd y yd yg 1 2 2 1 )( 成立，结论显然得证。否则， 利用假设(A)(1),存在常数 M1 > 0使得下式成立 1 Msk (3.12) 利用 ， m k )12.3()11.3(),6.3(),2.3(),1.3(, 和Mdk，可 得 2 11 2 2 11 24 2 2 2 221 22 24 11 22 212 1 2 24 1 11 11 1 1 Tk mT kk kk TT kk kk kk kkk k kk k y gy gd dy dy gy gdy cgc g Ls MLMs cc cLML M k k s c (3.13) 取 22 2121 1 2 24 1 1 max 2,1 cLML M b c M 和 2 24 1 22 212 1 1 21 c bcL MLM 联立(3.13)和上述 和b 的取法以及 ，得到 1b b m k 和 22 212 1 2 24 1 22 212 1 2 24 1 1 1 11 2 1 m kk cLML M s c cLML M b c 对于修改的 DY方法，即 ，我们只需得到 也具有式(3.13)的形式即可。 MDY k m k MDY k 同样利用 ,Mdk(3 .1)，(3.2)，(3.6)，(3.11) 和(3.12) 得 22 11 1 2 22 11 24 2 2 23 221 22 24 11 22 3 212 1 2 24 1 11 11 1 1 kk mMDY T kk kk TT kk kk kkk kk kk k gg 1 k g d dy dy ggd cgc g sMMs cc cMM s c g (3.14) 余下的证明与修改的 HS 方法相同。综上所述， 修改的 HS 和DY 方法都具有性质(*)。利用假设(A)， 引理 3.1～3.3，类似于文献 9中的定理 3.2 的证明，我 们不难得到算法1的全局收敛性定理，本文只给出此 定理不再证明。 定理 3.1.假设(A)满足，序列由算法 1 产生，则 },,{ kkk gxd 0inflim kk g成立。 本节主要对修改的 DY 和HS 算法在理论上进行 了分析，证明了算法的充分下降性和全局收敛性。下 一节将从数值检验上说明修改的算法是有效的。 4. 数值结果 此部分给出数值结果，检验函数可从下面网页中 找到：www.ici.ro /camo/neculai/SCALCG/testuo.pdf.参 数的选取和终止条件均与文献[15]中的取值相同，终 止条件是： )( k xg 或))(1()( kk xfxg ， 50.1 D 。参数取值： 40.1 D ，10.1 D 和 5.0 。数值结果 Table 2 中的参数含义为： P：问题名；fail：线搜索失败；Dim：问题维数； NI：迭代次数；NFN：函数和梯度次数和。 下面的结果也可从 http://blog.sina.com.cn/gongli nyuan 找到。 下面表格列举的是检验函数名称。 Copyright © 2011 Hanspub PM  李向荣等 | 修改的DY和HS 共轭梯度算法及其全局收敛性 Copyright © 2011 Hanspub PM 5 Table 1. 1 Extended Freudenstein and Roth 28 Extende d Maratos Function 2 Extended Trigonometric Function 29 Extende d Cliff 3 Extended White and Holst function 30 Quadrati c Diagonal Perturbed Function 4 Diagonal3 Function 31 Extended Wood Function 5 Hager Function 32 Extended Hiebert Function 6 Extended Three Exponential Terms 33 Quadratic Function QF1 7 Generalized PSCI Function 34 Extended Quadratic Penalty QP2 F unction 8 Extended Powell 35 A Quadratic Fu nction QF2 9 Extended Quadratic Penalty QPI Function 36 Extended EPI Function 10 DIXMAANB (CUTE) 37 BDQRTIC(CUTE) 11 DIXMAANC (CUTE) 38 TRIDIA(CUTE) 12 Extended W hi te and Holst function 39 ARWHEAD(CUTE) 13 Extended Beale Function U63 (MatrixRom) 40 NONDIA (Shanno-78) (CUTE) 14 Extended Penalty Function 41 DQDRTIC 15 Perturbed Quadratic function 42 EG2(CUTE) 16 Raydan 1 Function 43 DIXMAANA (CUTE) 17 Raydan 2 Function 44 DIXMAANE (CUTE) 18 Diagonal 1 Function 45 Partial Perturbed Quadratic 19 Diagonal 2 Function 46 Broyden Tridiagonal 20 Generalized Tridiagonal-1 Function 47 Almost P erturbed Quadratic 21 Extended Tridiagonal-1 Function 48 Tridiagonal Perturbed Quadratic 22 Generalized Tridiagonal-2 49 EDENSCH Function (CUTE) 23 Diagonal4 Function 50 LIARWHD (CUTE) 24 Diagonal5 Function (MatrixRom) 51 DIXMAANG (CUTE) 25 Extended Himmelblan Function 52 DIXMAANI (CUTE) 26 Extended PSCI Function 53 DIXMAANK (CUTE) 27 Extended Block Diagonal BDI Function 54 DIXMAANL (CUTE) 55 ENGVALI (CUTE) 56 FLETCHCR (CUTE) 57 COSINE (CUTE) 58 DENSCHNB (CUTE) 59 SINQUAD(CUTE) 60 Scaled Quadratic SQI 61 Scaled Quadratic SQ2 Table 2. DY MDY HS MHS DY MDY HS MHS P Dim NI/NHN NI/NHN NI/NFN NI/NFN P Dim NI/NFN NI/NFN NI/NFN NI/NFN 1 500 5000 100000 8/27 9/23 6/21 9/30 15/36 11/31 7/18 5/13 5/14 9/26 6/19 5/18 29 30 1000 10000 1000 5/15 4/11 86/201 2/9 2/9 95/232 fail 5/13 83/186 2/9 3/10 96/23 0 2 500 5000 100000 85/190 120/264 128/306 188/393 106/237 64/161 21/64 60/164 56/155 47/116 31/87 42/117 31 10000 1000 10000 376/922 1030/2072 fail 471/1164 278/570 11 76/2362 713/1639 292/612 65/161 317/764 291/602 275/570 3 500 5000 10000 176/380 17/49 380/789 276/584 165/343 322/677 fail fail fail 22/61 16/52 21/64 32 33 1000 10000 1000 55/134 10/33 166/335 27/84 9/34 166/335 fail 8/34 166/335 33/118 9/33 166/335 P Dim NI/NHN NI/NHN NI/NFN NI/NFN P Dim NI/NFN NI/NFN NI/NFN NI/NFN 4 500 5000 10000 450/904 35/76 92/190 346/696 35/76 25/56 60/134 14/34 30/64 58/119 14/34 9/24 34 10000 1000 10000 542/1088 2013/4068 fail 542/1088 1909/3849 fail 527/1058 fail fail 527/1058 20/65 28/92 5 500 5000 10000 38/82 15/36 23/55 24/54 11/29 6/21 17/42 9/32 7/28 17/40 8/23 5/19 35 36 1000 10000 1000 1029/2064 1242/2488 1/3 1038/2082 811/1628 1/3 209/421 685/1375 1/3 221/453 691/1387 1/3  李向荣等 修改的 和 共轭梯度算法及其全局收敛性 6 | DY HS 6 500 5000 10000 6/18 7/20 4/16 6/18 4/14 4/16 5/20 6/18 5/17 5/18 4/14 3/14 37 10000 1000 10000 1/3 144/303 130/294 1/4 94/229 85/225 1/3 243/503 392/817 1/4 43/121 187/485 7 500 5000 10000 13/34 13/38 11/35 19/49 13/37 9/34 26/79 12/56 7/39 15/41 12/35 8/30 38 39 1000 10000 1000 326/655 1071/2146 91/209 327/657 1072/2148 34/84 326/655 1072/2148 12/31 326/655 1073/2150 12/42 8 500 5000 10000 503/1011 1040/2084 882/1768 503/1009 11 21/2246 222/472 47/105 222/495 90/195 216/462 58/125 148/323 40 10000 1000 10000 fail 499/1010 48/149 29/90 18/60 fail 11/30 19/47 fail fail 16/43 23/73 9 500 5000 10000 11/33 4/20 4/16 2/18 fail fail 18/120 fail fail 2/18 3/13 4/26 41 42 1000 10000 1000 5/14 6/17 179/365 5/14 6/17 85/180 5/14 6/17 fail 5/14 6/17 27/77 10 500 5000 10000 6/22 8/21 14/34 6/22 6/20 5/21 7/24 9/41 fail 6/23 5/20 6/22 43 10000 1000 10000 26/65 9/22 11/28 30/76 8/23 6/21 fail 9/28 8/26 15/51 7/22 6/20 11 500 5000 10000 7/21 7/22 14/35 7/22 6/21 7/25 11/31 9/33 fail 7/21 6/23 8/25 44 45 1000 10000 1000 101/207 279/563 133/269 99/203 272/549 132/267 70/146 283/572 132/267 118/241 277/559 132/267 12 1000 10000 69/160 101/226 108/252 76/185 27/76 25/73 33/97 33/100 46 10000 1000 fail 25/57 fail 92/193 fail 29/69 fail 30/70 13 1000 10000 1015/2051 159/327 64/166 25/70 fail 41/134 36/120 14/41 47 10000 1000 62/135 170/343 55/124 170/343 30/74 170/343 27/70 170/343 14 1000 10000 7/29 8/29 7/30 3/24 12/62 11/45 7/30 5/26 48 10000 1000 550/1104 160/323 550/1104 160/323 541/1086 16//325 541/1086 161/325 15 1000 10000 170/343 549/1102 170/343 549/1102 170/343 540/1084 170/343 540/108449 10000 1000 511/1026 9/25 511/1026 8/26 512/1028 9/31 512/1028 7/24 16 1000 10000 33/71 9/24 29/64 8/23 25/56 11/29 23/52 6/19 50 10000 1000 7/25 49/126 5/23 41/108 8/40 18/41 5/23 15/42 17 1000 10000 3/11 1/8 1/8 1/9 3/11 1/8 1/8 1/9 51 10000 1000 201/444 fail 35/101 134/278 17/44 104/218 18/52 104/217 18 1000 10000 72/153 69/151 47/105 20/52 26/65 35/93 23/58 9/31 52 10000 1000 287/579 99/203 287/579 97/199 273/556 65/136 252/509 118/242 19 1000 10000 191/389 3263/6568 240/487 670/1368 95/198 218/456 75/159 208/442 53 10000 1000 275/555 182/380 269/543 202/410 277/562 fail 268/541 110/226 20 1000 10000 18/43 15/39 18/44 15/39 16/39 13/37 16/39 13/35 54 10000 1000 417/840 1002/2009 612/1233 1004/2013 fail 1003/2014 262/531 1002/2010 21 1000 10000 28/65 57/119 19/47 19/47 7/25 15/38 7/25 5/15 55 10000 1000 711/1426 11/31 799/1603 10/29 1143/2298 10/31 586/1178 10/29 22 1000 10000 306/635 151/313 223/451 49/112 34/74 39/88 41/87 63/137 56 10000 1000 10/29 45/97 6/28 40/87 11/59 33/77 6/28 39/85 23 1000 10000 2/7 2/8 2/7 2/8 2/7 2/8 2/7 2/8 57 10000 1000 3157/6323 173/356 2659/5328 4/13 2494/5006 fail 3378/6766 4/13 24 1000 10000 2/7 2/9 1/8 1/7 Fail 2/9 1/8 1/7 58 10000 1000 3/11 13/30 3/14 7/21 17/51 fail 3/12 10/24 25 1000 10000 20/46 20/47 20/46 20/47 8/22 9/25 7/20 7/21 59 10000 1000 69/145 563/1346 62/129 162/439 10/26 fail 10/28 95/267 26 1000 10000 101/211 374/757 6/21 179/371 8/32 fail 7/23 5/24 60 10000 1000 1227/2505 166/335 100/266 166/335 fail 166/335 1093/2877 166/335 27 1000 10000 38/87 fail 13/59 fail fail 12/31 18/63 22/73 61 10000 1000 541/1086 39/81 541/1086 39/81 166/335 39/81 527/1058 39/81 28 1000 10000 213/445 17/45 243/507 65/155 fail fail 27/84 28/92 10000129/262 129/262 129/262 129/262 Copyright © 2011 Hanspub PM  李向荣等 | 修改的DY和HS 共轭梯度算法及其全局收敛性 Copyright © 2011 Hanspub PM 7 从上述数值结果可以看出，修改的方法确实优于 原方法。 5. 致谢 本文受广西高校优秀人才资助计划项目，中国国 家自然科学基金项目(10761001)和广西教育厅项目 (201012MS013)资助。 参考文献 (References) [1] E. Polak, G. Ribiere. Note sur la xonvergence de directions con- jugees. Rev. Francaise informat Recherche Operatinelle 3e An- nee, 1969, 16: 35-43. [2] B. T. Polyak. The conjugate gradient method in extreme prob- lems. USSR Comp Math Math Phys., 1969, 9(4): 94-112. [3] R. Fletcher, C. Reeves. Function minimization by conjugate gradients. Computer Journal, 1964, 7(2): 149-154. [4] R. Fletcher. Practical Method of Optimization. New York: John Wiley & Sons, 1998. [5] Y. Liu, C. Storey. Efficient generalized conjugate gradient algo- rithms, part 1: theory. Journal of optimization theory and Appli- cation, 1992, 69(1):129-137. [6] M. R. Hestenes, E. Stiefel. Method of conjugate gradient for solving linear equations. Res. Nat. Bur. Stand., 1952, 49(6): 409-436. [7] Y. H. Dai, Y. Yuan. A nonlinear conjugate gradient method with a strong global convergence property. SIAM Journal on Optimiza- tion, 2000, 10(177): 177-182. [8] Y. Dai, L. Z. Liao. New conjugacy conditions and related nonlinear conjugate methods. Appl. Math. Optim., 2001, 43(1): 87-101. [9] W. W. Hager, H. Zhang. A new conjugate gradient method with guaranteed descent and an efficient line search. SIAM Journal on Optimization, 2005, 16( 1): 170-192. [10] W. W. Hager, H. Zhang. Algorithm 851: CGDESENT, A conju- gate gradient method with guaranteed descent. ACM Transac- tions on Mathematical Software, 2006, 32(1): 113-137. [11] G. Li, C. Tang, Z. Wei. New conjugacy condition and related new conjugate gradient methods for unconstrained optimization problems. Journal of Computational and Applied Mathemathics, 2007, 202(2): 532-539. [12] Z. Wei, G. Li, L. Qi. New nonlinear conjugate gradient formulas for large-scale unconstrained optimization problems. Applied Mathematics and Computation, 2006, 179(2): 407-430. [13] Z. Wei, G. Li, L. Qi. Global convergence of the PRP conjugate gradient methods with inexact line search for nonconvex uncon- strained optimization problems. Mathematics of Computation, 2008, 77(264): 2173-2193. [14] Z. Wei, S. Yao, L. Lin. The convergence properties of some new conjugate gradient methods. Applied Mathematics and Computa- tion, 2006, 183(2): 1341-1350. [15] G. L. Yu an. Modified nonlinear conjugate gradient methods with sufficient descent property for l arge-scale optimization problems. Optimization Letters, 2009, 3(1): 11-21. [16] G. L. Yuan, X. W. Lu. A modified PRP conjugate gradient method. Annals of Operations Research, 20 09, 166(1): 73- 90. [17] G. L. Yuan, X. W. Lu, Z. X. Wei. A conjugate gradient method with descent direction for unconstrained optimization. Journal of Computational and Applied Mathematics, 2009, 233(2):519-53 0. [18] L. Zhang, W. Zhou, D. Li. A descent modified Polak-Ribiere- Polyak conjugate method and its global convergence. IMA Jour- nal on Numerical Analysis, 2006, 26(4): 629-649. [19] J. C. Gilbert, J. Nocedal. Global Convergence properties of con- jugate gradient methods for optimization. SIAM Journal on Op- timization, 1992, 2( 1): 21-42. |