Advances in Applied Mathematics
                                        Vol.05 No.02(2016), Article ID:17660,7
                                        pages
                                        
                                        
                                            10.12677/AAM.2016.52034
                                    
The Solution of Sparsity-Constrained Split Feasibility Problem
Hanxiao Chang, Jun Sun, Biao Qu
School of Management, Qufu Normal University, Rizhao Shandong

Received: May 4th, 2016; accepted: May 23rd, 2016; published: May 26th, 2016
Copyright © 2016 by authors and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY).
http://creativecommons.org/licenses/by/4.0/
                                

                                
ABSTRACT
In this paper, we mainly study the solution of sparsity-constrained split feasibility problem. Under some reasonable assumptions, we use IHT algorithm to get the stationary points of sparsity-constrained split feasibility problem and get a conclusion which plays an important role in local convergence analysis.
Keywords:Split Feasible Problem, Sparsity-Constrained, IHT Algorithm, Stationery

带稀疏约束的分裂可行问题的算法
畅含笑,孙军,屈彪
曲阜师范大学管理学院,山东 日照

收稿日期:2016年5月4日;录用日期:2016年5月23日;发布日期:2016年5月26日

摘 要
本文,我们主要研究带稀疏约束的分裂可行问题。在某些合理的假设下用IHT算法,得到了带稀疏约束的分裂可行问题的稳定点及给出在局部收敛性分析中起到了重要作用的结论。
关键词 :分裂可行问题,稀疏约束,IHT算法,稳定点

1. 引言
近几年来,带稀疏约束的最优化问题得到了学者们广泛的关注,这是因为它在信号处理、图像恢复等领域有着重要的应用 [1] - [4] 。不论是在理论、算法还是在应用方面,已经有了大量的研究。
大多数的理论研究都是关于带稀疏约束的一般连续可微函数,问题形式如下:
使得
 (1.1)
其中,
是一个连续可微的函数
,是一个小于
的整数。
代表零范数(是向量中非零分量的个数)。目前,问题(1.1)已经引起了大量学者的研究,并提出了许多算法,但大多数的算法产生的点列都只是收敛到问题(1.1)的稳定点。在 [5] 中,作者引用了一种叫IHT的算法用来解问题(1.1),并证明由该算法产生的点列的任意聚点都为问题(1.1)的L-稳定点。
关于问题(1.1)的特殊形式
,其中
,
,也得到了广大学者的广泛关注 [6] - [8] 。
本文,我们主要研究的是带稀疏约束的分裂可行问题,分裂可行问题就是下述形式的问题,最早被Censor在 [9] 中提出:
找向量
,
 (1.2)
其中,
分别为
和
中的非空闭凸集,
为一个
的实矩阵。
本文研究的是带稀疏约束的分裂可行问题,问题形式如下:
找向量
, 
, 使得
 (1.3)
受到 [5] 的启发,我们通过求解下述最优问题得到(1.3)的近似解

(1.4)
注1:在本文中我们取
。
2. 预备知识
2.1. 支撑映射
定义:对任意的非空闭集
,称
为
到
的投影。称由
往稀疏集
上的投影为支撑映射。
显然,往稀疏集
上的投影
的分量包括
个绝对值最大的分量和
个零。即:设
为
的指标集,且
,
则
。
因为
非凸的,所以
一般不是一个单点集。为使
为单点集,我们这样定义
:设
代表
的第
大的分量,则有
。记
。当
时,取
,如果有多于一个的
时,随机从中选一个
;否则,取
。即:

2.2. L-稳定点
定义:如果对任意的
,
,满足如下:
(2.1)
则称
为(1.4)的稳定点.其中,
为(1.4)的可行域,
。
2.3. 导集
定义:记集合
的所有的聚点组成的集合为
,称
为
的导集。
注2:导集的一些性质:1) 若
为闭集,则
;2) 记
为
的闭包,则
。
引理2.1:对任意的
,
满足(2.1)当且仅当
,且

引理2.2:(1.4)式中,目标函数的梯度函数
在
上是Lipschitz连续的,且Lipschitz常数为
,即:


证明:对任意的
,有

即:
。
证毕。
引理2.3 (the descent lemma [10] ):假设
是一个连续可微的函数,且其梯度函数是Lipschtz连续的,并记其Lipschtz常数为
,则对任意
,有

其中
。
引理2.4:对于任意的
,则对任意的
,满足于
(2.2)
则有
。
其中,
,
。
证明:我们知(2.2)式可以写成如下形式:
(2.3)
又因为
。
又
关于
为常数,故(2.3)式等价于
。
即:
(2.4)
由引理2.4可得
。
即:
(2.5)
联立(2.4),(2.5)可得
。
证毕。
定理2.1:对于任意的
,设
为(1.4)式的最优解,则
(1)
是一个
-稳定点。
(2)
为一个单点集。
证明:我们同时证明(a)和(b),假设存在向量
,且有

在引理2.4中取
,有

这与
为最优解矛盾。
证毕。
3. IHT算法
在本文我们引用求解带稀疏约束的一般连续可微函数的IHT算法来求解带稀疏约束的分裂可行问题。
算法过程如下:
步骤1:任取
;
步骤2:
;
步骤3:若有
,则停止;否则令
,转步骤2。
其中,
,
稀疏集
。
引理3.1:设
为由IHT算法产生的点列,则
(1)
;
(2)
是一个不增数列;
(3)
。
证明:在引理2.4中,取
,从而由(1)成立。又由(1)可直接得出(2),(3)成立。
定理3.1:设
为由IHT算法产生的点列,则
的任一聚点都为L-稳定点。
证明:该证明与 [5] 中定理3.1类似,证明过程如下:
设
为
的任意聚点,则存在子列
收敛到
。由引理3.1的(1)可得:
(2.6)
因为
为正数列,结合引理3.1中(2),可以得出
和
收敛到同一极限
。从而有
时,
,联立(2.6)式可以得出:
当
时,
。
又
。
取
。因为
和
都收敛到
,所以存在
使得当
时,有:

从而对所有的
:

取
可得
。
再取
。如果存在有限个
且
。则

取极限可得
。特别地,
。另一方面,如果存在
,使得对所有的
都有
,则

再取
,利用函数
的连续性可得:

从而结论得证。
证毕。
引理3.2:设
为由IHT算法产生的点列,且
为包含
的所有聚点的集合,
,则①
;或②
,其中
为
的导集。
证明:假设①不成立,则证②成立。因为
为闭集,所以我们只需要证明
。
设
,故存在
的子列
使得:
(2.7)
因为①不成立,故存在
和
的一个
邻域,记作
使得:
(2.8)
取
,由引理3.1的(3)和(2.7)式知
,使得:
(2.9)
(2.10)
不失一般性,对于
我们可以假设对
,使得
且有对于
,由(2.8)式和(2.9)式可得
,
,所以,存在
使得:
(2.11)
(2.12)
由(2.10)和(2.11)式可得,当
时有:

即点列
,故
存在聚点,设为
,则
,由(2.12)式可得
,由
的任意性,得
。
证毕。
定理3.2:设
为IHT算法产生的点列,若
为(1.4)的严格局部最小解,则有
。
证明:由于
为
的一个聚点,故(2.7)式成立,又
,结合引理3.2的(2)知,由IHT算法产生的点列
满足
,所以

即:
(2.13)
由引理3.1的(3)知
。
由引理3.2知,若
,则对于任意的
,存在
,都有
,而由(2.13)式知
对所有
成立。故与
为(1.4)的严格局部最小解矛盾。
证毕。
4. 总结
本文在带稀疏约束的一般连续可微函数的已有结论的基础上,对带稀疏约束的分裂可行问题进行求解分析。由引理3.2我们可以得出,由IHT算法产生的点列,
要么满足
,此时,有
收敛到(1.4)的一个
-稳定点;要么有
 (
包含
的所有聚点)。并且我们给出了在局部收敛性分析中起到了重要作用的结论。
文章引用
畅含笑,孙军,屈彪. 带稀疏约束的分裂可行问题的算法
The Solution of Sparsity-Constrained Split Feasibility Problem[J]. 应用数学进展, 2016, 05(02): 269-275. http://dx.doi.org/10.12677/AAM.2016.52034
参考文献 (References)
- 1. Bardsley, J. and Nagy, J. (2006) Covariance-Preconditioned Iterative Methods for Nonnegativity Constrainted Astro-nomical. SIAM Journal, 27, 1184-1198.
 - 2. Bruckstein, A.M., Donoho, D.L. and Elad, M. (2009) From Sparse Solu-tions of Systems of Equations to Sparse Modeling of Signals and Images. SIAM Review, 51, 34-81. http://dx.doi.org/10.1137/060657704
 - 3. Bruckstein, A.M., Elad, M. and Zibulevsky, M. (2008) On the Uni-queness of Nonnegative Sparse Solutions to Underdetermined Systems of Equations. IEEE Transactions on Information Theory, 54, 4813-4820. http://dx.doi.org/10.1109/TIT.2008.929920
 - 4. Donoho, D.L. and Tanner, J. (2005) Sparse Nonnegative Solu-tions of Underdetermined Linear Equations by Linear Programming. Proceedings of the National Academy of Sciences of the United States of America, 102, 9446-9951. http://dx.doi.org/10.1073/pnas.0502269102
 - 5. Beck, A. and Eldar, Y. (2013) Sparsity Constrained Nonlinear Optimization: Optimality Conditions and Algorithms. SIAM Journal, 23, 1480-1509. http://dx.doi.org/10.1137/120869778
 - 6. Bahmani, S., Raj, B. and Boufounos, P.T. (2013) Greedy Sparsi-ty-Constraind Optimization. Journal of Machine Learning Research, 14, 807-841.
 - 7. Cartis, C. and Thompson, A. (2013) A New and Improved Quantitative Recovery Analysis for Iterative Hard Thresholding Algorithms in Compressed Sensing. arXiv:1309.5406.pdf.
 - 8. Tropp, J. (2004) Greed Is Good: Algorithmic Results for Sparse Approximation. IEEE Transactions on Information Theory, 50, 2231-2242. http://dx.doi.org/10.1109/TIT.2004.834793
 - 9. Censor, Y. and Elfving, T. (1994) A Multiprojection Algorithm Using Bregman Projection in a Product Space. Numerical Algorithms, 8, 221-239. http://dx.doi.org/10.1007/BF02142692
 - 10. Bertsekas, D.P. (1999) Nonlinear Programming. 2nd Edition, Athena Scientific, Belmont.
 - 11. Wang, C., Liu, Q. and Ma, C. (2013) Smoothing SQP Algorithm for Semismooth Equations with Box Constraints. Computational Optimization and Applications, 55, 399-425. http://dx.doi.org/10.1007/s10589-012-9524-5