Advances in Applied Mathematics
Vol.
11
No.
12
(
2022
), Article ID:
58783
,
12
pages
10.12677/AAM.2022.1112896
基于有界高斯混合模型的高光谱图像去噪方法
刘昊,贾小宁*,成丽波,李喆
长春理工大学数学与统计学院,吉林 长春
收稿日期:2022年11月5日;录用日期:2022年11月29日;发布日期:2022年12月7日
摘要
针对高光谱图像的噪声去除问题,本文提出了一种基于有界高斯混合模型的高光谱图像去噪方法。在该方法中,我们使用张量表示高光谱图像,并对其进行Tucker分解,最后采用有界高斯混合模型对噪声进行拟合,从而将图像的固有特征和噪声建模相结合。我们将图像和噪声的先验信息表述为一个完整的贝叶斯模型,并设计了变分贝叶斯算法来封闭更新模型中所涉及的变量。最后,我们将本文所提出的去噪算法与其他算法进行对比,验证了该方法的先进性。
关键词
高光谱图像,低秩张量分解,贝叶斯模型,变分贝叶斯算法
Hyperspectral Image Denoising Method via Bounded Gaussian Mixture Model
Hao Liu, Xiaoning Jia*, Libo Cheng, Zhe Li
School of Mathematics and Statistics, Changchun University of Science and Technology, Changchun Jilin
Received: Nov. 5th, 2022; accepted: Nov. 29th, 2022; published: Dec. 7th, 2022
ABSTRACT
To solve the problems of hyperspectral images denoising, we proposed a hyperspectral image denoising method which is based on bounded Gaussian mixture model in this paper. In this method, we denote hyperspectral images as tensors and use Tucker decomposition to decompose the image tensor into low-rank tensor, at last, we use bounded Gaussian mixture model to capture the noise, in which way we integrate intrinsic image characterizations and noise modeling. Then we describe image and noise priors as a full Bayesian model, and design a variational Bayesian algorithm to infer all involved variables by closed-form equations. At last, we compare the denoising method proposed in this paper with other algorithms and experiment results prove that our method is state-of-the-art.
Keywords:Hyperspectral Images, Low-Rank Tensor Decomposition, Bayesian Model, Variational Bayesian Algorithm
Copyright © 2022 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
1. 引言
在遥感图像中,高光谱图像可以提供关于真实场景的丰富的空间信息和时间信息,从而被广泛应用于城市规划、环境监测、军事侦察等领域中 [1] [2] [3]。但是,在采集和传输过程中,由于拍摄设备和通信系统的不完善,图像往往会被各种噪声干扰和破坏,例如高斯噪声、散斑噪声等。因此,在噪声观测中去除噪声,恢复出清晰图像,是图像处理中必不可少的环节,也是图像处理的基本问题。
高光谱图像的的特点是将成像技术和光谱探测技术相结合,在对目标的空间特征成像的同时,对每个空间像元经过色散形成的几十个乃至几百个窄波段以进行连续的光谱覆盖,这样形成的图像数据可以通过三维张量来表示。因此,我们可以用基于张量的低秩分解方法对图像进行处理。作为图像的一个重要属性,低秩意味着高维图像数据位于一个可以被视为具备稀疏性的低维子空间中。通过求解张量分解模型或最小化相应的诱导张量秩,可以将底层图像显式建模为低秩张量 [4],代表方法有基于CANDECOMP/PARAFAC (CP)秩的CP分解 [5] [6] [7]、基于Tucker秩的Tucker分解 [8] [9] [10] [11] [12] 等方法,这些方法具有保留图像固有的多线性结构的优势,从而具备最先进的去噪性能。
在将噪声从含噪图像去除的过程中,可以通过施加先验的方法,对图像的噪声分量进行先验假设,因此需要建立统计模型对噪声进行拟合。由于噪声先验表征了数据噪声的统计特性,所以噪声先验的选择是这一过程中的关键问题。传统的噪声先验选择有高斯先验 [13] 和拉普拉斯先验 [14],分别广泛应用于去除密集噪声和稀疏噪声,混合噪声的去除通常考虑高斯先验和拉普拉斯先验的组合 [15]。然而,由于实际应用中的噪声要比高斯分布、拉普拉斯分布以及它们的简单组合要复杂的多,这些先验并不能满足实际的去噪需求。
高斯混合模型在理论上可以逼近任何连续分布,所以可以用于处理复杂噪声。一些研究学者已经提出一些尝试,将图像表征和噪声建模方面的最新进展的有点结合。2017年,Luo等人将具有高斯混合噪声假设的稳健CP分解作为一个完整的贝叶斯模型 [16],其中所有潜在变量都给出了先验分布,并在变分贝叶斯框架下进行了推断。考虑到CP分解不能很好地捕捉不同张量模式的相关性,Chen等人进一步将Tucker分解和高斯混合噪声建模集成到广义鲁棒张量分解框架中 [17]。2020年,Ma等人提出了基于低秩张量近似和稳健噪声建模的遥感图像去噪方法 [18],通过在图像张量分解后因子矩阵和噪声矩阵中引进高斯混合模型,建立了一个新的遥感图像去噪模型,并在多光谱图像和高光谱图像中取得了更加优秀的去噪效果。
高斯混合模型的分布是无界的,然而,在真实的观测数据中,数据通常位于有界的支撑集中。例如,在图像处理问题中,像素的灰度值分布在有限的区间内。因此,高斯混合模型在对图像噪声进行拟合时,有时会出现无法适应数据形状的问题。针对这一问题,本文设计了一种基于有界高斯混合模型的高光谱图像去噪方法。该方法利用张量的Tucker分解方法对高光谱图像进行分解,利用低Tucker秩图像先验来描述底层图像固有的低秩张量结构,同时利用有界高斯混合模型对图像中的噪声进行建模,并使用变分贝叶斯算法来求解所提出的模型,使每个变量都可以以封闭的形式更新。
2. 预备知识
2.1. 张量的Tucker分解
给定张量 及其维数 ,A的模式d展开表示为 ,其大小为 。
A的Tucker秩定义为由其展开秩所组成的向量,即
, (1)
Tucker分解可以被看作是一种高阶主成分分析形式,在许多领域得到了广泛的应用。张量的Tucker分解是通过将一个核张量乘以它的模态矩阵来实现的,即
, (2)
其中 表示向量的外积, 表示张量的n模矩阵积,G表示Tucker分解的模态矩阵之间相互作用的核张量。
2.2. 有界高斯混合模型
对于随机变量X,假设其服从一个均值为 ,方差为 的高斯分布,记作 ,那么它的概率密度函数为
, (3)
高斯混合模型(Gaussian Mixture Model, GMM)是由多个高斯分布组成的线性组合:
, (4)
其中K是模型中高斯分布的数量, 是第k个分量的权值,满足 且 。
为了解决高斯混合模型对有界数据拟合不足的问题,我们提出了有界高斯混合模型(Bounded Guassian Mixture Model, BGMM),我们定义它的支撑集为 ,并定义指示函数 的表达式为
, (5)
基于指示函数 ,我们定义有界高斯分布的概率密度函数:
, (6)
记作 ,有界高斯混合模型的概率分布为
。 (7)
2.3. 变分贝叶斯方法
在变分贝叶斯方法的通用框架中,我们分别使用 和D来表示未知变量和观测数据。一般情况下,由于相关参数的后验概率 难以估计,我们可以寻找一个更易于处理的变分分布 ,通过最小化 和 之间的Kullback-Leibler距离,来近似后验概率 ,即:
。 (8)
3. 基于低Tucker秩分解的有界高斯混合噪声模型
本节将介绍所提出的高光谱图像去噪算法。我们将去噪问题描述为贝叶斯模型,并使用有界高斯混合模型为噪声建模,对图像张量进行低Tucker秩分解,并将该算法命名为BGMM-Tucker算法。
3.1. 贝叶斯模型公式
设 分别表示底层干净图像和噪声图像,其中K是高光谱图像的通道数。为了刻画图像的低Tucker秩先验,我们考虑Y的模态d展开式的低秩矩阵分解(d = 1, 2, 3):
,(9)
其中 ( )和 ( )是列数为 的因子矩阵,并且 , 表示 中的噪声。我们可以对相关变量施加先验分布,使式(9)中表示为完整的贝叶斯模型。
接下来通过有界高斯混合模型对噪声 进行建模,从而表征噪声的辅助结构。由Ma等人在论文 [18] 中提出的方法,考虑噪声张量 ,假设 的第k个频带中的每个元素都服从有界高斯分布:
, (10)
其中 是混合模型中分布的数量, 是满足条件 和 的混合权值, 是每个模型分量的精度。通过引入指示变量 ,将式(10)改写为以下形式:
, (11)
, (12)
其中 是服从参数为 的多项分布,并且 。然后对 和 施加共轭先验,从而获得一个完整的贝叶斯模型:
, (13)
, (14)
其中 是服从参数为 和 的Gamma分布, 是服从参数为 的Dirichlet分布。
假设 和 中的列是由以下高斯分布生成:
, (15)
, (16)
其中, 表示以下共轭先验的精度:
, (17)
给定三个模态的低秩分量,假设X中的每个元素是由以下高斯分布的加权乘法生成:
, (18)
其中 表示高斯分布的精度, 包含了满足 以及 两个条件的三个模态的权值,c是一个归一化常量。
通过结合式(10)~(18),可以构造得到一个完整的贝叶斯模型,并推断所有相关变量的后验概率,其可以表示为:
。 (19)
3.2. 近似变分推理
由于后验概率(19)的精确解难以计算,接下来使用变分贝叶斯方法来获取其近似推断。
低秩分量中涉及的变量是具有列精度 的因子矩阵 和 ,以及解 。在变分分布的选取上,我们采用了Ma等人在论文 [18] 中的结果。
对于 和 中的每一行,有:
, (20)
,(21)
其中均值 和协方差 由下列公式给出:
, (22)
,(23)
类似地, 和 可由相似的方法给出。
对于 中的每一个元素,我们有:
, (24)
其中参数 分别由下列公式给出:
, (25)
。 (26)
对于X中的每个元素,我们有:
, (27)
其中均值 。以下公式给出:
。 (28)
噪声分量中涉及的变量有精度 、混合权重 和指示变量 。
对于 中的每一个元素,有:
, (29)
其中参数 由下列公式给出:
, (30)
。 (31)
对于 中的每一行,有:
, (32)
其中参数 由下列公式给出:
, (33)
对于 的每个模态-4的纤维,有:
, (34)
其中参数 由下列公式给出:
, (35)
c是用来确保 的归一化常量。
完整的算法流程总结在表1中。
Table 1. Variational bayesian method based on bounded Gaussian mixture model
表1. 基于有界高斯混合模型的变分贝叶斯方法
4. 实验结果与分析
本文在处理器为11th Gen Intel(R) Core(TM) i5-11400H @ 2.70GHz,运行内存为8GB的64位Windows10操作系统上,利用MATLAB 2021a进行实验。我们采用峰值信噪比(PeakSignal-to-Noise Ratio, PSNR)来验证本文提出方法的去噪效果,其计算公式为:
,
,
其中N和M分别表示图像在x和y方向上的像素点数量, 和 分别表示原始图像和去噪后的图像在像素点 处的像素值,L为图像灰度的取值范围。
在验证BGMM-Tucker算法的去噪性能时,本文采用了5种图像去噪算法作为对比算法,分别为传统的三维块匹配去噪(Blocking Match 3D, BM3D)算法,基于图像块先验的期望块对数似然(Expected Patch Log Likehood, EPLL)算法 [19] 并分别结合高斯混合模型、拉普拉斯混合模型(Laplacian Mixture Model, LMM)、广义高斯混合模型(General Gaussian Mixture Model, GGMM),基于张量的NMoG-Tucker算法。在图像的选取上,我们选取了DCmall和Cuprite两幅高光谱图像进行实验,两幅图像的尺寸分别为 以及 。我们为两幅图像分别施加高斯噪声、散斑噪声以及前两者的混合噪声,来检测不同去噪算法的去噪效果。我们选取DCmall的第71个通道和Cuprite的第49个通道来展示我们的实验结果(图1)。为了更好地可视化,我们在展示图像时对图像的亮度进行了调整。
在实验中,我们为DCmall添加的高斯噪声标准差为0.05,散斑噪声方差为0.1,为Cuprite添加的高斯噪声标准差为0.15,散斑噪声方差为0.01,混合噪声为前面两种噪声的1:1混合,实验结果如图2~7所示。
我们将不同算法对图像进行去噪后的PSNR值列于下表,并将最佳数据用粗体标注。通过图2~7中的不同算法的对比结果,并结合表中数据,我们可以看出,将高光谱图像表示成张量,对图像的去噪效果要远优于传统算法。并且在对不同噪声进行处理时,有界高斯混合模型的去噪效果均好于高斯混合模型。
Figure 1. Noise-free images named DCmall and Cuprite used in our experiment
图1. 实验中使用的不含噪声图像DCmall和Cuprite
含噪图像 BM3D EPLL-GMM EPLL-LMMEPLL-GGMMNMoG-Tucker BGMM-Tucker
Figure 2. Comparison of denoising of DCmall after adding gaussian noise with standard deviation σ = 0.05
图2. DCmall添加标准差为0.05的高斯噪声后的去噪效果图
含噪图像 BM3D EPLL-GMM EPLL-LMMEPLL-GGMMNMoG-Tucker BGMM-Tucker
Figure 3. Comparison of denoising of DCmall after adding speckle noise with variance σ2 = 0.1
图3. DCmall添加方差为0.1的散斑噪声后的去噪效果图
含噪图像 BM3D EPLL-GMM EPLL-LMMEPLL-GGMMNMoG-Tucker BGMM-Tucker
Figure 4. Comparison of denoising of DCmall after adding mixture noise
图4. DCmall添加混合噪声后的去噪效果图
含噪图像 BM3D EPLL-GMM EPLL-LMMEPLL-GGMMNMoG-Tucker BGMM-Tucker
Figure 5. Comparison of denoising of Cuprite after adding gaussian noise with standard deviation σ = 0.15
图5. Cuprite添加标准差为0.15的高斯噪声后的去噪效果图
含噪图像 BM3D EPLL-GMM EPLL-LMMEPLL-GGMMNMoG-Tucker BGMM-Tucker
Figure 6. Comparison of denoising of Cuprite after adding speckle noise with variance σ2 = 0.01
图6. Cuprite添加方差为0.01的散斑噪声后的去噪效果图
含噪图像 BM3D EPLL-GMM EPLL-LMMEPLL-GGMMNMoG-Tucker BGMM-Tucker
Figure 7. Comparison of denoising of Cuprite after adding mixture noise
图7. Cuprite添加混合噪声后的去噪效果图
通过对表2和表3进行分析,由于高光谱图像具有更多的通道数,分别表示同一场景在不同波段下的成像,因此,不同通道之间像素值存在相关性。所以,基于图像张量的低秩分解的去噪方法与将不同通道视为相互独立的去噪方法相比,在去噪效果上有明显的提升。同时,相比于高斯混合模型,有界高斯混合模型考虑到了噪声的有界性,在一定程度上提升了图像的去噪效果。
Table 2. PSNR values of different algorithms after adding different noise on DCmall
表2. DCmall在添加不同噪声后不同算法的PSNR值
Table 3. PSNR values of different algorithms after adding different noise on Cuprite
表3. Cuprite在添加不同噪声后不同算法的PSNR值
5. 结束语
本文通过对高光谱图像的性质的分析,设计了一种基于张量的图像去噪算法。通过将图像张量进行低秩分解,并结合有界高斯混合模型对噪声进行建模,使用变分贝叶斯方法估计了模型中的参数,从而得到去噪后的图像。实验结果表明,本文算法可以有效地去除高光谱图像中的噪声,保留了原图像中较多的细节信息,并且在去除非高斯噪声时,去噪效果提升更为明显。
本文在对噪声建模时选择的模型为有界高斯混合模型,在估计模型中的参数时,使用的方法为变分贝叶斯方法。在下一步的研究中,将尝试使用其他先验模型对噪声进行建模,并在求解模型中的参数时使用最大期望(Expectation-Maximun, EM)算法等方法。
基金项目
国家自然科学基金项目(12171054)。
文章引用
刘 昊,贾小宁,成丽波,李 喆. 基于有界高斯混合模型的高光谱图像去噪方法
Hyperspectral Image Denoising Method via Bounded Gaussian Mixture Model[J]. 应用数学进展, 2022, 11(12): 8473-8484. https://doi.org/10.12677/AAM.2022.1112896
参考文献
- 1. Gao, J. (2020) Editorial for the Special Issue “Ecosystem Services with Remote Sensing”. Remote Sensing, 12, Article No. 2191. https://doi.org/10.3390/rs12142191
- 2. 唐尧, 王立娟, 马国超, 贾虎军, 靳晓. 利用国产遥感卫星进行金沙江高位滑坡灾害灾情应急监测[J]. 遥感学报, 2019, 23(2): 252-261.
- 3. 周培诚, 程塨, 姚西文, 韩军伟. 高分辨率遥感影像解译中的机器学习范式[J]. 遥感学报, 2021, 25(1): 182-197.
- 4. Kolda, T.G. and Bader, B.W. (2009) Tensor Decompositions and Applications. SIAM Review, 51, 455-500. https://doi.org/10.1137/07070111X
- 5. Carroll, J.D. and Chang, J.J. (1970) Analysis of Individual Differences in Multidimensional Scaling via an N-Way Generalization of “Eckart-Young” Decomposition. Psychometrika, 35, 283-319. https://doi.org/10.1007/BF02310791
- 6. Liu, X., Bourennane, S. and Fossati, C. (2012) Denoising of Hyperspec-tral Images Using the PARAFAC Model and Statistical Performance Analysis. IEEE Transactions on Geoscience and Remote Sensing, 50, 3717-3724. https://doi.org/10.1109/TGRS.2012.2187063
- 7. Zhao, Q., Zhang, L. and Cichocki, A. (2015) Bayesian CP Fac-torization of Incomplete Tensors with Automatic Rank Determination. IEEE Transactions on Pattern Analysis and Ma-chine Intelligence, 37, 1751-1763. https://doi.org/10.1109/TPAMI.2015.2392756
- 8. Tucker, L.R. (1966) Some Mathematical Notes on Three-Mode Factor Analysis. Psychometrika, 31, 279-311. https://doi.org/10.1109/LGRS.2008.915736
- 9. Renard, N., Bourennane, S. and Blanc-Talon, J. (2008) Denoising and Dimensionality Reduction Using Multilinear Tools for Hyperspectral Images. IEEE Geoscience and Remote Sensing Letters, 5, 138-142. https://doi.org/10.1109/LGRS.2008.915736
- 10. Liu, J., Musialski, P., Wonka, P. and Ye, J. (2013) Tensor Com-pletion for Estimating Missing Values in Visual Data. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35, 208-220. https://doi.org/10.1109/TPAMI.2012.39
- 11. Peng, Y., Meng, D., Xu, Z., Gao, C., Yang, Y. and Zhang, B. (2014) Decomposable Nonlocal Tensor Dictionary Learning for Multispectral Image Denoising. Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, 23-28 June 2014, 2949-2956. https://doi.org/10.1109/CVPR.2014.377
- 12. Wang, Y., Peng, J., Zhao, Q., Leung, Y., Zhao, X.L. and Meng, D. (2018) Hyperspectral Image Restoration via Total Variation Regularized Low-Rank Tensor Decomposition. IEEE Jour-nal of Selected Topics in Applied Earth Observations and Remote Sensing, 11, 1227-1243. https://doi.org/10.1109/JSTARS.2017.2779539
- 13. Okatani, T., Yoshida, T. and Deguchi, K. (2011) Efficient Algorithm for Low-Rank Matrix Factorization with Missing Components and Performance Comparison of Latest Algo-rithms. Proceedings of the 2011 International Conference on Computer Vision, Barcelona, 6-13 November 2011, 842-849. https://doi.org/10.1109/ICCV.2011.6126324
- 14. Zhao, Q., Meng, D., Xu, Z., Zuo, W. and Zhang, L. (2014) Robust Principal Component Analysis with Complex Noise. Proceedings of the 31st International Conference on Machine Learning, Beijing, 22-24 June 2014, 55-63.
- 15. He, W., Zhang, H., Shen, H. and Zhang, L. (2018) Hyper-spectral Image Denoising Using Local Low-Rank Matrix Recovery and Global Spatial-Spectral Total Variation. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11, 713-729. https://doi.org/10.1109/JSTARS.2018.2800701
- 16. Luo, Q., Han, Z., Chen, X., Wang, Y., Meng, D., Liang, D. and Tang, Y. (2017) Tensor RPCA by Bayesian CP Factorization with Complex Noise. Proceedings of the 2017 IEEE International Conference on Computer Vision (ICCV), Venice, 22-29 October 2017, 5029-5038. https://doi.org/10.1109/ICCV.2017.537
- 17. Chen, X., Han, Z., Wang, Y., Zhao, Q., Meng, D., Lin, L. and Tang, Y. (2018) A Generalized Model for Robust Tensor Factorization with Noise Modeling by Mixture of Gaussians. IEEE Transactions on Neural Networks and Learning Systems, 29, 5380-5393. https://doi.org/10.1109/TNNLS.2018.2796606
- 18. Ma, T., Xu, Z. and Meng, D. (2020) Remote Sensing Image Denoising via Low-Rank Tensor Approximation and Robust Noise Modeling. Remote Sensing, 12, 1278-1292. https://doi.org/10.3390/rs12081278
- 19. Deledalle, C., Parameswaran, S. and Nguyen, T. (2018) Image Denoising with Generalized Gaussian Mixture Model Patch Priors. SIAM Journal on Imaging Sciences, 11, 2568-2609. https://doi.org/10.1137/18M116890X
NOTES
*通讯作者。