ABSTRACT

The energy functional minimization proposed by the variational theory has been widely used in image denoising. In the process of denoising, it is very important to select parameters reasonably. The versatility and operability of neural networks have more advantages than traditional algorithms. In this paper, the shortcomings of the regular variable parameter cannot be adaptively adjusted in the total variation denoising model. By constructing the BP neural network model, after a lot of learning and training, the relationship between the original image information and the regular term parameters is simulated, and the regular term obtained from the model is obtained. The parameters, combined with the Chambolle dual algorithm, form a whole, so that the improved algorithm has more accurate parameter selection and more effective denoising effect.

Keywords:Image Denoising, Total Variation, Chambolle Duality, BP Neural Network, Adaptive

基于BP神经网络的全变差模型参数选择

魏海广

安徽工业大学数理科学与工程学院，安徽 马鞍山

收稿日期：2019年8月2日；录用日期：2019年8月16日；发布日期：2019年8月23日

摘 要

基于变分理论提出的能量泛函极小化，在图像去噪中已经有了很广泛的应用。在去噪过程中，合理的选取参数是十分重要的，神经网络的通用性和可操作性比传统的算法有更多的优势。本文针对全变差去噪模型中不能自适应调整正则项参数的缺点，通过构建BP神经网络模型，经过大量的学习训练，模拟出图像原始信息和正则项参数的关系，根据模型得到的正则项参数，再结合Chambolle对偶算法，两者构成一个整体，这样改进后的算法其参数选取更为精确，去噪效果更加有效。

关键词 :图像去噪，全变差，Chambolle对偶，BP神经网络，自适应

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

图像是我们从外部获取信息的重要媒介，但在图像的获取，传输，存储等过程中，难免会受到其他未知因素的干扰，导致图像产生噪声，影响我们对有效信息的获取，因此，对含噪声的图像进行去噪处理一直是图像处理领域的热点和难点之一。在进行图像去噪时，要尽可能的保留图像的边缘、纹理和一些细节信息，以保证修复后的图像与原图像有一定的结构相似性。为解决这一难题，许多专家学者都提出了很多相关理论和方法，其中，在保护边缘方面，1992年Rudin、Osher和Fatemi [1] 从能量极小化的角度出发，把全变差半范数作为正则项引入到图像去噪模型中，建立了全变差正则化模型，简称ROF模型，该模型通过引入能量泛函，将图像去噪问题转变为求能量泛函最小问题，并且在保护图像边缘上的取得了很好的效果。在保护纹理方面，2001年，Y. Meyer等人提出了TV-G模型 [2] ，将图像分解为几何部分和纹理部分。2005年，Buades等人提出了非局部均值算法 [3] ，利用像素之间的距离来表示相似度，在保护纹理方面取得了很好的效果。在数值求解方面，对偶投影算法，ADMM交替方向乘子法 [4] ，Bregman迭代法 [5] 等都能达到快速收敛，易于数值实现。

ROF模型中的能量泛函分为逼近项和正则项两部分，其中，逼近项用于去除噪声，保证去噪后的图像与原图像的相似性，而正则项则防止去噪过强，起到抑制噪声的作用，因此，需要选取适当的权重参数用于平衡这两项的关系，目前，国内外许多学者都已经提出了一些权重确定方法，具体有无偏预测风险估计器 [6] (URPE)，局部方差估计 [7] ，基于Morozov偏差原理 [8] 选取参数等方法。本文基于全变差正则化模型，利用Chambolle对偶投影算法 [9] [10] ，提出了一种参数可以随着迭代算法自适应地改变的新方法，可根据图像的先验信息，能够自适应的选取合适的参数，进而保证去噪后的图像能够保留更多的细节信息。

2. 模型的建立

2.1. ROF模型

ROF模型的基本思想是将图像处理问题看成一个能量系统，其中，不含噪声的图像能量相对比较小。当图像被噪声污染后，图像就变得不光滑，其能量也就相应的增大了很多，通过这种思想，就将图像去噪问题转化成了一个能量最小化问题，之后，再通过变分法进行求解。模型如下

$\underset{u\in BV\left(\Omega \right)}{\min }E\left(u\right)=J\left(u\right)+\frac{\text{1}}{2\lambda }{\Vert u-f\Vert }^2$ (1)

其中，BV表示有界变差函数空间， $\Vert \cdot \Vert$ 表示 $L_2$ 范数， $\nabla$ 表示梯度算子，u为去噪后的图像，f表示观测图像， $\lambda$ 表示正则化参数， $J\left(u\right)={\displaystyle \underset{\Omega }{\int }\left|\nabla u\left(x\right)\right|\text{d}x}$ 模型的第一项为正则项，第二项为逼近项。我们的图像是一个二

维矩阵( $N\times N$ )，用X表示欧几里得空间，为了定义离散的全变差范数，首先给出正则项中离散的梯度算子的具体定义，梯度 $\nabla u$ 是一个在 $Y=X\times X$ 的向量。

2.2. Chambolle去噪对偶模型

假定图像被高斯噪声污染，对针对能量泛函(1)式利用变分法原理进行变分，获得欧拉-拉格朗日方程，表达式为

$\text{0}\in \partial J\left(u\right)+\lambda \left(u-f\right)$ (2)

式(2)中， $\partial J$ 表示次微分，定义为 $w\in \partial J\left(u\right)\iff J\left(u\right)\ge J\left(u\right)+{\langle w,v-u\rangle }_X$ ，根据凸分析中的对偶原理，上

式可以表示为

$u\in \partial J^{*}\left(\left(u-f\right)/\lambda \right)$ (3)

式(3)中， $J^{*}$ 是Legendre-Fenchel变换，是闭凸集K上的指示函数 [11] ，其形式为

$J^{\ast }={\chi }_K\left(v\right)=\{\begin{array}{ll}0\hfill & v\in K\hfill \\ +\infty \hfill & 其他\hfill \end{array}$ (4)

对(3)式进行转化，有如下等价形式

$\frac{f}{\lambda }\in \frac{f-u}{\lambda }+\frac{1}{\lambda }\partial J^{*}\left(\frac{f-u}{\lambda }\right)$

3. 模型的求解

3.1. 投影算法

基于最小化下列能量泛函模型，表达式为

$\underset{\omega }{\min }E\left(\omega \right)=\frac{\text{1}}{\text{2}}{\Vert \omega -\lambda f\Vert }_2^2+\lambda J^{*}\left(\omega \right)$ (5)

$J^{*}$ 由(5)式已给出，我们可以推导出 $\omega$ 一定是 $\lambda f$ 在凸集K上的正交投影，若 $P_{K_{\lambda }}$ 表示在集合K上的

投影，则能量泛函式的解为

$u=f-P_{K_{\lambda }}\left(f\right)$ (6)

计算非线性投影算子 $P_{K_{\lambda }}$ 等价于求解于下列问题

$\underset{p}{\min }\{{\Vert \lambda divp-f\Vert }_2:p\in Y,{\left|P_{i,j}\right|}^2-1\le 0,\forall i,j=1,\cdots ,N\}$ (7)

在KKT条件 [8] 下，存在拉格朗日乘子 ${\alpha }_{i,j}\ge 0$ ，满足

$-{\left(\nabla \left(\lambda divp-f\right)\right)}_{i,j}+{\alpha }_{i,j}{p}_{i,j}=0$ (8)

结合梯度下降算法 [12] ，取 $\tau >0,p^0=0$ ，以及对任意的 $n\ge 0$ ，有

$p_{i,j}^{n+1}=p_{i,j}^n+\tau \left({\left(\nabla \left(div{p}^n-\frac{f}{\lambda }\right)\right)}_{i,j}-\left|{\left(\nabla \left(div{p}^n-\frac{f}{\lambda }\right)\right)}_{i,j}\right|\cdot p_{i,j}^n\right)$ (9)

再结合之前式子求出 ${\text{u}}^n$ ，若满足 $\left|\frac{{\text{u}}^n-u^n}{u^n}\right|\le \epsilon$ ，则得出的 $\text{u}$ 即为优解。

3.2. BP神经网络

BP神经网络在机构上类似于多层感知器，是一种多层前馈神经网络，在结构上具有三层或三层以上神经元，包括输入层、中间层、和输出层。上下层之间实现全连接，而每层神经元之间无链接。当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入相应。

BP网络学习规则

网络输入向量 $P_k=\left(a_1,a_2,\cdots ,a_n\right)$ ；网络目标向量 $T_k=\left(y_1,y_2,\cdots ,y_q\right)$ ；中间层单元输入向量 $S_k=\left(s_1,s_2,\cdots ,s_p\right)$ ；输出向量 $B_k=\left(b_1,b_2,\cdots ,b_p\right)$ ；输出层单元输入向量 $L_k=\left(l_1,l_2,\cdots ,l_q\right)$ 输出向量 $C_k=\left(c_1,c_2,\cdots ,c_q\right)$ ；

1) 初始化。给每个连接权值 $w_{i,j},v_{jt}$ 、阈值 ${\theta }_j$ 和 ${\gamma }_t$ 赋予区间 $\left(-1,1\right)$ 内是随机值。

2) 随机选取一组输入和目标样本 $P_k=\left(a_1^k,a_2^k,\cdots ,a_n^k\right),T_k=\left(S_1^k,S_2^k,\cdots ,S_n^k\right)$ 提供给网络。

3) 用输入样本 $P_k=\left(a_1^k,a_2^k,\cdots ,a_n^k\right)$ 连接权 $w_{i,j}$ 和阈值 ${\theta }_j$ 计算中间层各单元的输入 $s_j$ ，然后用 $s_j$ 通过传递函数计算中间各层单元的输出 $b_j$ 。

$s_j={\displaystyle \underset{i=1}{\overset{n}{\sum }}{w}_{ij}{a}_i}-{\theta }_j,b_j=f\left(s_j\right),j=1,2,\cdots ,p$

4) 利用中间层的输出 $b_j$ 、连接权 $v_{jt}$ 和阈值 ${\gamma }_t$ 计算输出层各单元的输出 $L_t$ ，然后通过传递函数计算输出层各单元的响应 $C_t$ 。

5) 利用网络目标向量 $T_k=\left(y_1,y_2\cdots ,y_q\right)$ ，网络的实际输出 $C_t$ ，计算输出层的各单元一般化误差 $d_t^k$ 。再利用一般化误差和各单元的输出来修正连接权和阈值。直到m个训练样本训练完毕。

4. 数值实验与分析

我们使用不同图像经Chambolle处理后的最佳的图像数据为训练样本，选取图像去噪效果最好时的图像结构相似性、峰值信噪比、正则项的数值和逼近项的数值三个因素，为BP神经网络的输入神经元，因此神经元网络的输入层单元数为4，正则项前的参数为输出指标，即输出的参数是唯一的输出神经元。

对于隐含层的选择。Nielse曾证明对于在任何闭区间内的一个连续函数，我们都可以使用一个隐含层来进行设置。Cybenko指出，当选用的转移函数为S型函数时，一个隐含层就能够解决问题。神经网络隐含层数的设计并非越多越好，隐含层数的增多虽说可以增大网络的处理能力，但这也可能会引发反向传播误差，使神经网络结构变得复杂化。本文选用S型连续函数，故隐含层数设计为1。

从图1的网络收敛结果可以看出：网络训练3次后收敛，网络误差为0.005749，基本达到了网络误差设置的要求。其中网络误差动态变化效果图来看：纵坐标为误差，我们可以清晰的看出随着训练次数的增加，训练集与测试集误差逐步减小，训练集与测试集变化趋势一致，网络训练到3次时，3条曲线相差很小，误差稳定，此时模型训练效果较好。

从图2可以看出，训练样本的拟合优度是93.40%，测试集的拟合优度是94.92%，而全部的拟合优度也达到了94.22%。这个拟合度证明了网络训练效果优秀，此训练模型精准度高，此模型可以解释94%左右的数据样本，除去个别数据样本的影响，我们可以完全可以通过此模型进行全变差正则项参数的精准预测。

图1. 网络训练和迭代图

图2. 模型拟合图

在得到正则项参数的预测值后，结合Chambolle对偶算法进行去噪。

我们选取了不同图像分别添加不同方差的高斯白噪声和泊松噪声进行实验，然后利用本文提出的自适应对偶投影算法进行实验，图3是对图像添加高斯白噪声和泊松噪声前后实验对比效果图：

图3. 第一行是噪声图像，第二行是处理后效果图

从主观方面上来看，我们可以发现，无论对于高斯白噪声还是泊松噪声，试验后的图像效果要比噪声图像清晰很多，说明了算法改进的可行性，在客观上，我们分别计算了每组实验的图像相似结构性SSIM和峰值信噪比，以及算法的运行效率等指标，分别和Chambolle合理值进行对比。

其中，Chambolle合理值的获得，是经过大量的人为实验，在图像取不同参数时算出此时图像的结构相似性ssim和峰值信噪比psnr，当这两个指标最大时，此时的ssim和psnr数值，我们视为Chambolle算法的合理值，然后将Chambolle合理值和改进后算法的结果做对比，结果如下：

表1. 图像质量指标对比

从表1中我们可以看出，无论是经泊松噪声还是高斯白噪声，经过改进后算法结构相似性比Chambolle合理值要高些。峰值信噪比方面，经本文算法处理后与Chambolle合理值很接近，从而进一步说明了改进后算法的合理性和可行性。由此我们可以看出，经改进算法去噪后的效果图远比噪声图像清晰度高很多，在图像纹理和细节部分也能够较好的保护，这就避免了由于原算法中权重的主观选取，而导致图像过于光滑和去噪不彻底的弊端，具有一定的实际应用价值。

5. 结论

本文针对全变差去噪模型，首先分析了ROF模型的去噪机理，然后介绍了利用Chambolle对偶原理和BP神经网络的学习规则，利用基于BP神经网络对正则项参数的预测，再结合Chambolle对偶算法，使之构成一个统一整体的模型，利用改模型该求解速度更快，收敛性较好，弥补了一些传统数值算法中不能对权重进行调整的缺陷。同时通过对不同图像添加不同方差的高斯白噪声和泊松噪声进行仿真实验，在实验效果方面，我们从结构相似性，峰值信噪比等方面与合理值进行对比，其结果表明，该算法的各项去噪量化指标均可达到较好水平，从而解决了Chambolle对偶算法中参数的主观选取的弊端，提高了图像去噪的效率，具有很好的实际价值。

文章引用

魏海广. 基于BP神经网络的全变差模型参数选择
Parameter Selection of Total Variation Model Based on BP Neural Network[J]. 应用数学进展, 2019, 08(08): 1471-1477. https://doi.org/10.12677/AAM.2019.88172

参考文献