ABSTRACT

The iterative multipliable update formulas are used in blind source separation algorithms based on non-negative matrix factorization (NMF). However, the methods to select the learning rates and affect algorithms’ performance remain to be researched. This paper gives a derivation of different learning rates when selecting various iterative update formulas. A lot of computer simulations about these combinations are carried, and they show that a denominator of the effective iterative update formulas must contain information of the error function. In addition, its terms of denominator and numerator should be balanced.

Keywords:Non-Negative Matrix Factorization (NMF), Blind Source Separation (BSS), Learning Rates, Error Function

不同学习速率下NMF盲源分离算法

毛翊 君，赵知劲，尚俊娜

杭州电子科技大学通信工程学院，浙江 杭州

Email: hdumyj@126.com

收稿日期：2015年9月27日；录用日期：2015年10月19日；发布日期：2015年10月26日

摘 要

基于非负矩阵分解(NMF)的盲源分离算法采用乘性更新规则，但如何选择学习速率以及其对算法性能影响没有详细研究。对此，本文推导给出了选择不同学习速率时各种迭代更新公式，并对各种组合进行了大量计算机仿真实验，通过比较分析发现，有效的迭代更新公式的分母必须包含误差函数信息，分子分母的项数应尽可能平衡。

关键词 :非负矩阵分解，盲分离，学习速率，误差函数

1. 引言

非负矩阵分解[1] [2] (Nonnegative Matrix Factorization, NMF)是盲源信号[3] 分离主要理论工具之一，已引起学术界广泛关注和研究 [4] [5] 。为了保证分离唯一性和分离性能，需要在误差函数中添加各种约束条件 [6] - [9] ，如：行列式约束、稀疏性约束、正交性约束等。为保证分解矩阵的非负性，一般采用乘性更新规则。由于施加了多种约束条件，利用自然梯度下降法时，可以选择多种不同的学习速率，如何选择合适的学习速率，现有文献没有给出说明。对此本文进行了理论推导和大量实验研究，为基于NMF盲源分离算法的深入研究提供了理论基础。

2. NMF盲分离基本理论

令表示采样信号矩阵，代表混合矩阵，代表源信号矩阵，且。盲源信号分离是指在源信号和混合过程未知的情况下，从观察到的多个混合信号中重建出源信号的方法。利用NMF进行盲源信号分离，就是要将分解成两个矩阵和的乘积，并使分解误

差尽可能小，采用2范数衡量NMF，其误差函数为。为了提高盲源分离算法性

能，对误差函数施加行列式、稀疏性和正交性约束，设计NMF的优化目标函数如式(1)所示：

(1)

其中，、和分别由式(2)、(3)和(4)给出；是平衡参数，为了保证NMF算法收敛，取比较小的正数。对于超定盲源分离，即情况，有

(2)

(3)

(4)

利用自然梯度下降法，求矩阵W和矩阵H的更新规则分别如式(5)和(6)所示。

(5)

(6)

目标函数对W和H的偏导分别如式(7)和(8)所示：

(7)

(8)

3. 迭代更新公式

3.1. W迭代公式推导

由于非负矩阵分解要求得到的分解结果W和H是非负的，所以采用乘性迭代更新公式。为了得到W的乘性迭代更新公式，由式(7)可见，理论上可以选择三种不同的学习速率，从而应该有三种不同的W迭代更新公式。现以第一种学习速率选择为例，具体推导如下。

W的第一种学习速率可选择为

(9)

将式(7)代入式(5)右边，可得

(10)

将式(12)代入上式可得

(11)

因此可得关于W的第一种迭代更新公式为：

(12)

其中，是一个很小的正数，是为了防止分母为零。下文其他处不再说明。

W的第二种学习速率可选择为

(13)

类似上述推导可得W的第二种迭代更新公式为：

(14)

W的第三种学习速率可选择为

(15)

类似上述推导可得W的第三种迭代更新公式为：

(16)

从式(12)、(14)和(16)可以发现，式(12)和(16)分母中包含有误差函数信息项，可以有效实现对W的更新。

3.2. H迭代公式推导

为了得到H的乘性迭代更新公式，由式(8)可见，理论上有7种不同的学习速率选择，从而应该有7种不同的H迭代更新公式。类似W迭代更新公式推导，分别可得7种不同的学习速率选择和H迭代更新公式如下。

H的第一种学习速率选择为：

(17)

对应的H第一种乘性迭代更新公式为：

(18)

H的第二种学习速率选择为：

(19)

对应的H第二种乘性迭代更新公式为：

(20)

H的第三种学习速率选择为：

(21)

对应的H的第三种乘性迭代更新公式为：

(22)

H的第四种学习速率选择为：

(23)

对应的H的第四种乘性迭代更新公式为：

(24)

H的第五种学习速率选择为：

(25)

对应的H的第五种乘性迭代更新公式为：

(26)

H的第六种学习速率选择为：

(27)

对应的H的第六种乘性迭代更新公式为：

(28)

H的第七种学习速率选择为：

(29)

对应的H第七种乘性迭代更新公式为：

(30)

从上述迭代更新公式可以发现，只有式(18)、(24)、(26)和(30)含有误差函数信息项。所以W和H的乘性迭代更新公式可行组合形式如表1所示。

4. 算法仿真与性能分析

源信号图像如图1所示，随机产生非负混合矩阵，经过混合得到混合的图像信号。经过大量的仿真实验得到平衡参数的合适取值分别为：、和，利用迭代公式更新W和H，迭代30,000次，更新迭代终止，最终得到由混合信号矩阵分离出的混合矩阵W和源信号H。

4.1. 迭代公式组合的有效性分析

大量的实验表明，分母中不包含有误差函数信息的迭代公式无法有效更新W和H，分离不出源信号，与我们前文判断一致。

现通过实验验证八种不同的迭代公式组合是否有效。应用上述八种迭代更新公式组合分离上述混合信号，算法能正常运行的用√表示，不能正常运行的用×表示，结果如表1所示。由表可见，即使八种组合分母中都包含了误差函数信息，但也只有三种组合方式是有效的，即组合3、组合4和组合7，所以可以得到三种算法，分别称为算法1、算法2和算法3。分析这三组迭代公式可见，迭代公式的分子分母项数基本平衡。

4.2. 三种算法性能分析

三种算法分离得到的图像信号分别如图2至图4所示。三种算法10次分离得到的源信号重构平均信噪比SNR如表2所示。由表2可见，算法2性能最好，算法1次之，算法3略差；三种算法性能在同一数量级，都能够较好地分离出源信号。

表1. 不同迭代公式组合的可行性分析

表2. 三种算法的重构平均信噪比(单位：dB)

图1. 源图像信号

图2. 算法1分离的图像信号

图3. 算法2分离的图像信号

图4. 算法3分离的图像信号

5. 结束语

本文研究了学习速率选择对NMF的盲源分离算法性能影响。首先推导给出了选择不同学习速率时各种迭代更新公式，然后进行了大量计算机仿真实验，最后通过比较分析发现，有效的迭代更新公式的分母必须包含误差函数信息，分子分母的项数应尽可能平衡。

致谢

首先，我要感谢我的导 师赵知劲 教授。如果不是 赵 老师的悉心指导，无私地提出宝贵的修改意见，就不会呈现出这样一篇内容详实、推导严谨的论文。紧接着，我要感谢我的家人。在我专注于论文写作的过程中，是他们的鼓励与理解，让我得以全身心地投入我的写作，同时也激励着我去不断完善我的论文。最后，我要感谢所有帮助过我的老师和同学，这篇论文是大家共同智慧的结晶。再次感谢。

文章引用

毛翊君,赵知劲,尚俊娜. 不同学习速率下NMF盲源分离算法
Blind Source Separation Algorithms Based on Nonnegative Matrix Factorization Using Different Learning Rates[J]. 无线通信, 2015, 05(05): 91-97. http://dx.doi.org/10.12677/HJWC.2015.55013

参考文献 (References)