测不准原理(Uncertainty Principle,又称不确定原理)是数学、信息学与信号处理、物理学等交叉学科中的基本法则,具有重要的理论意义和价值。本文从数学角度出发,针对近年来受到广泛关注和研究的广义不确定原理(即时频分析广义测不准原理和信号稀疏表示广义测不准原理两大方面),给出了广义不确定原理研究中所涉及的主要数学问题,包括传统数学不等式在广义域内的推导证明、信号不同范数下的优化求解、矩阵优化分解等问题,既包括特定广义域内的推导证明,又包括不同变换基函数或框架下的数学优化,对于广义测不准原理中的数学问题进行了总结,并给出了其存在的问题,讨论了下一步可能的研究思路和方向。 The uncertainty principle is the elementary rule in the crossed fields of mathematics, information and physics and so on, which plays an important role in scientific sense and engineering value. This paper discussed the mathematical problems in the research of widely studied generalized uncertainty principles (i.e., the generalized uncertainty principles on time-frequency analysis and the generalized uncertainty principles on sparse representation), including the extension of the traditional inequalities to the generalized domains, the optimization of various p-norms, the op-timal matrix factorization and so on. The review of these mathematical problems is the focus in this paper, and the disadvantages and the future work of these mathematical problems are discussed as well.
徐冠雷1,王孝通2,周立佳1,邵利民1,刘永禄1,徐晓刚2
1海军大连舰艇学院军事海洋系,辽宁 大连
2海军大连舰艇学院航海系,辽宁 大连
收稿日期:2016年8月11日;录用日期:2016年8月25日;发布日期:2016年8月31日
测不准原理(Uncertainty Principle,又称不确定原理)是数学、信息学与信号处理、物理学等交叉学科中的基本法则,具有重要的理论意义和价值。本文从数学角度出发,针对近年来受到广泛关注和研究的广义不确定原理(即时频分析广义测不准原理和信号稀疏表示广义测不准原理两大方面),给出了广义不确定原理研究中所涉及的主要数学问题,包括传统数学不等式在广义域内的推导证明、信号不同范数下的优化求解、矩阵优化分解等问题,既包括特定广义域内的推导证明,又包括不同变换基函数或框架下的数学优化,对于广义测不准原理中的数学问题进行了总结,并给出了其存在的问题,讨论了下一步可能的研究思路和方向。
关键词 :广义测不准原理,稀疏表示,时频分析,分辨率分析,范数,熵,矩阵分解
测不准原理最初由德国物理学家Heisenberg [
在信息领域,Heisenberg测不准原理一般来讲有两层传统含义:一是时间分辨率和频率分辨率不能够同时无限制地提高,它们的乘积存在一个下限;二是时间分辨率和频率分辨率之间存在着相互制约的关系,即如果要提高频率分辨率就得降低时间分辨率,反之亦然。但是,一直以来,测不准原理都被认为是“消极”的,人们在该领域的研究 [
然而,最近Denoho等人的压缩感知理论 [
时频分析广义测不准原理 [
本论文将从两类广义测不准原理的角度出发,针对信号处理中的广义测不准原理理论研究中所涉及的数学问题进行分析研究,给出信号处理中的广义测不准原理研究中的数学问题,旨在为更好地研究广义测不准原理的理论及其信息学中应用提供一定的依据。
时频分析广义测不准原理把不同的基函数单独或独立对信号进行表示,一般来讲只是对信号在单域内聚集程度(或独立的两个域内聚集程度之和/积)进行理论论证和分析,多数用来分析时频分辨率及分辨率之间的关系。
时频分析广义测不准原理主要是指在分数阶Fourier变换域和线性正则变换域内的传统时频平面分辨率分析的Heisenberg测不准原理、加窗测不准原理 [
由于分数阶Fourier变换可以作为线性正则变换的特例对待,所以本文主要以线性正则变换为例加以讨论。首先给出线性正则变换的数学定义及主要特性,以及这些特性的相关应用。然后讨论了广义测不准原理推导证明过程中常用的Minkowski不等式、广义Hausdorff-Young不等式、广义Pitt不等式、变量代换等数学问题,并给出了相应的广义形式推导和典型应用示例(具有启示作用)。
给定任意信号
其主要性质:
1) 叠加特性:
其中
2) 可逆性:
其中,
3) 时移性:
4) 尺度特性:
5) 乘积特性:
6) 广义Parseval准则:
Parseval准则/定理的物理意义是能量守恒,时域能量等于频域能量,不会因为变换而发生改变。而广义Parseval准则讨论了在广义域内(分数阶Fourier变换域和线性正则变换域内)的能量守恒问题,即时域能量等于广义频域能量。
除了Parseval准则以外,Cauchy-Schwartz不等式也是广义测不准原理证明过程中常用的数学法则。数学上,Cauchy-Schwartz不等式,又称Schwartz不等式。Cauchy-Schwartz不等式表明,若f和g是实或复内积空间的元素,则有
等式成立当且仅当f和g是线性相关的。Cauchy-Schwartz不等式的一个重要结果,是内积为连续函数,例如下面的证明过程:
根据乘积特性(6)和广义Parseval准则(7),可得
上述两式应用Cauchy-Schwartz不等式,可得
对于实数函数
所以,进一步得到一个广义测不准原理的结果:
Cauchy-Schwartz不等式有另一形式,还可以用范数(见论文第三部分)的写法表示:
有关线性正则变换(及分数阶Fourier变换)的其他详细论述可参阅文献 [
Minkowski不等式在广义测不准原理的推导中也颇为重要,首先简要回顾下Minkowski不等式的推导过程。我们考虑连续函数形式
用三角形不等式展开:
用赫尔德不等式,上式右侧
利用关系式
类似地,得到多路信号的Minkowski不等式 [
应用该公式,可以得到多路信号的广义熵测不准原理:
使用变量替换原理,可以推导LCT域内的广义Hausdorff-Young不等式。
考虑W. Beckner的Hausdorff-Young不等式 [
其中
首先假定
应用等式
即
由于
通过变量代换,并应用Fourier变换定义可得:
令
所以
所以
广义分数阶Fourier变换域的Hausdorff-Young不等式,与变换参数a、b有关,与c、d无关。
当
上式是传统Hausdorff-Young不等式的第二种书写版本。特别是,当
根据
和
对上式两边取对数,可得
其中,
根据广义分数阶Fourier变换域的Hausdorff-Young不等式,
当
结合条件
即
这样,就可以应用广义Hausdorff-Young不等式得到广义熵测不准原理。
类似于上节,使用变量替换原理,可以推导LCT域内的广义Pitt不等式,从而进一步推导出广义对数测不准原理。
根据W. Beckner [
其中
首先,不妨假定
设
所以
根据
应用
所以
令
设
综合上述各式,可得:
广义分数阶Fourier变换域的Pitt不等式与变换参数a、b有关,与c、d无关,因为c和d只起尺度变换和调制的作用,其证明过程可以看出尺度变换
上式是传统Pitt不等式的第二种书写形式。
当
设
所以
其中,
当
所以
即
当
上式为分数阶Fourier变换域内的广义对数测不准原理。
上面几个小节只是给出了几个广义测不准原理推到证明过程中的几个数学法则或不等式的应用,本部分采用表格的方式把所有时频分析广义测不准原理对应的数学法则或不等式(数学问题)进行总结,以提供一个直观的比较和分析(其中包括我们前期研究的部分工作 [
有关信号稀疏表示的广义测不准原理可以追溯到Denoho等人于1989年提出的理论 [
在此基础上,Elad等人于2002年提出了任意两个正交基集的稀疏表示广义测不准原理 [
但是,从信号稀疏分解的角度来看,自然界中的信号千变万化,用两个正交基集不一定能够得到理想的稀疏表示结果,两个正交基集显然也不总是稀疏分解的基函数集的最佳选择。所以,Patrick等人于2012年又提出了两个非正交基集的广义测不准原理 [
在前人研究基础上,我们针对正交基集,对信号唯一最佳稀疏表示广义测不准条件、最佳稀疏表示范数和最小熵关系等进行了研究 [
广义测不准原理关系不等式 | 涉及到的数学问题 |
---|---|
变量代换 广义Parseval准则 | |
变量代换 广义Parseval准则 广义Cauchy-Schwartz不等式 其中 | |
变量代换 广义Parseval准则 广义Cauchy-Schwartz不等式 其中 | |
变量代换 广义Parseval准则 | |
变量代换 广义Parseval准则 | |
变量代换 广义Parseval准则 |
表1. 广义Heisenberg测不准原理的数学问题
广义测不准原理关系不等式 | 涉及到的数学问题 |
---|---|
变量代换 广义Parseval准则 | |
变量代换 广义Parseval准则 | |
变量代换 广义Hausdorff-Young不等式 Minkowski 不等式 广义Parseval准则 Jensen不等式 |
表2. 广义Shannon熵测不准原理的数学问题
广义测不准原理关系不等式 | 涉及到的数学问题 |
---|---|
变量代换 | |
变量代换 | |
变量代换 广义Hausdorff-Young不等式 Minkowski 不等式 广义Parseval准则 Jensen不等式 |
表3. 广义Rényi熵测不准原理的数学问题
广义测不准原理关系不等式 | 涉及到的数学问题 |
---|---|
变量代换 广义Parseval准则 | |
变量代换 广义Parseval准则 | |
变量代换 广义Parseval准则 |
表4. 广义加窗测不准原理的数学问题
广义测不准原理关系不等式 | 涉及到的数学问题 |
---|---|
变量代换 广义Pitt不等式 广义Parseval准则 | |
变量代换 广义Pitt不等式 广义Parseval准则 |
表5. 广义对数测不准原理的数学问题
广义不等式 | 涉及到的数学问题 |
---|---|
变量代换 广义Parseval准则 | |
变量代换 广义Parseval准则 | |
变量代换 广义Parseval准则 | |
变量代换 广义Parseval准则 | |
变量代换 广义Parseval准则 | |
变量代换 广义Parseval准则 |
表6. 广义Hausdorff-Young不等式和广义Pitt不等式
科交叉领域,但是归根结底都可以纳入到相关的数学问题中去(比如,不同范数及范数优化、稀疏求解、稀疏矩阵及矩阵分解等)。表7概括了稀疏表示广义测不准原理的研究现状以及需要完善的研究内容,涵盖了不少数学问题,表8则概述了已有的稀疏表示广义测不准原理所涉及到的主要的数学问题。
下面就针对不同的数学问题进行展开论述。
p范数(p-norm)可以看成2范数的扩展,但是:p的范围是[1, inf)。p在(0,1)范围内定义的并不是范数
稀疏表示理论广义测不准原理不同的数学研究角度 | Heisenberg广义测不准原理 | 熵广义测不准原理 | |||||
---|---|---|---|---|---|---|---|
正交基集 | 非正交基集 | 框架 | 正交基集 | 非正交基集 | 框架 | ||
理论数学条件 | 信号唯一最佳稀疏表示的数学条件 | 已有相关工作,比如 [ | 已有相关工作,比如 [ | 已有相关工作,比如 [ | 已有相关工作,如 [ | 空白 | 空白 |
最佳稀疏表示0-范数和1-范数等价条件 | 已有相关工作,比如 [ | 已有相关工作,比如 [ | 已有相关工作,如 [ | 空白 | 空白 | 空白 | |
最佳稀疏表示p范数条件 | 空白 | 空白 | 空白 | 空白 | 空白 | 空白 | |
工程 判据 | 信号唯一最佳稀疏表示条件 | 已有(我们前期工作) | 空白 | 空白 | 空白 | 空白 | 空白 |
最佳稀疏表示0-范数和1-范数等价条件 | 已有相关工作,比如 [ | 空白 | 空白 | 空白 | 空白 | 空白 | |
最佳稀疏表示p范数条件 | 空白 | 空白 | 空白 | 空白 | 空白 | 空白 | |
快速基函数选择算法 | 信号唯一最佳稀疏表示条件 | 已有相关工作,比如 [ | 空白 | 空白 | 空白 | 空白 | 空白 |
最佳稀疏表示0-范数和1-范数等价条件 | 已有相关工作,比如 [ | 空白 | 空白 | 空白 | 空白 | 空白 | |
最佳稀疏表示p范数条件 | 空白 | 空白 | 空白 | 空白 | 空白 | 空白 | |
最佳稀疏表示范数和最小熵等价数学条件 | 已有相关工作,比如 [ | 空白 | 空白 | 已有相关工作,如 [ | 空白 | 空白 |
表7. 稀疏表示广义测不准原理基于数学角度的理论研究现状
主要文献 | 广义测不准原理关系的物理描述 | 使用的范数 | 涉及到的数学问题 |
---|---|---|---|
[ | 时域栅栏信号数目和其频域(包含分数阶域)系数数目之和大于数据长度开方的二倍 | 2-范数(或Frobenius-范数)、0-范数、1-范数 | 连续和离散信号的0-范数优化、1-范数优化或P0问题、P1问题、Parseval准则 |
[ | 时域栅栏信号数目和其频域系数数目之和大于数据长度开方的二倍;时域栅栏信号唯一稀疏表示的条件是时域栅栏信号数目和其频域系数数目之和小于数据个数开方的倒数;时域栅栏信号1-范数和0-范数等价的条件是时域栅栏信号数目和其频域系数数目之和小于数据个数开方的倒数的一半与0.5之和 | 1-范数 0-范数 | 离散信号的1-范数优化、0-范数优化或P0问题、P1问题 |
[ | 任意信号在两个正交基下的系数数目之和大于两正交基相关系数倒数的二倍;信号能够用两个正交基唯一稀疏表示的条件是在两个正交基下的系数数目之和小于两正交基相关系数倒数;信号1-范数和0-范数等价的条件是在两个正交基下的系数数目之和小于两正交基相关系数倒数的0.9142倍 | 1-范数 0-范数 | 离散信号的1-范数优化、0-范数优化或P0问题、P1问题 |
[ | 任意信号在两个非正交基下的系数数目之和大于两非正交基相关系数的复杂函数;信号能够用两个非正交基唯一稀疏表示的条件是在两个非正交基下的系数数目之和小于两非正交基相关系数复杂函数的倒数。 | 1-范数 0-范数 | 离散信号的1-范数优化、0-范数优化或P0问题、P1问题 |
[ | 最佳稀疏表示下最小熵测不准原理;最佳稀疏表示(0或1)范数和最小熵等价数学条件 | 1-范数 0-范数 最小熵 | 离散信号的1-范数优化、0-范数优化或P0问题、P1问题、熵最小优化或Pe问题 |
表8. 稀疏表示广义测不准原理的数学问题
(但是,我们有时也笼统地称之为0-范数、1/2-范数等),因为违反了三角不等式。在p范数下定义的单位球(unit ball)都是凸集(convex set,简单地说,若集合A中任意两点的连线段上的点也在集合A中,则A是凸集),但是当0 < p < 1时,在该定义下的unit ball并不是凸集(注意:我们没说在该范数定义下,因为如前所述,0 < p < 1时,并不是范数)。下图展示了p取不同值时单位圆(因为p取2时为标准的单位圆,故以单位圆为标准比对对象)的形状,见图1。
0-范数是稀疏表示中常用的范数,其物理意义就是求非零数据的个数。由于信号严格稀疏表示采用最小0-范数来进行量化和界定,但是最小0-范数的求解是个NP问题(即数学上需要把所有的情况都穷举完才能找到最优的解),所以Denoho等很多学者又给出了信号稀疏表示的最小0-范数和最小1-范数等价的广义测不准原理边界条件,然后用1-范数代替0-范数进行问题的求解。
上述范数主要针对向量,实际上矩阵也有范数,一般来讲矩阵范数除了正定性,齐次性和三角不等式之外,还规定其必须满足相容性,所以矩阵范数通常也称为相容范数。需要注意的是,如果不考虑相容性,那么矩阵范数和向量范数就没有区别。引入相容性主要是为了保持矩阵作为线性算子的特征,这一点和算子范数的相容性一致,并且可以得到Mincowski定理以外的信息。矩阵范数最常用的就是Frobenius范数(也叫Euclid范数,简称F-范数或者E-范数)和核范数。Frobenius范数即为求解矩阵A全部元素平方和的平方根。由于向量的F-范数就是2-范数,所以F-范数和向量的2-范数相容。核范数(也叫奇异值的0-范数),其物理意义是求解非零奇异值的个数,换句话说就是矩阵的最小秩求解。
关于范数的其他更详细介绍可以参照文献 [
目前常用的三种范数优化模式为P0问题、P1问题以及Pe问题:
P0问题:
P1问题:
Pe问题:
其中
范数及熵最小优化问题涉及到的算法主要包括基追踪算法、贪婪算法、迭代阈值算法等算法。下面就三种优化各自给出一个优化算法示例,从而可以有一个比较直观的认识。
1) 基追踪算法
Chen等人 [
图1. p取不同值时单位圆的形状
在这里我们可以对变换矩阵
进一步定义所有支撑
往往在算法第一步(k=0)中,计算误差的设置一般都是由以下的公式给出:
所以,对于在合适的
此时我们假定没有一般性损失,
为了考虑较为复杂难于处理的情况,我们构造一个下界和一个上界,然后再一次应用上面的不等式,对于左边则有关系式
这里我们假定
将这两个边界插入到(15)中的不等式我们得到不等式关系:
当我们假设
现在我们考虑上边提到的要求($),然后根据同样的处理,左边的下界保持不变,然而右边的上界变为如下不等式:
且处处要求如下关系成立:
紧接着,下一步就是对于误差
2) 贪婪算法
假设矩阵A有
个列,则第j次测试可以通过将
如果这个误差是0,我们就找到了适当的解。因此这个测试将要做的仅仅是
略放弃了穷举搜索支持一系列的局部最佳的更新。从
关于贪婪算法的具体实现方法有很多种,主要有正交贪婪算法 [
3) 熵优化方法
熵最小优化算法类似于最小0-范数算法,是为了解决Pe问题而进行的优化,是NP问题,无法有效地求解,因此文献 [
首先,假定:
在步骤n,通过下式优化,选取
计算一个近似量和一个表示系数:
重复上述步骤直到
此为还有其他多种方法可以解决上述三大类问题。极小化1-范数的方法能够有效解决压缩感知中的恢复问题,但是当结合其它的一些先验知识后,该问题可以被更加有效地解决,比如贝叶斯压缩感知方法 [
4) RIP条件
在针对上述优化过程中,对限制条件中矩阵A有哪些要求呢?或者说,矩阵A满足哪些条件则会保证我们获得可靠、稳定的优化解呢?为此,Candes 和Tao提出了受限等距性质(Restricted isometry property, RIP) [
定义1:对于一个有
对于s列的任何选择都是有效的。那么A就是称为在常量
也就是说,如果A中的s列的任何子集合都是一个正交变换,那么信息总是没有能量变化的。清晰的,这个定义仅仅是对
在以上的叙述中我们用了格拉姆矩阵中的最小量的结构,在主对角线上都是1在非主对角线上的元素都是通过
这里我们再一次使用正常的等值不等式
与压缩传感紧密相关的一个问题是矩阵秩最小化问题。低秩矩阵模型在信号处理等领域具有广泛的应用,例如系统辨识与控制、欧氏空间嵌入和协同滤波等,这往往涉及到仿射矩阵秩最小化的问题 [
矩阵秩最小化的一个经典例子就是矩阵填充中的Netflix问题。Netflix公司是一个影碟租赁公司,该公司让用户在观看影碟后对电影打分,然后该公司会根据用户的打分推测出用户对于影片的喜好,从而给用户推荐喜爱的影碟。如果将每一名对电影打分的用户都看成矩阵的一行,再把每一部被评分的电影看成矩阵的一列,用户对于电影的打分看成是矩阵的元素。在现实生活中,一个用户看过的电影总是有限的,因此评分矩阵中仅有少量的元素是已知的。该公司要预测用户对于影片的喜好,就是要通过这些已知的少量的矩阵元素,推测出空白的矩阵元素,这就是一个典型的矩阵填充问题。另外,由于影响用户对于影片的喜好的因素往往只有少数几个,因此这个矩阵将是一个低秩矩阵。曾经Netflix公司还举办过一个比赛,参赛队伍根据Netflix公司提供的用户对于影片的打分数据对用户喜好进行预测,设计新的预测方法,并与Netflix公司自己的预测软件结果进行对比,其中能将预测准确度提高10%的队伍将获得100万美元的大奖。
某个矩阵如果只有部分观测元素(可能占该矩阵元素很低的比例),我们要推测出其他没有观测到的元素,这便是矩阵填充问题。如果对于矩阵没有任何条件限制,矩阵填充问题的解无穷多,但是在实际很多时候我们遇到的矩阵都是低秩矩阵或者渐进低秩矩阵。研究表明 [
对于给定的矩阵X,矩阵部分数据已知,即下面优化问题即是矩阵填充的数学模型:
如果矩阵中数据采样对于给定的某个常数C满足
进一步,Cai等人把限制条件进行了改进 [
因此,可以通过迭代优化计算方法(30)直到达到某个停止条件,获得最终的优化矩阵X:
其中,
很显然,矩阵填充问题是一个非适定性的问题。一般而言,如果一个矩阵仅仅由少量的采样元素组成,那么完全重构出原矩阵几乎是不可能的,因为对矩阵未知元素的填充有无限种可能性。如果没有其他约束条件,矩阵填充重构出的矩阵将不是唯一的。但是如果我们事先知道原始矩阵数据满足一定的条件,那么矩阵填充将变得可行,这个关键的条件就是矩阵的低秩性 [
时频分析广义测不准原理,特别是在分数阶Fourier变换域以及线性正则变换域内的时频分析广义测不准原理已经获得了长足的发展 [
但是,目前公开发表的时频分析广义测不准原理都主要是针对连续信号的,但离散信号与连续信号有许多不同点。首先,在实际工程应用中离散信号的时间支撑和频率支撑都是有限的,而对于连续信号不成立 [
对于稀疏表示广义测不准原理,研究正处于白热化状态,也取得了不少进展,比如已有不少文献中的相关工作就涵盖了当前稀疏表示广义测不准原理的研究成果 [
然而,尽管前期关于稀疏表示广义测不准原理取得了开创性成果,但这些理论结果大多不具备工程可行性,无法在信号的稀疏表示中进行有效的应用,而且这些成果仅限于稀疏表示的广义Heisenberg测不准原理。Denoho、Elad等人给出的结论都包含了信号的0-范数 [
国家自然科学基金《广义测不准原理理论及其应用研究》(61002052)以及《信号稀疏表示的广义测不准原理研究》(61471412)资助支持。
徐冠雷,王孝通,周立佳,邵利民,刘永禄,徐晓刚. 广义测不准原理中的数学问题研究Study on the Mathematical Problems of Generalized Uncertainty Principles[J]. 应用数学进展, 2016, 05(03): 536-559. http://dx.doi.org/10.12677/AAM.2016.53064