河北工业大学理学院，天津

收稿日期：2023年9月19日；录用日期：2023年10月12日；发布日期：2023年10月20日

摘要

目前，关于二次度量回归模型的研究受到了广泛关注，比如相位恢复、动力系统状态估计、无标记的距离几何和各种组合图等问题。本文考虑从高维二次度量回归模型中恢复未知信号。通过采用折叠凹惩罚最小二乘估计方法，我们得到了真实信号与估计值之间的误差界。并且结果中还表明估计值与真实值有相同的支撑集。另外，文章中我们主要研究SACD和MCP两种典型的折叠凹惩罚函数。

关键词

二次度量回归模型，SCAD惩罚方法，MCP惩罚方法，高维统计

Folded Concave Penalized Estimation for Quadratic Measurements Regression

Xinyu Zhang^*, Jingyu Yang

School of Science, Hebei University of Technology, Tianjin

Received: Sep. 19^th, 2023; accepted: Oct. 12^th, 2023; published: Oct. 20^th, 2023

ABSTRACT

Recovering an unknown signal from quadratic measurements has gained more attention, such as phase retrieval, power system state estimation and the unlabeled distance geometry problem. In this paper, we reconstruct the unknown signal from high-dimensional quadratic measurements. By employing folded concave penalized least squares method, our main result shows the non-asymptotic error bound between the estimator and the true signal. Our result shows that the estimator has the same support set as the true signal. In addition, we focus on two typical folding concave penalty functions, SCAD and MCP.

Keywords:Quadratic Measurements, SCAD Penalty, MCP Penalty, High-Dimensional Statistical Analysis

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 研究背景

本文中，我们考虑二次度量回归模型

$y_i={\beta }^{*\text{T}}{Z}_i{\beta }^{*}+{\epsilon }_i,i=1,\cdots ,n,$ (1.1)

其中 $y_i\in ℝ$ 是可观测的响应变量， ${\beta }^{\text{*}}\in {ℝ}^p$ 是未知的真实信号，n是样本数目， $Z_i\in {ℝ}^{p\times p}$ 是测量矩阵， ${\epsilon }_i\in ℝ$ 为独立同分布的随机误差。目前，对于二次度量回归模型的研究越来越被重视，特别是在许多科学和工程领域，比如众所周知的相位恢复，电力系统状态估计，无标记距离几何问题等。并且其主要目标是从二次度量回归模型中恢复未知信号。下面我们给出几个例子进行详细介绍。

1) 相位恢复 相位恢复问题 [1] [2] [3] 广泛存在于许多科学和工程领域，包括光学成像、晶体学、中子放射学、电子显微镜、数字通信、天文学和计算生物学等。标准的相位恢复问题是基于强度测量数据 $z_i\in {ℝ}^p,i=1,\cdots ,n$ 恢复未知信号 $\beta \in {ℝ}^p$ ，其中强度测量数据与未知信号之间满足

$y_i={\left|z_i^{\text{T}}\beta \right|}^2+{\epsilon }_i.$

令矩阵 $Z_i=z_i{z}_i^{\text{T}}$ ，则上述模型就等价于二次度量模型(1.1)，其中 $Z_i$ 为秩1矩阵。

2) 电力系统状态估计 智能电网作为一种大型复杂的基础设施，需要借助大量的测量信息进行实时监测和决策。准确监控系统的运行是电网可靠和经济运行的核心，从而实施状态估计至关重要 [4] 。若给定一个总线和传输线路网络，电力系统状态估计的目标是从测量的功率和电压数据 $\left(y_1,\cdots ,y_n\right)$ ，来估计所有网络总线上的电压 $\left(v_1,\cdots ,v_n\right)$ 。根据交流电功率模型，可以看出这些测量值是二次依赖于待确定的电压值，即它们之间满足二次关系(1.1)。

3) 无标记的距离集合问题 无标记的距离集合问题 [5] 的目标是从一组未标记的成对距离中，恢复一组点的相对位置。这里对这组点位于一条直线上时进行举例 [6] ；假设直线上有p个点，并且点的距离分布函数为y，把直线平均分为n个线段，点的密度为 $x={\left(x_m\right)}_{m=1}^M\in {ℝ}^M$ ，距离分布函数y与点密度x之间呈二次关系(1.1)。

高维数据在科技发展中扮演着越来越重要的角色，并且已经成为机器学习，数理统计和信息科学等学科的研究热点。有效的变量选择方法通过筛选掉不重要的变量，得出简洁的模型，从而提高模型的预测精度和可靠性。事实上，如果选择一个太小的子集容易导致信息缺失，使得结果不准确，如果选择的变量过多，则会加重“维数诅咒”。所以，在建模高维数据时选择正确的变量子集并排除不重要的变量是相当重要的 [7] 。惩罚方法是我们处理和分析海量高维数据的最广泛使用的工具之一。近些年来，尤其是在线性模型中，利用惩罚方法进行变量选择受到了大量统计学家的关注。惩罚方法不仅可以在变量选择的同时给出参数估计，还可以减少模型的计算量，因此和传统的变量选择方法相比，惩罚估计方法有很高的优越性。

目前研究最多的惩罚方法是Lasso [8] 和非凸惩罚方法，并且在稀疏恢复领域，非凸惩罚比凸惩罚能够得到更好的稀疏性 [9] 。特别地，折叠凹惩罚方法在压缩感知中有了充分研究，尤其是SCAD [9] 和MCP [10] 两种惩罚方法。文献 [10] 指出基于折叠凹惩罚方法得到的全局解有理想的恢复性能。由于SCAD函数的良好性质，运用SCAD惩罚方法进行变量选择既可以有效的降低模型的选择偏差，又能有效提高模型预测的精准程度 [9] 。

本文中，为了实现对高维二次度量回归模型的参数估计以及变量选择问题，我们研究如下基于折叠凹惩罚最小二乘估计方法，

$\underset{\beta \in {ℝ}^p}{\min }{L}_n\left(\beta \right):=\frac{1}{4n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(y_i-{\beta }^{\text{T}}{Z}_i\beta \right)}^2+{\displaystyle \underset{j=1}{\overset{p}{\sum }}{P}_{{\lambda }_n}\left(\left|{\beta }_j\right|\right),}}$ (1.2)

其中 $P_{{\lambda }_n}\left(\left|{\beta }_j\right|\right)$ 为惩罚函数， ${\lambda }_n>0$ 为惩罚参数。本文中，我们采用SCAD和MCP两种典型的、被广泛使用的折叠凹惩罚函数，其函数解析式表示如下。

SCAD (Smoothly Clipped Absolute Deviation)，

$P_{{\lambda }_n}\left(t\right)=\{\begin{array}{l}{\lambda }_{n}t,0\le t<{\lambda }_n,\\ \frac{\left(a^2-1\right){\lambda }_n^2-{\left(t-a{\lambda }_n\right)}^2}{2(a-1)},{\lambda }_n\le t<a{\lambda }_n,\\ \frac{a+1}{2}{\lambda }_n^2,t\ge a{\lambda }_n.\end{array}$

其中 $a>2$ 为固定的参数。

MCP (Minimax Concave Penalty)，

$P_{{\lambda }_n}\left(t\right)\text{=}\{\begin{array}{l}{\lambda }_{n}t-\frac{t^2}{2b},0\le t<b{\lambda }_n,\\ \frac{1}{2}b{\lambda }_n^2,t\ge b{\lambda }_n.\end{array}$

其中 $b>0$ 为固定参数。

在整篇论文中，我们使用如下记号，对任意p维向量 $v={\left(\left|v_1\right|,\cdots ,\left|v_p\right|\right)}^{\text{T}}$ ，令 ${\Vert v\Vert }_{\text{2}}={\left({\displaystyle \underset{i=1}{\overset{p}{\sum }}{v}_i^2}\right)}^{1/2}$ ， ${\Vert v\Vert }_1=\left({\displaystyle \underset{i=1}{\overset{p}{\sum }}\left|v_i\right|}\right)$ 且 ${\Vert v\Vert }_{\infty }=\max \left\{\left|v_1\right|,\cdots ,\left|v_p\right|\right\}$ 。对任意 $n\times p$ 矩阵 $Z=\left(z_{ij}\right)$ ，令 ${\left|Z\right|}_{\infty }=\underset{1\le i,j\le p}{\max }\left|z_{ij}\right|$ 。 $Z^{AB}$ 为从矩阵Z中分别抽取指标集A和B对应行和列所成子矩阵。 ${\beta }_A$ 为从向量 $\beta$ 直接抽取指标集A对应位置的元素所构成的向量。 $e_{d,j}$ 表示d阶单位矩阵的第j列向量。

2. 主要结果与证明

本节将讨论基于SCAD和MCP惩罚最小二乘估计量的稀疏性和一致性，并给出了合理的证明过程。

2.1. 估计量的统计性质

为了研究估计量的统计性质，我们首先给出一些关于矩阵 $Z_i$ 和噪声 ${\epsilon }_i$ 的假设条件。令 ${\beta }^{\text{*}}$ 为真实值，并且 ${\Gamma }^{*}=\text{supp}\left({\beta }^{*}\right):=\left\{j:e_{p,j}^{\text{T}}{\beta }^{*}\ne 0,j=1,\cdots ,p\right\}$ 。像文献 [11] 一样，我们假设存在常数 $0<c_1\le c_2<\infty$ 满足

$c_1\le \min \left\{\left|e_{p,j}^{\text{T}}{\beta }^{*}\right|,j\in {\Gamma }^{*}\right\}\le \max \left\{\left|e_{p,j}^{\text{T}}{\beta }^{*}\right|,j\in {\Gamma }^{*}\right\}\le c_2.$ (2.1)

进一步，像文献 [11] [12] 一样，我们假设数据已经被标准化

${\displaystyle \underset{i=1}{\overset{n}{\sum }}{y}_i}=0$ 和 ${\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left|Z_i\right|}_{\infty }^2=n.}$

假设1对任意 $x,y\in {ℝ}^s$ ，存在常数 $0<c_3\le c_4$ ， $c_{\text{5}}>0$ 满足

$c_3{\Vert x\Vert }^2{\Vert y\Vert }^2\le \frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(x^{\text{T}}{Z}_i^{{\Gamma }^{*}{\Gamma }^{*}}y\right)}^2\le c_4}{\Vert x\Vert }^2{\Vert y\Vert }^2,$

且

${\left|{\displaystyle \underset{i=1}{\overset{n}{\sum }}{Z}_i^{{\Gamma }^{*}{\Gamma }^{*}}\otimes Z_i^{{\Gamma }^{*c}{\Gamma }^{*c}}}\right|}_{\infty }\le c_5\sqrt{n},$

${\left|{\displaystyle \underset{i=1}{\overset{n}{\sum }}{Z}_i^{{\Gamma }^{*}{\Gamma }^{*}}\otimes Z_i^{{\Gamma }^{*c}{\Gamma }^{*c}}}\right|}_{\infty }\le c_5\sqrt{n}$

其中 $\otimes$ 为Kronecker积。

在标准相位恢复问题中，第一个不等式可以简化为文献 [13] [14] 中类似的条件，并且文献中已经证明了向量 $z_i$ 的可行性。此外，后两个不等式可以看作是线性模型中正交性条件的扩展 [15] 。并且在二次度量回归模型中，文献 [12] 已经使用了相同假设。

假设2假设噪声 $\left\{{\epsilon }_{\text{1}}\text{,}\cdots \text{,}{\epsilon }_n\right\}$ 服从参数为 $\sigma$ 的高斯分布，并且 ${\epsilon }_i$ 均值为0，方差为 $E{\epsilon }_i^2$ 。

我们令 $\hat{\beta }$ 为二次测量模型的最优解，容易看出 $-{\beta }^{\text{*}}$ 也能够满足二次模型(1.1)。从而我们希望最优解 $\hat{\beta }$ 可以充分接近真实值 ${\beta }^{\text{*}}$ 或 $-{\beta }^{\text{*}}$ ，所以我们用如下式子去描述真实值与估计值之间的界

$\min \left\{\Vert \hat{\beta }-{\beta }^{*}\Vert ,\Vert \hat{\beta }+{\beta }^{*}\Vert \right\}.$

下面我们给出本文中主要的结论。

定理 对于二次测量模型(1.1)，假定假设1-2成立，惩罚函数为SCAD或者MCP，并且惩罚参数 ${\lambda }_n$ 当 $n\to \infty$ 时满足

${\lambda }_n\to 0$ 和 ${\lambda }_n^{-2}\sqrt{\frac{\ln p}{n}}\to 0,$ (2.2)

则最优化问题(1.2)存在局部最优解 $\hat{\beta }={\left({\hat{\beta }}_{{\Gamma }^{*}}^{\text{T}},{\hat{\beta }}_{{\Gamma }^{*c}}^{\text{T}}\right)}^{\text{T}}$ 使得对于足够大的n满足

(i) $P\left({\hat{\beta }}_{{\Gamma }^{*c}}=0\right)\ge 1-\frac{1}{n}$ ，

(ii) $P\left(\min \left\{\Vert \hat{\beta }+{\beta }^{*}\Vert ,\Vert \hat{\beta }-{\beta }^{*}\Vert \right\}\le \frac{8\sigma \sqrt{c_4}}{c_1{c}_3}\sqrt{\frac{\ln \left(1+2n\right)}{n}}+\frac{4}{c_1{c}_3\sqrt{s}}{\lambda }_n\right)\ge 1-\frac{1}{n}$ .

我们可以发现条件(2.2)蕴含了样本量n与维数p之间的关系。如果取 ${\lambda }_n=n^a$ ，则对于某个 $a\in \left(-1/8,0\right)$ ，条件(2.2)可以简化为

$\frac{\ln p}{\sqrt{n}}\to 0.$

通过定理中的结论(i)，我们可以看出折叠凹惩罚方法得到的估计量具有相合性。通过结论(ii)，我们可以看出折叠凹惩罚估计能够以趋于1的概率正确选择出非零变量，其中这个概率的收敛速度时线性的。

2.2. 定理证明

为了证明叙述中记号的简洁，我们不妨设 ${\Gamma }^{*}=\left\{1,\cdots ,s\right\}$ ， ${\beta }^{*}=\left({\beta }_1^{*\text{T}},0^{\text{T}}\right)$ 以及 $Z_i=\left[\begin{array}{cc}{Z}_i^{\text{11}}& Z_i^{\text{12}}\\ Z_i^{\text{21}}& Z_i^{\text{22}}\end{array}\right]$ 。记

$\min {\tilde{L}}_n\left({\beta }_1\right):=\frac{1}{4n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(y_i-{\beta }_1^{\text{T}}{Z}_i^{11}{\beta }_1\right)}^2}+{\displaystyle \underset{j=1}{\overset{s}{\sum }}{P}_{{\lambda }_n}}\left(\left|{\beta }_j\right|\right).$ (2.3)

我们首先证明优化问题(2.3)最优解的存在性。令 ${\hat{\beta }}_1=\arg \underset{{\beta }_1\in {ℝ}^s}{\min }{\tilde{L}}_n\left({\beta }_1\right)$ 。考虑水平集 $M=\left\{{\beta }_1\in {ℝ}^s:{\tilde{L}}_n\left({\beta }_1\right)\le {\tilde{L}}_n\left({\beta }_1^{*}\right)\right\}$ ，其中M为非空闭集，并且 $\underset{{\beta }_1\in {ℝ}^s}{\inf }{\tilde{L}}_n\left({\beta }_1\right)=\underset{{\beta }_1\in M}{\inf }{\tilde{L}}_n\left({\beta }_1\right)$ 。因为 ${\tilde{L}}_n(.)$ 是连续函数，所以 ${\tilde{L}}_n(.)$ 在水平集中至少有一个最优解。从而可以证明 ${\hat{\beta }}_{\text{1}}$ 的存在性。

下面我们证明 ${\hat{\beta }}_{\text{1}}$ 与 ${\beta }_{\text{1}}^{\text{*}}$ 之间的误差界。利用假设1和 ${\hat{\beta }}_{\text{1}}$ 的定义，我们可以得到对任意的 ${\beta }_{\text{1}}\in {ℝ}^s$ ，有

${\tilde{L}}_n\left({\hat{\beta }}_{\text{1}}\right)\le {\tilde{L}}_n\left({\beta }_1\right).$

从而

$\begin{array}{c}0\ge {\tilde{L}}_n\left({\hat{\beta }}_1\right)-{\tilde{L}}_n\left({\beta }_1^{*}\right)\\ =\frac{1}{4n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left[{\left({\hat{\beta }}_1-{\beta }_1^{*}\right)}^{\text{T}}{Z}_i^{11}\left({\hat{\beta }}_1+{\beta }_1^{*}\right)\right]}^2+\frac{1}{2n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({\beta }_1^{*\text{T}}{Z}_i^{11}{\beta }_1^{*}-{\hat{\beta }}_1^{\text{T}}{Z}_i^{11}{\hat{\beta }}_1\right){\epsilon }_i}+P_{{\lambda }_n}\left(\left|{\hat{\beta }}_j\right|\right)-P_{{\lambda }_n}\left(\left|{\beta }_j^{*}\right|\right)}\\ \ge \frac{c_3}{4}{\Vert {\hat{\beta }}_1-{\beta }_1^{*}\Vert }^2{\Vert {\hat{\beta }}_1+{\beta }_1^{*}\Vert }^2-\frac{1}{2n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left({\hat{\beta }}_1-{\beta }_1^{*}\right)}^{\text{T}}{Z}_i^{11}\left({\hat{\beta }}_1+{\beta }_1^{*}\right){\epsilon }_i+P_{{\lambda }_n}\left(\left|{\hat{\beta }}_j\right|\right)-P_{{\lambda }_n}\left(\left|{\beta }_j^{*}\right|\right).}\end{array}$

令 $u=\frac{{\hat{\beta }}_1-{\beta }_1^{*}}{{\Vert {\hat{\beta }}_1-{\beta }_1^{*}\Vert }_2}$ 和 $v=\frac{{\hat{\beta }}_1+{\beta }_1^{*}}{{\Vert {\hat{\beta }}_1+{\beta }_1^{*}\Vert }_2}$ 。由上述式子我们可以得到

$\frac{c_3}{4}{\Vert {\hat{\beta }}_1-{\beta }_1^{*}\Vert }^2{\Vert {\hat{\beta }}_1+{\beta }_1^{*}\Vert }^2\le \frac{1}{2n}\Vert {\hat{\beta }}_1-{\beta }_1^{*}\Vert \Vert {\hat{\beta }}_1+{\beta }_1^{*}\Vert {\displaystyle \underset{i=1}{\overset{n}{\sum }}{u}^{\text{T}}{Z}_i^{11}v{\epsilon }_i}+{\displaystyle \underset{j=1}{\overset{s}{\sum }}{P}_{{\lambda }_n}}\left(\left|{\beta }_j^{*}\right|\right)-P_{{\lambda }_n}\left(\left|{\hat{\beta }}_j\right|\right).$ (2.4)

根据SCAD惩罚函数的定义，对任意的 $t_{\text{1}},t_2>0$ ，有 $P_{{\lambda }_n}\left(t_1\right)-P_{{\lambda }_n}\left(t_2\right)\le {\lambda }_n\left|t_2-t_1\right|$ ，即

${\displaystyle \underset{j=1}{\overset{s}{\sum }}{P}_{{\lambda }_n}\left(\left|{\beta }_j^{*}\right|\right)-P_{{\lambda }_n}\left(\left|{\hat{\beta }}_j\right|\right)}\le {\lambda }_n{\Vert {\hat{\beta }}_1-{\beta }_1^{*}\Vert }_1.$

联合上式，(2.4)以及 ${\Vert {\beta }_{\text{1}}\Vert }_{\text{1}}\le \sqrt{s}{\Vert {\beta }_1\Vert }_2$ ，我们有

$\frac{c_{\text{3}}}{4}{\Vert {\hat{\beta }}_{\text{1}}-{\beta }_1^{*}\Vert }^2{\Vert \hat{\beta }+{\beta }^{*}\Vert }^2\le \frac{1}{2n}\Vert {\hat{\beta }}_{\text{1}}-{\beta }_1^{*}\Vert \Vert {\hat{\beta }}_{\text{1}}+{\beta }_1^{*}\Vert {\displaystyle \underset{i=1}{\overset{n}{\sum }}{u}^{\text{T}}{Z}_i^{11}v{\epsilon }_i+{\lambda }_n\sqrt{s}{\Vert {\hat{\beta }}_{\text{1}}-{\beta }_1^{*}\Vert }_2}.$ (2.5)

在下面证明中我们不妨设 $\Vert {\hat{\beta }}_{\text{1}}-{\beta }_1^{*}\Vert \le \Vert \hat{\beta }+{\beta }^{*}\Vert$ ，容易验证

${\beta }^{\text{*}}\le \Vert \hat{\beta }+{\beta }^{*}\Vert .$ (2.6)

利用Bernstein不等式和矩阵 $Z_i$ 的性质，我们可以得到

$\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{u}^{\text{T}}{Z}_i^{11}v{\epsilon }_i}\le 4\sigma \sqrt{c_4}\sqrt{\frac{s\ln \left(1+2n\right)}{n}}.$

利用上式，(2.5)，(2.6)和真实值 ${\beta }^{\text{*}}$ 的界(2.1)，我们可以验证

$\Vert {\hat{\beta }}_1-{\beta }_1^{*}\Vert \le \frac{8\sigma \sqrt{c_4}}{c_3\Vert {\beta }_1^{*}\Vert }\sqrt{\frac{s\ln \left(1+2n\right)}{n}}+\frac{4}{c_1{c}_3\sqrt{s}}{\lambda }_n.$ (2.7)

下面我们证明 $\hat{\beta }={\left({\hat{\beta }}_1^{\text{T}},0^{\text{T}}\right)}^{\text{T}}$ 是优化问题(1.2)在邻域 $\left\{{\beta }^{*}+u,{\Vert u\Vert }_1\le C\right\}$ 内的最优解，其中C是足够大的常数。记 $u={\left(u_1^{\text{T}},u_2^{\text{T}}\right)}^{\text{T}}\in {ℝ}^p$ 和 $u_1\in {ℝ}^s$ ，我们需要证明 $L_n\left({\hat{\beta }}_1,0\right)\le L_n\left({\beta }_1^{*}+u_1,u_2\right)$ 。因为 ${\hat{\beta }}_{\text{1}}$ 是最优化问题(2.3)的最优解，则对任意的 ${\beta }_{\text{1}}\in {ℝ}^s$ ，有 $L_n\left({\hat{\beta }}_1,0\right)\le L_n\left({\beta }_{\text{1}},0\right)$ 。从而，我们只需要证明下面不等式成立

$P\left(L_n\left({\beta }_1^{*}+u_1,u_2\right)\ge L_n\left({\beta }_1^{*}+u_1,0\right)\right)\ge 1-\frac{1}{n}.$

令 ${\zeta }_i=2Z_i^{21}\left({\beta }_1^{*}+r_n{u}_1\right)+{\tilde{r}}_n{Z}_i^{22}{u}_2$ 和 ${\eta }_i=Z_i^{11}\left(2{\beta }_1^{*}+r_n{u}_1\right)$ 。通过简单计算，我们可以得到

$\begin{array}{l}{L}_n\left({\beta }_1^{*}+u_1,u_2\right)-L_n\left({\beta }_1^{*}+u_1,0\right)\\ =\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left|u_2^{\text{T}}{\zeta }_i\right|}^2}+\frac{2}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{u}_1^{\text{T}}{\eta }_i{u}_2^{\text{T}}{\zeta }_i}-\frac{2}{n}{\displaystyle \underset{i-1}{\overset{n}{\sum }}{u}_2^{\text{T}}{\zeta }_i{\epsilon }_i}+{\displaystyle \underset{j=s+1}{\overset{p}{\sum }}{P}_{{\lambda }_n}\left(\left|u_{2j}\right|\right)}\\ \ge -\frac{2}{n}{r}_n^2{\Vert u_1\Vert }_1{\Vert u_2\Vert }_1{\Vert {\displaystyle \underset{i=1}{\overset{n}{\sum }}{\zeta }_i{\eta }_i^{\text{T}}}\Vert }_{\infty }-\frac{2}{n}{\Vert u_2\Vert }_1{\Vert {\displaystyle \underset{i=1}{\overset{n}{\sum }}{\zeta }_i{\epsilon }_i}\Vert }_{\infty }+{\displaystyle \underset{j=s+1}{\overset{p}{\sum }}{P}_{{\lambda }_n}}\left(\left|u_{2j}\right|\right).\end{array}$

利用Bernstein不等式和无穷范数的定义，我们可以计算得到至少以 $1-n^{-1}$ 概率有以下式子成立

$\frac{1}{n}{\Vert {\displaystyle \underset{i=1}{\overset{n}{\sum }}{\zeta }_i{\epsilon }_i}\Vert }_{\infty }\le 2\sqrt{6}\sigma c_2\sqrt{\frac{s\ln p}{n}}.$ (2.8)

利用假设1中后两个不等式以及(2.1)，我们可以得到

$\frac{\text{1}}{n}{\Vert {\displaystyle \underset{i=1}{\overset{n}{\sum }}{\zeta }_i{\eta }_i}\Vert }_{\infty }\le \frac{c}{\sqrt{n}},$ (2.9)

其中c是一个大于零的常数。

根据SCAD惩罚函数的定义，对任意的 $u_j\in ℝ$ ，可以证明有下式成立

$P_{{\lambda }_n}\left(\left|u_j\right|\right)\ge C^{\prime }{\lambda }_n^2\left|u_j\right|,$ (2.10)

其中常数 $C^{\prime }=2^{-1}\min \left\{{\lambda }_n^{-1},\left(a+1\right)a^{-1}\right\}$ ，下面我们分三种情况对上式进行证明。

(i) 当 $\left|u_j\right|\le {\lambda }_n$ 时，有 $P_{{\lambda }_n}\left(\left|u_j\right|\right)={\lambda }_n\left|u_j\right|$ 。取 $C^{\prime }={\lambda }_n^{-1}$ ，则(2.10)显然成立。

(ii) 当 ${\lambda }_n<\left|u_j\right|<a{\lambda }_n$ 时，有 $P_{{\lambda }_n}\left(\left|u_j\right|\right)={\left(2a-2\right)}^{-1}\left(-{\left|u_j\right|}^2+2a{\lambda }_n\left|u_j\right|-{\lambda }_n^2\right)$ 。由 $\left|u_j\right|$ 的上、下界，有

$P_{{\lambda }_n}\left(\left|u_j\right|\right)\ge \frac{a{\lambda }_n}{2\left(a-1\right)}\left|u_j\right|-\frac{1}{2\left(a-1\right)}{\lambda }_n\left|u_j\right|=\frac{1}{2}{\lambda }_n\left|u_j\right|,$

取 $C^{\prime }={\left(2{\lambda }_n\right)}^{-1}$ ，则(2.10)显然成立。

(iii) 当 $\left|u_j\right|\ge a{\lambda }_n$ 时，有 $P_{{\lambda }_n}\left(\left|u_j\right|\right)=\frac{a+1}{2}{\lambda }_n^2$ 。由 ${\Vert u\Vert }_{\text{1}}\le C$ ，有 $\left|u_j\right|\le C$ 。我们可以计算得到

$P_{{\lambda }_n}\left(\left|u_j\right|\right)=\frac{a+1}{2C}{\lambda }_n^2\left|u_j\right|,$

其中 $C^{\prime }={\left(2C\right)}^{-1}\left(a+1\right)$ 。从而(2.10)得证。

结合上述不等式(2.8)，(2.9)以及(2.10)，我们可以证得

$\begin{array}{l}{L}_n\left({\beta }_1^{*}+u_1,u_2\right)-L_n\left({\beta }_1^{*}+u_1,0\right)\\ \ge -2\sqrt{6}\sigma c_2\sqrt{\frac{s\ln p}{n}}-\frac{c}{\sqrt{n}}+C^{\prime }{\lambda }_n^2\left|u_j\right|\\ ={\lambda }_n^2\left|u_j\right|\left(-2\sqrt{6}\sigma c_2{\lambda }_n^{-2}\sqrt{\frac{s\ln p}{n}}-{\lambda }_n^{-2}\frac{c}{\sqrt{n}}+C^{\prime }\right).\end{array}$

根据条件中的极限 ${\lambda }_n^{-2}{n}^{-1/2}{\left(\ln p\right)}^{1/2}\to \text{0}$ ，其蕴含了 ${\lambda }_n^{-2}{n}^{-1/2}\to \text{0}$ ，显然

$L_n\left({\beta }_1^{*}+u_1,u_2\right)-L_n\left({\beta }_1^{*}+u_1,0\right)\ge \text{0},$

从而完成该定理证明。

3. 结论

本文研究的高维二次度量回归模型，其在相位恢复、电力系统状态估计等问题中有广泛的应用价值。本文基于折叠凹惩罚最小二乘估计方法对二次度量回归模型进行参数估计，该方法还能够对参数进行变量选择。其中折叠凹惩罚方法是本文的创新点，并且该方法具有良好的优势。另外，本文还给出了在一定条件下真实值与估计值之间的误差界。

文章引用

张馨玉,杨婧昱. 二次度量回归模型中折叠凹惩罚估计的统计性质
Folded Concave Penalized Estimation for Quadratic Measurements Regression[J]. 应用数学进展, 2023, 12(10): 4357-4364. https://doi.org/10.12677/AAM.2023.1210429

参考文献