南京信息工程大学数学与统计学院，江苏 南京

收稿日期：2021年10月9日；录用日期：2021年10月30日；发布日期：2021年11月11日

摘要

特征筛选是超高维数据分析中非常重要的一环，筛选降维过程的准确性将影响到后续的建模分析。针对稳定特征筛选方法(SC-SIS)的不足之处进行改进，基于稳定相关系数提出了适用于超高维无模型假设下稳健特征筛选方法(RSCS)，相比SC-SIS，该方法对数据中存在异常点或协变量服从重尾分布更有稳健性，从理论上证明了RSCS方法具有确定性筛选性质，并通过蒙特卡洛数值模拟和小鼠基因组数据验证了RSCS方法的有限样本性质。

关键词

超高维数据，稳定相关系数，确定性筛选性质，稳健性

Feature Screening for Ultra-High Dimensional Data Based on Stable Correlation Coefficient

Xi Yan

School of Mathematics and Statistics, Nanjing University of Information Science & Technology, Nanjing Jiangsu

Received: Oct. 9^th, 2021; accepted: Oct. 30^th, 2021; published: Nov. 11^th, 2021

ABSTRACT

Feature screening is an important part of ultra-high-dimensional data analysis. The accuracy of the screening and dimensionality reduction process will affect the subsequent modeling analysis. Aiming at the shortcomings of the stable feature screening method (SC-SIS), based on the stable correlation coefficient, a robust feature screening method (RSCS) suitable for ultra-high-dimensional model-free assumptions is proposed. This paper proves theoretically that the proposed feature screening method satisfies the sure screening property. Numerical simulation and a real data application under the finite sample are conducted to evaluate the performance of the proposed method.

Keywords:Ultra-High-Dimensional Data, Stable Correlation Coefficient, Sure Screening Property, Robustness

Copyright © 2021 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

在这个科技发展极其迅速的时代，超高维数据已经越发频繁地出现在生物医学、经济学和社会科学等众多领域之中。对超高维数据进行分析已经成为了推动社会发展的必要手段，然而，超高维数据中预测变量维数p远大于样本量n，p会随着n的增长呈现出指数增长趋势，且超高维数据一般服从稀疏性假设，即只有少数预测变量与响应变量相关。若不加以任何处理，直接对原始超高维数据进行分析不仅会耗费大量的时间精力，还会导致计算成本过高、预测精度降低等问题。在稀疏性假设的驱动下，考虑先对原始超高维数据进行降维，然后再利用降维后的数据集进行统计分析，特征筛选便是超高维数据降维的重要手段。

Fan和Lv [1] 开创性地提出了基于线性模型的超高维特征筛选方法SIS，通过对协变量与响应变量之间的边际皮尔逊相关系数进行排序来筛选重要变量。之后又将其扩展到广义线性模型 [2] [3]，然而，皮尔逊相关系数只能检测到变量之间的线性关系，在检测非线性关系时可能会受到限制。为了解决这个问题，Li和Peng等 [4] 通过可以识别两个变量之间单调关系的Kendall $\tau$ 相关系数来建立稳健的秩相关指标。

上述方法都是基于特定模型的，当模型假设错误时相应的方法可能不再适用。基于此，Zhu和Li等 [5] 首次提出了针对超高维数据的无模型筛选方法；Li和Zhu等 [6] 通过可以同时识别线性和非线性关系的距离相关系数(DC)提出了无模型的筛选方法DC-SIS；Shao和Zhang [7] 提出并使用鞅差相关系数构建了筛选方法；Guo和Li等 [8] 在距离相关系数的基础上，改进了其需要矩存在这一限制，提出了稳定相关系数(SC)，并基于此建立了无模型的特征筛选方法SC-SIS。

在本文中，我们针对稳定筛选方法SC-SIS在数据中存在异常点或协变量服从重尾分布时无法达到降维效果这一情况，提出一种改进的筛选方法RSCS，该方法自然地继承了SC-SIS无模型这一优点并且对数据分布更有稳健性。本文的安排如下，第一部分将详细介绍RSCS筛选方法，并表明其具有确定性筛选性质，第二部分运用蒙特卡洛模拟方法研究RSCS在有限样本下的表现，第三部分则通过实例检验RSCS的有效性。

2. 基于稳定相关系数的特征筛选方法

令Y为响应变量，支撑集为 ${\psi }_y$，$x={\left(X_1,X_2,\cdots ,X_p\right)}^{\text{T}}$ 为p维协变量，其中p远远大于样本量n，p随着n的增长呈现指数增长趋势。由于超高维数据一般服从稀疏性假设，即只有少数自变量与响应变量有关，因此为了得到与响应变量有关的那些重要变量，定义如下重要变量集合和不重要变量集合：

$\mathcal{A}=\left\{1\le j\le p:F\left(Y|x\right)依赖于X_j\right\}.$

$\mathcal{I}=\left\{\text{1}\le j\le p:F\left(Y|x\right)不依赖于X_j\right\}.$

其中 $F\left(y|x\right)=P\left(Y\le y|x\right),x={\left(X_1,X_2,\cdots ,X_p\right)}^{\text{T}}$，因此， $X_{\mathcal{A}}=\left\{X_j:j\in \mathcal{A}\right\}$ 可以表示重要变量， $X_{\mathcal{I}}=\left\{X_j:j\in \mathcal{I}\right\}$ 可以表示不重要变量，而筛选的目的就是识别所有重要变量。

根据Guo和Li等 [8] 提出的稳定相关系数，对于两个维度分别为 $d_X$ 和 $d_Y$ 的随机向量X和Y，两者之间的稳定相关系数的定义为：

$SC\left(X,Y\right)=\frac{S\mathrm{cov}\left(X,Y\right)}{\sqrt{S\mathrm{cov}\left(X,X\right)S\mathrm{cov}\left(Y,Y\right)}}.$

其中 $S\mathrm{cov}\left(X,Y\right)$ 表示X和Y稳定协方差 $S{\mathrm{cov}}^2\left(X,Y\right)$ 的正平方根， $S{\mathrm{cov}}^2\left(X,Y\right)=:E_1+E_2-2E_3$，$E_1=E\left[{\text{e}}^{-{\Vert X-\tilde{X}\Vert }^a-{\Vert Y-\tilde{Y}\Vert }^a}\right]$，$E_2=E\left[{\text{e}}^{-{\Vert X-\tilde{X}\Vert }^a}\right]E\left[{\text{e}}^{-{\Vert Y-\tilde{Y}\Vert }^a}\right]$，$E_3=E\left[{\text{e}}^{-{\Vert X-\tilde{X}\Vert }^a-{\Vert Y-\tilde{Y}\Vert }^a}\right]$，$\left(\tilde{X},\tilde{Y}\right)$ 是与 $\left(X,Y\right)$ 独立同分布的向量， ${\Vert ·\Vert }^a$ 为欧氏距离的a次幂。

Guo和Li等 [8] 证明稳定相关系数SC不仅可以在没有任何矩条件时度量变量间线性和非线性关系而

且 $SC\left(X,Y\right)=0$ 与X和Y独立等价，并通过SC直接构建了筛选指标 ${\omega }_j=S{C}^2\left(X_j,Y\right)$，得到了筛选方法SC-SIS，但是该方法在数据中存在异常点或者数据中协变量服从重尾分布时会失效，筛选得到的指标集远远不能达到降维的效果，为了改善这一缺点，提高筛选方法的稳健性和适用性，在SC-SIS筛选指标中用 $F_j\left(x\right)=P\left(X_j\le x\right)$ 代替 $X_j$，因为分布代表数据的整体趋势，具有较强的稳定性。故得到以下筛选指标

${\omega }_j^{\ast }=rs{c}^2\left(F_j\left(X_j\right),Y\right)=\frac{{\text{scov}}^2\left(F_j\left(X_j\right),Y\right)}{\text{scov}\left(F_j\left(X_j\right),Y\right)\text{scov}\left(Y,Y\right)}.$

为得到其估计，可以用经验分布函数 $F_{j,n}\left(x\right)=n^{-1}{\displaystyle {\sum }_{i=1}^{n}I\left(X_{j,i}\le x\right)}$ 来估计 $X_j$ 的分布 $F_j\left(x\right)$，由此可得 $\widehat{\mathrm{scov}}\left(F_j\left(X_j\right),Y\right)={\hat{E}}_{j,1}+{\hat{E}}_{j,2}-2{\hat{E}}_{j,3}$，其中

${\hat{E}}_{j,1}=n^{-1}{\left(n-1\right)}^{-1}{\displaystyle {\sum }_{i=1}^n{\displaystyle {\sum }_{l\ne i}^n{\text{e}}^{-{\left|F_{j,n}\left(X_{j,i}\right)-F_{j,n}\left(X_{j,l}\right)\right|}^a-{\left|Y_i-Y_l\right|}^a}}},$

${\hat{E}}_{j,2}=n^{-1}{\left(n-1\right)}^{-1}{\displaystyle {\sum }_{i=1}^n{\displaystyle {\sum }_{l\ne i}^n{\text{e}}^{-{\left|F_{j,n}\left(X_{j,i}\right)-F_{j,n}\left(X_{j,l}\right)\right|}^a}}}{n}^{-1}{\left(n-1\right)}^{-1}{\displaystyle {\sum }_{i=1}^n{\displaystyle {\sum }_{l\ne i}^n{\text{e}}^{-{\left|Y_i-Y_l\right|}^a}}},$

${\hat{E}}_{j,3}=n^{-1}{\left(n-1\right)}^{-1}{\left(n-2\right)}^{-1}{\displaystyle {\sum }_{i=1}^n{\displaystyle {\sum }_{l\ne i}^n{\displaystyle {\sum }_{k\ne i,l}^n{\text{e}}^{-{\left|F_{j,n}\left(X_{j,i}\right)-F_{j,n}\left(X_{j,l}\right)\right|}^a-{\left|Y_i-Y_k\right|}^a}}}}.$

因此 ${\omega }_j^{\ast }$ 的估计为

${\stackrel{⌢}{\omega }}_j^{\ast }={\widehat{r\mathrm{sc}}}^2\left(F_j\left(X_j\right),Y\right)=\frac{{\widehat{\mathrm{scov}}}^2\left(F_j\left(X_j\right),Y\right)}{\widehat{\mathrm{scov}}\left(F_j\left(X_j\right),Y\right)\widehat{\mathrm{scov}}\left(Y,Y\right)}.$

稳健筛选指标RSC可以通过集合 $\hat{A}=\left\{1\le j\le p:{\hat{\omega }}_j^{\ast }\ge {\gamma }_n\right\}$ 来识别真正重要的协变量，其中 ${\gamma }_n$ 是需要提前给定的阈值。事实上，我们可以找到一个预先给定的 $d_n$ 来筛选相同的集合 $\hat{A}=\left\{1\le j\le p:{\hat{\omega }}^{\ast }{}_j从大到小排序的前d_n个\right\}$，其中 $d_n$ 参考值为 $d_n=k\left[n\log \left(n\right)\right]$，k为正数， $d_n$ 参考值由Fan和Lv [1] 提出并被广泛使用。

接下来我们探讨所提出特征筛选方法的理论性质。为方便后续的证明，给出以下条件：

(C1)对 $c>0$ 且 $0\le \kappa <1/2$，RSC中最小的真实变量集合满足 ${\min }_{j\in A}{\omega }_j^{\ast }\ge 2c{n}^{-\kappa }$。

条件C1要求所有重要变量的指标最小值有下界，对重要变量 $X_j$，其 ${\omega }_j$ 不能太接近0。

定理1 设阈值 ${\gamma }_n=c{n}^{-\kappa }$，其中 $c>0$ 且 $0\le \kappa <1/2$，则存在一个正常数C满足：

$\mathrm{Pr}\left({\max }_{1\le j\le p}\left|{\hat{\omega }}_j^{\ast }-{\omega }_j^{\ast }\right|\ge {\gamma }_n\right)\le \text{O}\left(p\exp \left\{-C{n}^{1-2\kappa }\right\}\right).$

在条件C1下，可以得到

$\mathrm{Pr}\left(A\subset \hat{A}\right)\ge 1-\text{O}\left(q\exp \left(-C{n}^{1-2\kappa }\right)\right).$

其中 $q=\left|A\right|$ 表示A的势。

定理1保证了RSCS具有确定筛选性质，可以允许数据的维数p随着样本量n以指数的方式增长，并且能够在很大的概率下选出真正重要的变量。具体来说，当n趋于无穷时， $\log \left(p\right)=o\left(n^{1-2\kappa }\right)$，$\mathrm{Pr}\left(A\subset \hat{A}\right)\to 1$，定理的细节可参照Guo和Li等 [8] 中的定理3.1。

3. 模拟研究

在这一部分，我们将通过蒙特卡洛模拟来研究RSCS的有限样本性质并与一些现有的方法做比较，如SIS [1]、SIRS [5]、DC-SIS [6]、SC-SIS [8]。

为检验RSCS方法的稳健性，假设X服从混合分布 $\left(1-\alpha \right)X_n+\alpha X_t$，$\alpha$ 分别取0、0.1和0.2，其中 $X_t$ 为每个分量独立服从 $t\left(1\right)$ 分布的p维随机向量， $X_n$ 服从为均值为0，协方差矩阵为 $\Sigma$ 的多元正态分布 $N\left(0,\Sigma \right)$，$\Sigma ={\left({\sigma }_{ij}\right)}_{p\times p}$ 且 ${\sigma }_{ij}={0.75}^{\left|i-j\right|}$，$i,j=1,\cdots ,p$。同时考虑误差 $\epsilon$ 服从标准正态 $N\left(0,1\right)$ 和 $t\left(1\right)$ 分布两种情况。令MMS表示包含所有重要变量的最小模型尺寸，MMS 值较小的筛选方法表明它在识别协变量与响应变量之间相关性上更有优势，我们将通过500次模拟实验中MMS的25%，50%，75%和95%分位数来比较不同方法的性能。

需要指出的是，稳定相关系数SC中的参数a并未指定，至于如何选取合适的a值，Guo和Li等 [8] 指出，在理论研究中，a的取值区间为 $\left(0,2\right]$，但包含所有重要变量的最小模型尺寸MMS会随着a的增加先减少再增大，所以，a的合理取值在(0.3, 0.7)中，并在后续研究中，选取了 $a=0.5$，在本文中我们沿用了此设定。

例1：我们考虑非线性模型：

$Y=5X_1{X}_2+5I\left(X_3>0\right)+5\sin \left(2\pi X_4\right)+5X_5+\epsilon .$

其中 $I(·)$ 表示示性函数， $\sin (·)$ 为正弦函数并选取协变量维数和样本量分别为 $n=200,p=2000$。MMS结果如下表1所示。

表1. 例1中 $\alpha$ 不同取值时MMS结果

由表1可以看出，对于 $\epsilon ~N\left(0,1\right)$ 和 $\alpha =0$，SIRS和SIS表现不佳。这表明这两个方法无法检测协变量与响应之间的非线性关系。相比之下，RSCS、SC-SIS和DC-SIS可以有效检测非线性关系。当 $\alpha =0.1$ 或 $\alpha =0.2$ 时，DC-SIS和SC-SIS 的性能并不令人满意。这意味着这两种方法对异常值或重尾分布不稳健。而我们的方法RSCS在这种非线性情况下的所有设置中都具有最佳性能，这表明我们的方法不仅能够检测任何可能的相关关系，而且对异常值及重尾分布也不敏感。

4. 实例分析

我们通过心肌病转基因小鼠的微阵列数据进行实例分析 [9]。该数据对30个小鼠进行了实验，目的是挑选出最影响小鼠中G蛋白偶联受体基因Ro1表达的基因，其中受体基因Ro1的表达水平会受到其他6319个基因的影响。因此，我们把Ro1的基因表达水平看作响应变量Y，其他6319个基因看作协变量x，维数为6319，数据集的样本量 $n=30$ 远远小于协变量的维数 $p=6319$。

通过检查该数据中大部分协变量要么是重尾分布要么包含异常点，图1展示了前100个协变量标准化后的箱线图。这可能表明我们的方法RSCS比其他方法更加适用。

图1. 前100个协变量标准化后的箱线图

在应用筛选方法之后，可以得到各个基因的从大到小的排序，RSCS表明Msa.2134.0和Msa.1024.0是最重要的前两个基因，与SC-SIS方法一致，说明RSCS在实际中是堪用的。

5. 总结

在本文中，我们提出了一种改进的基于稳定相关系数的筛选方法(RSCS)，通过将变量转变成分布函数，结合稳定相关系数可以度量两个随机向量的相关性实现了这一想法，并建立了相应的确定性筛选性质，在我们的模拟研究中显示，这种方法(RSCS)对于协变量包含异常值或服从重尾分布的超高维数据非常有效。

文章引用

闫 习. 基于稳定相关系的超高维筛选研究
Feature Screening for Ultra-High Dimensional Data Based on Stable Correlation Coefficient[J]. 应用数学进展, 2021, 10(11): 3777-3782. https://doi.org/10.12677/AAM.2021.1011400

参考文献