贵州民族大学数据科学与信息工程学院，贵州 贵阳

收稿日期：2021年3月14日；录用日期：2021年4月3日；发布日期：2021年4月16日

摘要

利用Pena距离对KL估计的影响分析进行讨论，得到了KL估计的Pena统计量的表达式，并对其性质进行讨论分析，从而得到高杠异常点的判别方法。本文对Pena统计量与Cook统计量的性质进行了比较，得出在一定条件下Pena统计量是优于Cook统计量的结论。通过实例对比分析，得到研究结果表明本文提出的理论和方法是科学合理的。

关键词

KL估计，Pena距离，影响分析

Influence Analysis of KL Estimation Based on Pena Distance

Mengmeng Wang, Weiqi Tian

School of Data Science and Information Engineering, Guizhou Minzu University, Guiyang Guizhou

Received: Mar. 14^th, 2021; accepted: Apr. 3^rd, 2021; published: Apr. 16^th, 2021

ABSTRACT

In this paper, the influence analysis of KL estimation is discussed on the Pean distance. The expression of Pena statistics of KL estimation is obtained. The properties of Pena statistics are discussed and analyzed; meanwhile the discrimination of high-leverage outlier is obtained. In this paper, the properties of Pena statistic and Cook statistic are compared, and it is concluded that Pena statistic is better than Cook statistic under certain conditions. Through the example analysis, the research results show that the theory and method proposed in this paper are scientific and reasonable.

Keywords:KL Estimates, Pena Distance, Influence Analysis

Copyright © 2021 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

在统计学中，统计诊断是数据分析的第一步，主要目的就是对样本数据中异常点或强影响点的识别和诊断，传统的判断异常点或强影响点的常用统计量有Cook距离、似然距离、W-K统计量和AP统计量等。美国统计学家Daniel Pena [1] 于2005年提出的一种新的诊断统计量Pena距离，该统计量是对诊断统计量的重要补充，Pena距离是一种度量线性回归模型影响的新方法，这种方法与传统的诊断方法有较大的区别。之前的方法是研究删除一个点(组)对回归分析的影响及对模型预测值的影响，或是某个样本点(组)的微小扰动对参数估计的影响及对模型预测的影响；而Pena距离这一统计量是研究样本中的某一点受其余各点的影响，也即度量样本中各点删除对某一特定样本点回归值及预测值的影响。孟丽丽等 [2] 基于Pena距离研究了加权最小二乘估计的影响分析，胡江等 [3] [4] [5] [6] 基于Pena距离研究了非线性回归模型、广义线性回归模型和t-回归模型的影响分析；Semra Türkan等 [7] 研究了基于Pena距离的岭估计和改进岭估计的影响分析；Hadi Emami等 [8] 研究了基于Pena距离的岭估计的影响分析；Muhammad Kashif等 [9] [10] 研究了基于Pena距离的Liu估计和改进岭估计的影响分析。

本文将Pena统计量推广到Kibria-Lukman估计的影响分析问题，给出Kibria-Lukman估计影响分析的Pena统计量的表达式，并对其性质进行了讨论，从而得到高杠异常点的判别方法。在一定条件下对Pena统计量与Cook统计量的性能进行了比较分析，并通过实例分析对该方法的有效性进行验证。

2. 理论基础

考虑一般线性回归模型：

$y=X\beta +\epsilon$ (1)

其中 $y={\left(y_1,y_2,\cdots ,y_n\right)}^{\text{T}}$，$\beta ={\left({\beta }_0,{\beta }_1,\cdots ,{\beta }_{p-1}\right)}^{\text{T}}$，$\epsilon ={\left({\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n\right)}^{\text{T}}$，$\epsilon ~N\left(0,{\sigma }^{2}I\right)$，${\sigma }^2>0$，I是n阶单位矩阵，X为 $n\times p$ 阶的已知设计矩阵，其中第i行为 $\left(1,x_{i1},x_{i2},\cdots ,x_{ip-1}\right)$。当模型(1)满足高斯–马尔可夫条件时，此时最小二乘估计(OLS) $\hat{\beta }={\left(X^{\text{T}}X\right)}^{-1}{X}^{\text{T}}y$ 为 $\beta$ 的最佳线性无偏估计。 $\hat{y}=X\hat{\beta }=Hy$，其中 $H=X{\left(X^{\text{T}}X\right)}^{-1}{X}^{\text{T}}$ 为对角元素 $h_{ii}=x_i^{\text{T}}{\left(X^{\text{T}}X\right)}^{-1}{x}_i$ 的帽子矩阵， $s^2=\frac{e^{\text{T}}e}{n-p}$ 是 ${\sigma }^2$ 的无偏估计，其中 $e=y-\hat{y}=y-X\hat{\beta }=\left(I-H\right)y$。

当解释变量存在复共线性时，最小二乘估计往往表现出不稳定性，其优良性就会被破坏，若再基于最小二乘估计方法做影响分析很明显是不合适。为了解决这个问题，B. M. Golam Kibria和Adewale F. Lukman [11] 提出了一种新的Ridge-Type估计，它称为Kibria-Lukman (KL)估计，该估计是在岭估计和刘估计类中提出了一种新的单参数估计，因此它具有岭估计和刘估计的很多特征。其KL估计的表示如下：

${\hat{\beta }}_{KL}={\left(X^{\text{T}}X+\lambda I_p\right)}^{-1}\left(X^{\text{T}}X-\lambda I_p\right)\hat{\beta }=W\left(k\right)M\left(k\right)\hat{\beta }$

其中 $\lambda$ 是非负常数， $W\left(k\right)={\left[I_p+\lambda {\left(X^{\text{T}}X\right)}^{-1}\right]}^{-1}$，$M\left(k\right)=\left[I_p-\lambda {\left(X^{\text{T}}X\right)}^{-1}\right]$。

根据Daniel Pena [1] 提出的Pena距离，得出基于KL估计的Pena距离可表示为：

$S_{KL,i}=\frac{s_{KL,i}^{\text{T}}{s}_{KL,i}}{p{\sigma }_{\left({\hat{y}}_{KL,i}\right)}^2},i=1,2,\cdots ,n$ (2)

其中 $s_{KL,i}={\left({\hat{y}}_{KL,i}-{\hat{y}}_{KL,i\left(-1\right)},{\hat{y}}_{KL,i}-{\hat{y}}_{KL,i\left(-2\right)},\cdots ,{\hat{y}}_{KL,i}-{\hat{y}}_{KL,i\left(-n\right)}\right)}^{\text{T}}$，${\hat{y}}_{KL,i}-{\hat{y}}_{KL,i\left(-j\right)}=\frac{h_{KL,ji}{e}_{KL,i}}{1-h_{KL,jj}}$，${\sigma }_{{\hat{y}}_{KL,i}}^2={\hat{\sigma }}^2{h}_{KL,ii}$，其中 $e_{KL,i}=y_{KL,i}-{\hat{y}}_{KL,i}$，${\hat{y}}_{KL,i}$ 为第i个点 $y_{KL,i}$ 的拟合值， ${\hat{y}}_{KL,i\left(-j\right)}$ 是删除第j个点后第i个点的拟合值， $h_{KL,ii}$ 是 $H_{KL}=X{\left(X^{\text{T}}X+\lambda I_p\right)}^{-1}\left(X^{\text{T}}X-\lambda I_p\right){\left(X^{\text{T}}X\right)}^{-1}{X}^{\text{T}}$ 的对角元素。因此，对于公式(2)又可以重新表示为：

$S_{KL,i}=\frac{1}{p{\hat{\sigma }}^2{h}_{KL,ii}}{\displaystyle \underset{j=1}{\overset{n}{\sum }}\frac{h_{KL,ji}^2{e}_{KL,j}^2}{{\left(1-h_{KL,jj}\right)}^2}}$ (3)

其中， ${\hat{\sigma }}^2$ 的估计为 $s^2=\frac{e_{KL}^{\text{T}}{e}_{KL}}{n-p}$。

定理2.1 当样本中不含异常点时，有 $E\left(S_{KL,i}\right)\to \frac{1}{p}$ $\left(n\to \infty \right)$

证明 因为 $e_{KL,j}=\left(1-h_{KL,jj}\right)y_{KL,j}$，所以 $\mathrm{var}\left(e_{KL,j}\right)=E\left(e_{KL,j}^2\right)=\left(1-h_{KL,jj}\right){\hat{\sigma }}^2$，故

$E\left(S_{KL,i}\right)=\frac{1}{p{\hat{\sigma }}^2{h}_{KL,ii}}{\displaystyle \underset{j=1}{\overset{n}{\sum }}\frac{h_{KL,ji}^{2}E\left(e_{KL,j}^2\right)}{{\left(1-h_{KL,jj}\right)}^2}}=\frac{1}{p{h}_{KL,ii}}{\displaystyle \underset{j=1}{\overset{n}{\sum }}\frac{h_{KL,ji}^2}{1-h_{KL,jj}}}$

记 $h^{*}=\underset{1\le i\le n}{\max }{h}_{KL,ii}$，对于上式有

$E\left(S_{KL,i}\right)\le \frac{1}{p\left(1-h^{*}\right)}=\frac{1}{p}+\frac{h^{*}}{p\left(1-h^{*}\right)}\to \frac{1}{p}\left(h^{*}\to 0\right)$

而当 $h_{KL,jj}\ge \frac{1}{n}$，有

$E\left(S_{KL,i}\right)=\frac{1}{p{h}_{KL,ii}}{\displaystyle \underset{j=1}{\overset{n}{\sum }}\frac{h_{KL,ji}^2}{1-h_{KL,jj}}}\ge \frac{1}{p\left(1-\frac{1}{n}\right)}\to \frac{1}{p}\left(n\to \infty \right)$

定理2.1表明：当 $h^{*}\to 0$，$n\to \infty$ 时，所有样本点的数学期望影响趋于 $\frac{1}{p}$，即 $E\left(S_{KL,i}\right)\to \frac{1}{p}$，所以当样本点的期望和 $\frac{1}{p}$ 相差很大时，可以判断出样本点中的异常点。与Cook距离相比较，Pena距离是优于Cook距离的，因为Cook距离的数学期望为 $\frac{h_{KL,ii}}{p\left(1-h_{KL,ii}\right)}$，其数学期望是依赖于 $h_{KL,ii}$，随 $h_{KL,ii}$ 的变化而变化。

定理2.2 在 $h_{KL,ii}$ 很小的样本中，当 $n\to \infty$，$p\to \infty$，但 $\frac{p}{n}\to 0$，则 $S_{KL,i}$ 的分布近似于正态分布。

证明 利用中心极限定理，假设没有异常值， $h^{*}=\underset{1\le i\le n}{\max }{h}_{KL,ii}\le c\bar{h}$，$c>0$，其中 $\bar{h}={\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{h_{KL,ii}}{n}}$，当 $n\to \infty$，$p\to \infty$，但 $\frac{p}{n}\to 0$，对于公式(3)可以写成 $S_{KL,i}={\displaystyle \underset{j=1}{\overset{n}{\sum }}{m}_{ij}{\left(\frac{e_{KL,j}}{\hat{\sigma }}\right)}^2}$，其中 $m_{ij}=\frac{h_{KL,ji}^2}{p{h}_{KL,ii}{\left(1-h_{KL,jj}\right)}^2}$，$e_{KL,j}$ 是 $\mathrm{cov}\left(e_{KL,j}\right)={\sigma }^2\left(I-2H_{KL}+H_{KL}{H}_{KL}^{\text{T}}\right)$ 的正态随机变量。因此，当 $n\to \infty$，$h_{KL,ij}\to 0$，$S_{KL,i}$ 是自由度为1的卡方独立变量的加权组合。 $m_{ij}>0$，下证 $\frac{m_{ij}}{{\displaystyle \underset{j=1}{\overset{n}{\sum }}{m}_{ij}}}\to 0$。

因为

$m_{ij}\le \frac{h_{KL,jj}}{p{\left(1-h_{KL,jj}\right)}^2}\approx \frac{h_{KL,jj}\left(1+2h_{KL,jj}\right)}{p}$,

则有

$\frac{m_{ij}}{{\displaystyle \underset{j=1}{\overset{n}{\sum }}{m}_{ij}}}\le \frac{h_{KL,jj}\left(1+2h_{KL,jj}\right)}{p+2{\displaystyle \underset{j=1}{\overset{n}{\sum }}{h}_{KL,jj}^2}}\le \frac{h_{KL,jj}\left(1+2h_{KL,jj}\right)}{p}$

所以，当 $p\to \infty$，$\frac{m_{ij}}{{\displaystyle \underset{j=1}{\overset{n}{\sum }}{m}_{ij}}}\to 0$，故在这些假设下， $S_{KL,i}$ 的分布是近似于正态分布。

定理2.2表明：对于大样本和解释变量比较多时，Pena距离 $S_{KL,i}$ 的分布近似于正态分布，而Cook距离的分布 [12] 是偏态分布，由此可知，Pena距离的这一性质是优于Cook距离。

$S_{KL,i}$ 的这一性质，对于大样本和解释变量比较多时， $S_{KL,i}$ 的分布将近似于正态分布，其截断点可以通过这一性质来寻找。因此，当样本观测点的值远远大于 $\frac{S_{KL,i}-E\left(S_{KL,i}\right)}{SD\left(S_{KL,i}\right)}$，则该样本观测点就可以视为异常点或影响点，但是当样本中存在异常点或影响点时， $S_{KL,i}$ 的均值和标准差很容易受影响。于是Daniel Pena [1] 提出使用Pena距离的中位数和中位数绝对偏差来代替均值和标准差。所以，如果 $S_{KL,i}$ 满足

$\left|S_{KL,i}\right|\ge Median\left(S_{KL,i}\right)+4.5MAD\left(S_{KL,i}\right)$ (4)

则称该样本点是异常点或影响点。

其中 $MAD\left(S_{KL,i}\right)=\frac{Median\left\{\left|S_{KL,i}-Median\left(S_{KL,i}\right)\right|\right\}}{0.645}$ 是正态数据标准差的稳健估计量， $Median\left(S_{KL,i}\right)$ 是 $S_{KL,i}$ 的中位数。

下面考虑Pena统计量 $S_{KL,i}$ 在含有一组相同的高杠异常点的样本点中具有的性质。

设有n个样本点 $\left(y_1,x_1^{\text{T}}\right),\left(y_1,x_2^{\text{T}}\right),\cdots ,\left(y_1,x_n^{\text{T}}\right)$，记 $X_0^{\text{T}}=\left(x_1,x_2,\cdots ,x_n\right)$，$y_0^{\text{T}}=\left(y_1,y_2,\cdots ,y_n\right)$，${\hat{\beta }}_{KL\left(0\right)}={\left(X_0^{\text{T}}{X}_0+kI\right)}^{-1}\left(X_0^{\text{T}}{y}_0-k{\left(X_0^{\text{T}}{X}_0\right)}^{-1}{X}_0^{\text{T}}{y}_0\right)$，$u_i=y_i-x_i^{\text{T}}{\hat{\beta }}_{KL0}$。假设在样本点中含有k个相同的高杠异常点 $\left(y_a,x_a^{\text{T}}\right)$，令 $u_a=y_a-x_a^{\text{T}}{\hat{\beta }}_{KL\left(0\right)}$，$X_T^{\text{T}}=\left(X_0^{\text{T}},x_a{1}_k^{\text{T}}\right)$，$y_T^{\text{T}}=\left(y_0,y_a{1}_k^{\text{T}}\right)$，其中 $1_k^{\text{T}}=\stackrel{k个}{\stackrel{︷}{\left(1,1,\cdots ,1\right)}}$，$e_{KL,i}=y_i-x_i^{\text{T}}{\hat{\beta }}_{KL\left(T\right)}$，${\hat{\beta }}_{KL\left(T\right)}={\left(X_T^{\text{T}}{X}_T+\lambda I\right)}^{-1}\left(X_T^{\text{T}}{y}_T-\lambda {\left(X_T^{\text{T}}{X}_T\right)}^{-1}{X}_T^{\text{T}}{y}_T\right)$，$H_{KL\left(T\right)}=X_T{\left(X_T^{\text{T}}{X}_T+\lambda I\right)}^{-1}\left(X_T^{\text{T}}{X}_T-\lambda I\right){\left(X_T^{\text{T}}{X}_T\right)}^{-1}{X}_T^{\text{T}}$ 是对 $n+k$ 个样本点的投影矩阵，其中 $H_{KL\left(T\right)}$ 的元素记为 $h_{KL\left(ij\right)}$，记 $H_{KL\left(0\right)}=X_0{\left(X_0^{\text{T}}{X}_0+\lambda I\right)}^{-1}\left(X_0^{\text{T}}{X}_0-\lambda I\right){\left(X_0^{\text{T}}{X}_0\right)}^{-1}{X}_0^{\text{T}}$ 是对n个正常点的投影矩阵，其中的元素记为 $h_{KL\left(ij\right)}^0$。

设投影矩阵 $H_{KL\left(T\right)}$ 的分块形式为： $H_{KL\left(T\right)}=\left[\begin{array}{cc}{H}_{KL\left(T\right)11}& H_{KL\left(T\right)12}\\ H_{KL\left(T\right)21}& H_{KL\left(T\right)22}\end{array}\right]$，则有 $H_{KL\left(T\right)11}$，$H_{KL\left(T\right)12}$，$H_{KL\left(T\right)22}$ 分别是 $n\times n$，$n\times k$，$k\times k$ 矩阵， $H_{KL\left(T\right)21}$ 是 $H_{KL\left(T\right)12}$ 的转置矩阵，并且有

$H_{KL\left(T\right)11}=H_{KL\left(0\right)}-\frac{k}{k{h}_{KL\left(a\right)}^0+1}{h}_{KL\left(1a\right)}^0{\left(h_{KL\left(1a\right)}^0\right)}^{\text{T}}$, (5)

其中 $h_{KL\left(a\right)}^0=x_a^{\text{T}}{\left(X_0^{\text{T}}{X}_0+\lambda I\right)}^{-1}\left(X_0^{\text{T}}{X}_0-\lambda I\right){\left(X_0^{\text{T}}{X}_0\right)}^{-1}{x}_a$，

$h_{KL\left(1a\right)}^0=X_0{\left(X_0^{\text{T}}{X}_0+\lambda I\right)}^{-1}\left(X_0^{\text{T}}{X}_0-\lambda I\right){\left(X_0^{\text{T}}{X}_0\right)}^{-1}{x}_a$.

同理可求得

$H_{KL12}=H_{KL21}=\frac{1}{k{h}_{KL\left(a\right)}^0+1}{h}_{KL\left(1a\right)}^0{1}_k^{\text{T}}$, (6)

$H_{KL22}=\frac{1}{k{h}_{KL\left(a\right)}^0+1}{h}_{KL\left(a\right)}^0{1}_k{1}_k^{\text{T}}$ (7)

又因为 $e_{KL,i}=y_i-x_i^{\text{T}}{\hat{\beta }}_{KL\left(T\right)}$，$u_{KL,i}=y_i-x_i^{\text{T}}{\hat{\beta }}_{KL(\; 0\; )}$

所以

$e_{KL,i}=u_{KL,i}-k{h}_{KL\left(ia\right)}{u}_{ia}$,$i=1,2,\cdots ,n$, (8)

对于异常点的 $e_{KL,a}$ 有

$e_{KL,a}=\frac{1}{k{h}_{KL\left(a\right)}^0+1}{u}_a$,$i=1,2,\cdots ,n$ (9)

对于正常点，利用公式(8)，有Cook距离为：

$D_{KL,i}=\frac{{\left(u_i-k{h}_{KL\left(ia\right)}{u}_a\right)}^2{h}_{KL,ii}}{p{\hat{\sigma }}^2{\left(1-h_{KL,ii}\right)}^2}$ (10)

对于异常点，利用公式(8)，有Cook距离为：

$D_{KL\left(ia\right)}=\frac{u_a^2{h}_{KL\left(a\right)}}{p{\hat{\sigma }}^2{\left(1+\left(k-1\right)h_{KL\left(a\right)}\right)}^2\left(1+k{h}_{KL\left(a\right)}\right)}$ (11)

假设样本中有高杠异常点，即由 $h_{KL\left(a\right)}^0\to \infty$，则有 $H_{KL12}=H_{KL21}\to 0$，由此可得 $h_{KL\left(ja\right)}\to 0,\left(j=1,2,n\right)$，$H_{KL22}\to \frac{1_k{1}_k^{\text{T}}}{k}$，即 $H_{KL22}$ 中的元素 $h_{KL\left(a\right)}\to \frac{1}{k}$。

又因为

${\alpha }_{ja}^2=\frac{h_{KL,\left(ja\right)}^2}{h_{KL,jj}{h}_{KL\left(a\right)}}\to \{\begin{array}{l}0,j=1,2,\cdots ,n\\ \frac{k}{n},j=n+1,n+2,\cdots ,n+k\end{array}$

所以对于正常点，有

$S_{KL,i}={\displaystyle \underset{j=1}{\overset{n}{\sum }}{\alpha }_{ji}^2{D}_{KL,j}}$,$i=1,2,\cdots ,n$ (12)

而对于异常点，有

$S_{KL,i}=\frac{k^2}{n}{D}_{KL\left(a\right)}$,$i=n+1,n+2,\cdots ,n+k$ (13)

综上所述可以得到：对于正常点的样本点，当 $h_{KL\left(a\right)}^0\to \infty$，$h_{KL\left(ja\right)}\to 0$ 时，利用公式(9)，有

$e_{KL,i}\to u_i$,$E\left(S_{KL,i}\right)\to \frac{1}{p}$

对于异常点，当 $h_{KL\left(a\right)}^0\to \infty$，$e_{KL,a}\to 0$，$D_{KL\left(ia\right)}\to 0$，$S_{KL,i}\to 0$。即有

定理2.3 当样本中含有高杠杆异常点时，Pena统计量 $S_{KL,i}$ 的数学期望，有

$E\left(S_{KL,i}\right)\to \{\begin{array}{l}0,高杠杆异常点\\ \frac{1}{p},正常点\end{array}$

定理2.3表明：当数据中包含有一群相同的高杠异常点时，可以根据 $S_{KL,i}$ 的值很容易把它们识别出来，而这一点Cook距离是不能做到的。

3. 实证分析

案例数据来自文献Longley数据集 [13]，是强共线性的宏观经济数据，其中包含GNP deflator (GNP平减指数)、GNP (国民生产总值)、Unemployed (失业率)、Armed Forces (武装力量)、Population (14岁以上的非机构人口)、year (年份)，Employed (就业率)。回归模型(1)给出如下：

$y=X\beta +\epsilon$

其中 $X=\left(x_1,x_2,x_3,x_4,x_5,x_6\right)$，y是就业率， $x_1$ 是GNP平减指数， $x_2$ 是国民生产总值， $x_3$ 是失业率， $x_4$ 是武装力量， $x_5$ 是14岁以上的非机构人口， $x_6$ 是年份。该数据集的条件数为43,275 [14]，则说明该数据集回归变量之间存在严重的多重共线性。

Cook [15] 使用该数据集基于数据删除法得到最小二乘估计的Cook距离，识别出样本点5，16，4，10和15为影响点，Walker和Birch [16] 基于岭估计的数据删除法使用Cook距离、W-K统计量、杠杆值和残差，识别出最有影响的五个点，即点16、10、4、15和5，Jahufer和Jianbao [17] 基于改进岭估计得到Cook距离和W-K统计量，确定点10、4、15、16和1为影响点，Semra Türkan等 [7] 基于岭估计和改进岭估计得到Pena统计量，当 $k=0$ 时，识别出影响点为5、16、6、15和10，当 $k=0.0002$ 时，岭估计识别出的影响点为16、15、10、4和1，改进岭估计识别出的影响点为16、15、5、4和10；Kashif等 [9] 基于Liu估计得到Pena统计量，当 $d=0.1$ 时，识别出的影响点为3、10、11、4和5， $d=0.5$ 时，识别出的影响点为10、3、4、15和16， $d=0.9$ 时，识别出的影响点为10、4、15、5和16， $d=1$ 时，识别出的影响点为15、10、5、4和16。在本文中，我们使用相同的数据集基于KL估计得到的Pena统计量来识别影响点，当 $\lambda =0$ (OLS)和 $\lambda =0.0002$，通过公式(3)计算得到 $S_{LK,i}$，结果见表1。

由表1显示结果可以看出，基于KL估计所提出的Pena统计量，当 $\lambda =0$ 时，KL估计退化为最小二乘估计，其识别出最有影响的五个样本点分别为：5、16、6、15和10，与Semra Türkan等 [7] 人识别出的影响点是一样的；当 $\lambda =0.0002$ 时，其Pena统计量识别出的最有影响的五个样本点分别为16、5、15、6和4，与其它作者相比，至少有三个影响点是一样的，验证了本文基于KL估计所提出来的Pena统计量是合理可行的。

表1. Longley数据集中：最可能的5个影响点

4. 结论

在本文中，综合考虑了复共线性和影响诊断问题，Belsley等 [14] 建议在检测异常点或影响点时，应处理复共线性问题。因此本文在基于KL估计下一般线性回归模型中，使用Pena距离来讨论KL估计的影响诊断，得到了基于KL估计下的Pena距离的表达式，并对其性质进行证明，得到Pena距离的分布在一定条件下近似于正态分布，并通过该统计量能识别出数据中高杠异常点，从而得到高杠异常点的判别方法。在文中将Pena距离与Cook距离的性质进行了比较，得出在一定条件下Pena统计量是优于Cook统计量的。最后，通过实例研究的结果验证，说明本文所提出的理论与方法是合理可行的。

文章引用

王孟孟,田维琦. 基于Pena距离的KL估计的影响分析
Influence Analysis of KL Estimation Based on Pena Distance[J]. 应用数学进展, 2021, 10(04): 923-930. https://doi.org/10.12677/AAM.2021.104100

参考文献