海军潜艇学院，山东 青岛

收稿日期：2022年7月17日；录用日期：2022年8月11日；发布日期：2022年8月22日

摘要

针对非线性模型误差分布的拟合优度检验问题，不同于文献中利用最小二乘残差(OLS)作为构造检验的样本的作法，这里采用了Theil的BLUS残差作为新的构造检验的样本，解决了经典的残差的奇异非同分布问题。同时利用样本分位点与来自于原假设分布的拟样本分位点间的随机距离来构造新的检验统计量，得到了一类新的拟合优度检验，并将之应用到非线性模型误差分布的检验中。模拟结果显示，在某些备择假设下，新的检验的功效高于原有的基于经验分布函数的检验的功效。

关键词

非线性模型，拟合优度检验，BLUS残差

Test of Goodness of Fit for Error Distribution of Nonlinear Model Based on BLUS Residuals

Jianxin Zhao

Navy Submarine Academy, Qingdao Shandong

Received: Jul. 17^th, 2022; accepted: Aug. 11^th, 2022; published: Aug. 22^nd, 2022

ABSTRACT

Aiming at the problem of goodness of fit test for error distribution of nonlinear model, it is different from the method of using the least square residuals (OLS) as the sample of constructing test in the literature, in this paper, the BLUS (best linear unbiased scale) residuals of Theil are used as the samples of the new structural test, and the problem of the singular non-identical distribution of the classical residuals is solved. At the same time, a new kind of goodness of fit test is obtained by using the random distance between the sample quantiles and the quasi-sample quantiles from the original hypothesis distribution, it is applied to the test of error distribution of nonlinear model. The simulation results show that under some alternatives, the efficiency of the new test is higher than that of the original test based on the empirical distribution function.

Keywords:Nonlinear Model, Goodness of Fit Test, BLUS Residuals

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

非参数回归模型被广泛地应用到诸如生物学、化学和经济学等学科领域中。其一般形式往往写成

$Y=m\left(x\right)+\epsilon$， (1)

其中m是回归函数，误差 $\epsilon$ 满足 $\text{E}\left(\epsilon \right)=0$，$\text{E}\left({\epsilon }^{\text{2}}\right)>0$，x是解释变量，总假设对应不同观测值的误差是独立同分布的。

对于误差的分布，若有附加的信息能改善统计分析的有效性。例如，在正态误差的假定下，精确或最优的检验在很多情形下可以得到。一个典型的例子是误差分布在正态分布的假设下，考虑回归函数m的拟合优度检验问题(见文献 [1] [2] [3])。因此，误差分布的正态性检验，即检验(2)是重要的。近期的有Jurečková, Picek & Sen (2003) [4]，Sen, Jurečková & Picek (2003) [5]，这两篇文章是基于Shapiro & Wilk (1965) [6] 检验统计量的思想用残差构造检验。Jurečková, Picek (2007) [7] 进一步利用Shapiro & Wilk (1965) [6] 检验统计量的思想，通过标准化的残差构造了检验统计量。而Natalie & Holger (2006) [8] 利用最小二乘残差的经验过程，以Kolmogorov-Smirnov (KS)检验统计量为基础，结合Bootstrap方法研究了误差分布的拟合优度检验。Marie & Simos G (2007) [9] 用最小二乘残差构造经验特征函数，以L²-型距离研究了误差分布的拟合优度检验。Christensen & Sun (2010) [10]，Christensen & Lin (2015) [11] 和Hattab & Christensen (2018) [12] 利用残差的部分和构造检验统计量。

本文要研究的问题是

$H:\epsilon ~N\left(0,{\sigma }^2\right)$. (2)

关于检验(2)涉及到两个重要的量，一是样本；二是检验统计量。上述文献中，都是利用模型的最小二乘残差(OLS)来构造检验，这是一类重要的方法。但是存在着如下问题，即在正态原假设下，易知OLS残差向量有奇异的正态分布，并且向量的分量之间不再是独立同分布的。显然，用OLS残差来构造检验，特别是利用残差作为新的样本，用已有的如Shapiro-Wilk检验来构造检验时略显得不自然，因为像Shapiro-Wilk等检验原来构造的基础是来自于同一个分布的独立样本。其次，利用的检验统计量大多是基于EDF的检验统计量，具体见下节。

为解决第一个问题，Theil [13] 提出了一种最优线性无偏尺度残差(BLUS)，证明了在正态原假设下，BLUS残差向量不同于OLS残差，有非奇异的正态分布，并且向量的分量之间是独立同分布的。

关于检验统计量，Zhao (2009) [14] 利用样本分位点和来自于原假设分布的随机样本分位点的距离构造了一种新的检验，在简单假设和复合假设下，模拟结果显示，构造的检验统计量有较好的检验功效。

鉴于上面的分析，下面以Zhao (2009, 2014) [14] [15] 的检验统计量为基础，以BLUS残差作为新样本，构造非线性模型误差分布的拟合优度检验统计量。

2. BLUS残差

对于线性模型(3)，

$Y=X\beta +\epsilon ,\text{E}\epsilon =0,\text{E}\epsilon {\epsilon }^{\text{T}}={\sigma }^{2}I$， (3)

回归系数的最小二乘估计为 $\hat{\beta }={\left(X^{\text{T}}X\right)}^{-1}{X}^{\text{T}}y$，用e表示与误差向量ε有关的OLS残差，则有

$e=y-X\hat{\beta }=\left(I-X{\left(X^{\text{T}}X\right)}^{-1}{X}^{\text{T}}\right)y=My=M\epsilon$. (4)

由此可得， $\text{E}e=0$，$\text{E}e{e}^{\text{T}}={\sigma }^{2}M$。

按照Theil (1968) [13]，BLUS残差是由下面步骤得到的：

首先，选择矩阵M的主对角元素中最小的k个元素，按照这k个元素所在行的位置重新排列观测值y，不妨将它们放在开始的前k个位置(Ramsey (1969) [16])。这样便将原模型分块得到

$\left(\begin{array}{c}{y}_0\\ y_1\end{array}\right)=\left(\begin{array}{c}{X}_0\\ X_1\end{array}\right)\beta +\left(\begin{array}{c}{\epsilon }_0\\ {\epsilon }_1\end{array}\right)$， (5)

$M=\left[\begin{array}{cc}I-X_0{\left(X^{\text{T}}X\right)}^{-1}{X}_0^{\text{T}}& -X_0{\left(X^{\text{T}}X\right)}^{-1}{X}_1^{\text{T}}\\ -X_1{\left(X^{\text{T}}X\right)}^{-1}{X}_0^{\text{T}}& I-X_1{\left(X^{\text{T}}X\right)}^{-1}{X}_1^{\text{T}}\end{array}\right]$， (6)

其中(6)式中左上角的I是k × k单位矩阵，右下角的I是 $\left(n-k\right)\times \left(n-k\right)$ 单位矩阵。

其次，计算矩阵 $X_0{\left(X^{\text{T}}X\right)}^{-1}{X}_0^{\text{T}}$ 的特征根 $d_1^2,\cdots ,d_k^2$ 和相应的特征向量 $q_1,\cdots ,q_k$。

最后，计算BLUS残差 $\hat{\epsilon }=e_1-X_1{X}_0^{-1}\left[{\displaystyle {\sum }_{i=1}^k\frac{d_i}{1+d_i}{q}_i{q}_i^{\text{T}}}\right]e_0$，这里的 $e_0,e_1$ 是对应(5)式中的误差项的分块残差向量。

此时在原假设(2)下，BLUS残差向量 $\hat{\epsilon }~N\left(0,{\sigma }^2{I}_{n-k}\right)$。下一节的检验都是以此为新的样本来构造检验的。记 ${\hat{\epsilon }}_{\left(1\right)},\cdots ,{\hat{\epsilon }}_{\left(m\right)}$ 为BLUS残差的次序统计量， $m=n-k$，F₀(x)是标准正态分布。

3. 检验统计量

选择的检验统计量基于经验分布函数的有KS统计量

${\hat{D}}_m=\sqrt{m}\underset{1\le i\le m}{\max }\left\{\left|\frac{i}{m}-F_0\left(\tilde{\epsilon }\right)\right|,\left|\frac{i-1}{m}-F_0\left(\tilde{\epsilon }\right)\right|\right\}$， (7)

和AD统计量

${\hat{A}}_m^2=-\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}\left[\left(2i-1\right)\log F_0\left(\tilde{\epsilon }\right)+\left(2m+1-2i\right)\log \left(1-F_0\left(\tilde{\epsilon }\right)\right)\right]}-m$， (8)

其中 $\tilde{\epsilon }={\hat{\epsilon }}_{\left(i\right)}/\sqrt{S_m^2}$，考虑到原假设的均值为0，误差方差的参数估计选择 $S_m^2=1/m{\displaystyle {\sum }_{i=1}^m{\hat{\epsilon }}_i^2}$。

基于样本次序统计量或样本分位点的检验统计量有 Shapiro & Wilk检验统计量

$W=\frac{{\left({\displaystyle {\sum }_{i=1}^m{a}_i{\hat{\epsilon }}_{\left(i\right)}}\right)}^2}{m{S}_m^2}$， (9)

其中 $a={\left(a_1,\cdots ,a_m\right)}^{\text{T}}=\frac{V^{-1}\text{E}\tilde{W}}{\sqrt{\text{E}{\tilde{W}}^{\text{T}}{V}^{-1}{V}^{-1}\text{E}\tilde{W}}}$，$V=\left(v_{ij}\right)=Var\left(\tilde{W}-\text{E}\tilde{W}\right)$，$\tilde{W}=\left({\tilde{W}}_{\left(1\right)},\cdots ,{\tilde{W}}_{\left(m\right)}\right)$ 是来自 $F_0(\cdot )$ 的样本次序统计量。

基于de Wet and Venter [17] 思想构造的统计量

${\hat{T}}_2={\displaystyle \underset{i=1}{\overset{m}{\sum }}{\left(\frac{{\hat{\epsilon }}_{\left(i\right)}}{\hat{\theta }}-F_0^{-1}\left(\frac{i}{m+1}\right)\right)}^2}$， (10)

其中 $F_0^{-1}\left(u\right)=\inf \left\{x:F_0\left(x\right)\ge u\right\}$，$\hat{\theta }=\sqrt{S_m^2}$ 是标准误差方差的估计。

del Barrio, Couesta-Albertos, Matrán, Rodríguez-Rodríguez (1999) [18] 提出的基于L₂-Wasserstein距离构造的统计量

$\widehat{BCMR}=1-\frac{{\left({\displaystyle \underset{i=1}{\overset{m}{\sum }}{\hat{\epsilon }}_{\left(i\right)}{\displaystyle {\int }_{\left(i-1\right)/m}^{i/m}{\Phi }^{-1}\left(t\right)\text{d}t}}\right)}^2}{S_m^2}$， (11)

Zhao (2009) [14] 模拟结果显示，以样本随机距离方法构造的检验，两种不同的参数估计方法得到的检验，其功效相差不大，故而此处仅选择基于最小距离的参数估计方法构造的检验作为研究的新检验。即选择检验统计量为：

${\widehat{ZR}}_2={\displaystyle \underset{i=1}{\overset{m}{\sum }}{Z}_{\left(i\right)}^2}+\frac{{\left({\displaystyle {\sum }_{i=1}^m{\hat{\epsilon }}_{\left(i\right)}{Z}_{\left(i\right)}}\right)}^2}{{\displaystyle {\sum }_{i=1}^m{\hat{\epsilon }}_{\left(i\right)}^2}}$， (12)

其中 $Z_{\left(\text{1}\right)},\cdots ,Z_{(m)}$ 是来自于标准正态分布的容量为m的样本所对应的次序统计量。 ${\widehat{ZR}}_2$ 是尺度不变的。同样的理由，可以取 ${\widehat{ZR}}_2$ 的q分位点和期望作为检验统计量。这里我们仅选取q = 0.05, q = 0.50, q = 0.95作为分位点统计量 ${\widehat{ZR}}_{2,q}$。利用BLUS残差求解各个检验统计量的临界值算法详见Zhao (2014) [15] 中的算法，此处略去。

4. 数值模拟

假设回归函数足够的光滑，则总可以在某个点x₀处将未知的回归函数展开成泰勒级数。选择上节给出的检验统计量构造检验，检验水平为5%。根据假设，回归函数可以在某个点x₀处展开成

$m\left(x\right)={\beta }_0+{\beta }_1\left(x-x_0\right)+\cdots +{\beta }_k{\left(x-x_0\right)}^k+r_k$，

其中r_k是余项。本节的x₀ = 0.2，k取1，4。考虑的非线性模型为

$y_i={\left(x_i-0.5\right)}^2+{\epsilon }_i,i=1,2,\cdots ,n$， (13)

$y_i={\text{e}}^{x_i}+{\epsilon }_i,i=1,2,\cdots ,n$， (14)

$y_i=\sin \left(2\pi x_i\right)+{\epsilon }_i,i=1,2,\cdots ,n$， (15)

X_i与 ${\epsilon }_i$ 相互独立，并来自于均匀分布，对给定的样本容量，这些值为常数。误差变量ε按照下述设定的备择分布抽取。

当k = 1时，取备择分布

第一组：误差服从非正态分布，有自由度为3的卡方分布χ² (3)，形状参数为1.5的Gamma分布函数Gamma(1.5)，双指数分布Laplace(0, 1)，Cauchy(0, 1)。

第二组：异方差，此时考虑的模型是

$y_i={\left(x_i-0.5\right)}^2+{\sigma }_i{\bar{\epsilon }}_i,i=1,2,\cdots ,n$， (16)

$y_i={\text{e}}^{x_i}+{\sigma }_i{\bar{\epsilon }}_i,i=1,2,\cdots ,n$， (17)

$y_i=\sin \left(2\pi x_i\right)+{\sigma }_i{\bar{\epsilon }}_i,i=1,2,\cdots ,n$， (18)

这里的 ${\sigma }_i$ 服从均匀分布U(0, 50)， $i=1,2,\cdots ,n$。同时，误差变量ε分别服从Logistic(0, 1)，Cauchy(0, 1)，N(0, 1)和Laplace(0, 1)。

当k = 4 时，取备择分布

上述第一组和下面的第三组：回归误差具有非零均值的离群点，有

${\epsilon }_i~N\left(8,1\right),i=1,2,3,{\epsilon }_i~N\left(0,1\right),i=4,\cdots ,n$，

${\epsilon }_i~N\left(8,1\right),i=1,\cdots ,5,{\epsilon }_i~N\left(0,1\right),i=6,\cdots ,n$

和高杠杆离群点，即

${\epsilon }_i~N\left(8,1\right),i=1,2,3,x_{11}=x_{12}=x_{13}=x_{14}=2,{\epsilon }_i~N\left(0,1\right),i=4,\cdots ,n$，

${\epsilon }_i~N\left(8,1\right),i=1,\cdots ,5,x_{11}=x_{12}=x_{13}=x_{14}=2,{\epsilon }_i~N\left(0,1\right),i=6,\cdots ,n$.

在这一小节中，样本容量取n = 20, 50，经验的检验功效是10,000次模拟得到的。模拟结果分别放在表1~4中。

当k = 1时，如表1，表2所示：

表1. 水平为5%，样本容量为20，三个模型，回归函数一阶多项式近似，误差分布为正态分布假设下的检验功效

^a误差ε，F₁(x)：ε服从Cauchy分布；F₂(x)：ε服从Laplace分布；F₃(x)：ε服从Logistic分布，F₄(x)：ε服从标准正态分布；σ~U(0, 50)。

^bG(1.5)：形状参数为1.5的Gamma分布。

表2. 水平为5%，样本容量为50，三个模型，回归函数一阶多项式近似，误差分布为正态分布假设下的检验功效

^a误差 $\epsilon \text{=}\sigma \bar{\epsilon }$，F₁(x)： $\bar{\epsilon }$ 服从Cauchy分布；F₂(x)： $\bar{\epsilon }$ 服从Laplace分布；F₃(x)： $\bar{\epsilon }$ 服从Logistic分布；F₄(x)： $\bar{\epsilon }$ 服从标准正态分布；σ~U(0, 50)。

^bG(1.5)：形状参数为1.5的Gamma分布。

1) 对于这三个非线性模型，当备择分布是非正态分布函数时， ${\widehat{ZR}}_{2,q=0.05}$ 的检验功效显著地比其它的检验高； ${\widehat{ZR}}_{2,\mu }$ 与T₂在容量为20时，两者的检验功效相差不大，但在容量为50时，对非对称备择分布，BCMR，T₂，W和 ${\widehat{ZR}}_{2,\mu }$ 相差不大，对于对称备择分布，T₂最好，次之为 ${\widehat{ZR}}_{2,\mu }$。总之在新检验的对手中，T₂最好，次之为BCMR，Shapiro-Wilk检验好于另外两个经典统计量。

2) 对于备择分布为N(0, 1)，此时的检验功效即为第一类错误的概率，从表1，表2中可知，在不同的非线性模型中，所有的检验在不同的样本容量下，基本充分的利用了5%的检验水平。

3) 对第二组的备择分布，即异方差的情形， ${\widehat{ZR}}_{2,q=0.05}$ 的检验功效显著地比其它的检验高，其它的结果类似于(1)中的结果。

当k = 4时，从表3，表4中不难发现模拟结果有所变化，具体是：

表3. 水平为5%，样本容量为20，三个模型，回归函数四阶多项式近似，误差分布为正态分布假设下的检验功效

^aG(1.5)：形状参数为1.5的Gamma分布。

^bF₁(x)：ε_i~N(8, 1), i = 1, 2, 3且x₁₁ = x₁₂ = x₁₃ = x₁₄ = 2；F₂(x)：ε_i~N(8, 1), i = 1, …, 5且x₁₁ = x₁₂ = x₁₃ = x₁₄ = 2；F₃(x)：ε_i~N(8, 1), i = 1, 2, 3且ε_j~N(0, 1), i = 4, …, n；F₄(x)：ε_i~N(8, 1), i = 1, …, 5且ε_j~N(0, 1), i = 6, …, n。

表4. 水平为5%，样本容量为50，三个模型，回归函数四阶多项式近似，误差分布为正态分布假设下的检验功效

^aG(1.5)：形状参数为1.5的Gamma分布。

^bF₁(x)：ε_i~N(8, 1), i = 1, 2, 3且x₁₁ = x₁₂ = x₁₃ = x₁₄ =2；F₂(x)：ε_i~N(8, 1), i = 1, …, 5且x₁₁ = x₁₂ = x₁₃ = x₁₄ =2；F₃(x)：ε_i~N(8, 1), i = 1, 2, 3且ε_j~N(0, 1), i = 4, …, n；F₄(x)：ε_i~N(8, 1), i = 1, …, 5且ε_j~N(0, 1), i = 6, …, n。

4) 对于模型(13, 14, 15)，当样本容量为20时，对于非正态备择分布， ${\widehat{ZR}}_{2,q=0.05}$ 的检验功效显著地比其它的检验高； ${\widehat{ZR}}_{2,\mu }$ 与T₂在容量为20时，两者的检验功效相差不大，但在容量为50时，对非对称备择分布，BCMR，T₂，W和 ${\widehat{ZR}}_{2,\mu }$ 相差不大，但对于对称备择分布，T₂最好，次之为 ${\widehat{ZR}}_{2,\mu }$。总之在新检验的对手中，T₂最好，次之为BCMR，Shapiro-Wilk检验好于另外两个经典统计量。

5) 对于备择分布为N(0, 1)，结果类似于(2)。

6) 对第三组中的备择分布 $F_1\left(x\right):{\epsilon }_i~N\left(8,1\right),i=1,2,3$ 且 $x_{11}=x_{12}=x_{13}=x_{14}=2$，在样本容量为 20 时，新的检验中 ${\widehat{ZR}}_{2,q=0.95}$ 表现最好，但与 ${\widehat{ZR}}_{2,q=0.50}$，${\widehat{ZR}}_{2,\mu }$ 相差不大。与比较的检验相比，差别也不大，其中BCMR和W稍好。而 ${\widehat{ZR}}_{2,q=0.05}$ 表现差一些。但在样本容量为50时，除了模型(13)中， ${\widehat{ZR}}_{2,q=0.05}$ 的检验功效最好外，其它两个模型的检验的功效规律不变，但模型(13, 15)的所有检验的功效在减少。备择分布为 $F_4\left(x\right):{\epsilon }_i~N\left(8,1\right),i=1,\cdots ,5$ 且 ${\epsilon }_j~N\left(0,1\right),i=\text{6},\cdots ,n$ 时，结果类似。对于另外两种备择，各个检验在样本容量不同时，检验功效变化比较大。这说明在有离群点的备择分布下，如果回归函数展开的项数越多，检验的规律越不清楚。

7) 比较同一个模型下，备择分布为非正态分布时，各个检验的功效都随着回归函数展开的项数增加而减少。这说明回归函数估计的精度影响到了检验的功效，但各个检验的功效的大小关系没有因为回归函数展开的项数变化而变化。

5. 结束语

基于BLUS残差，利用残差顺序统计量和伪随机样本顺序统计量之间的差异，构造了分位数类型统计量和条件期望类型检验统计量，用于检验非线性模型的误差分布正态性。仿真结果表明，本文提供的检验方法有较好的检验功效。当然，如何在众多的检验中选择出更优的检验，分位点类型检验有没有恰当的选择标准？对于非线性模型中误差分布的拟合优度检验问题，回归函数的局部多项式展开项数有无合适的判断准则？都是值得进一步研究的问题。

致谢

作者非常感谢相关文献对本文的启发以及审稿专家提出的宝贵意见。

文章引用

赵建昕. 基于BLUS残差的非线性模型误差分布的拟合优度检验
Test of Goodness of Fit for Error Distribution of Nonlinear Model Based on BLUS Residuals[J]. 应用数学进展, 2022, 11(08): 5831-5841. https://doi.org/10.12677/AAM.2022.118615

参考文献