Statistics and Application
Vol. 07  No. 06 ( 2018 ), Article ID: 27986 , 8 pages
10.12677/SA.2018.76070

Statistical Diagnostics for Nonlinear Models with Right-Censored Data

Zhong Cheng, Yu Feng

School of Science, Nanjing University of Science and Technology, Nanjing Jiangsu

Received: Nov. 20th, 2018; accepted: Dec. 6th, 2018; published: Dec. 13th, 2018

ABSTRACT

This paper considers how to solve statistical diagnosis problem of the nonlinear models with right-censored data. First, we use the method of maximum likelihood estimates to reach the parameters. Based on the idea of case-deletion models, we obtain the formula of the parameters and propose some diagnostic statistics to determine outliers or influential points. Finally, we use numerical simulation analysis to verify the feasibility of the theory.

Keywords:Nonlinear Model, Right-Censored Data, Statistical Diagnostics, Case-Deletion Model, Generalized Cook Distance

非线性模型在右删失数据下的统计诊断

程忠,冯予

南京理工大学,理学院,江苏 南京

收稿日期:2018年11月20日;录用日期:2018年12月6日;发布日期:2018年12月13日

摘 要

本文研究了非线性模型在带有右删失数据下如何统计诊断的问题。首先用极大似然估计的方法求出了参数的估计问题。再对模型运用数据删除思想进行考量,求出了删除前后参数的公式,给出了判定影响点和异常点的一些统计量。最后,通过数值模拟分析,证明了该方法的可行性。

关键词 :非线性模型,右删失数据,统计诊断,数据删除模型,广义Cook距离

Copyright © 2018 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

统计诊断 [1] 是数据分析的重要组成部分,其主要任务就是通过诊断统计量检测已知观测数据在既定模型拟合时的合理性,数据删除法 [2] 是其最基础的方法,即考虑删除前后统计量的变化。非线性模型 [3] 可以结合不同的数据类型进行研究,包括纵向数据、删失数据 [4] 等,最近一段时机在纵向数据下运用比较广,但关于删失数据则很少。右删失数据也是生存分析 [5] 尤其是在寿命观测中很常见的一种数据。本文考虑了带右删失数据下非线性模型的统计诊断问题 [6] ,有一定的理论和实践价值。

2. 右删失数据下非线性模型的参数估计

2.1. 右删失数据下的非线性模型

给定观测数据 ( x i , y i ) , i = 1 , 2 , , n ,非线性回归模型表示为 y i = f ( x i , β ) + ε i i = 1 , , n ,其中 f ( x i , β ) 为参数 β 的非线性函数, β = ( β 1 , , β p ) T 为未知的回归系数向量, ε i 为随机误差。通常假定序列 ε 1 , , ε n 独立正态同分布,其均值为0,方差为 。该模型的矩阵形式可表示为 Y = f ( X , β ) + ε = f ( β ) + ε ,其中 Y = ( y 1 , , y n ) T ε = ( ε 1 , , ε n ) T f ( X , β ) = f ( β ) = ( f ( x 1 , β ) , , f ( x n , β ) ) T

因为 y i 右删失,不失一般性,我们考虑前r个为由于试验的终止却未寿终数据,即 y 1 , , y r 为右删失数据。由于有删失数据存在,因此需要求出新的似然函数来进行参数估计。

2.2. 右删失数据下的似然函数

X 1 , X 2 , , X n 是来自分布G的随机变量,并且独立同分布,其概率密度函数为 g ( x , θ ) θ 为模型参数。同时假设右删失时间 M i ( i = 1 , 2 , , n ) ,分布为F。假设 X i M i 相互独立,记 Y i = min ( X i , M i ) δ i = I ( M i X i ) ,实际观察样本为 ( Y i , δ i ) ,则右删失数据下的似然函数 [7] 为

L ( ( X 1 , δ 1 ) , , ( X n , δ n ) ) = i = 1 n [ g ( X i , θ ) ] δ i [ 1 G θ ( X i ) ] 1 δ i (1)

2.3. 模型的极大似然估计

ϕ ( y ) = 1 exp ( y 2 2 ) ,它是标准正态分布的概率密度函数。记 β ( y ) = y + ϕ ( t ) d t t i = y i f ( x i , β ) σ i = 1 , , n S ( y ) = ϕ ( y ) Φ ( y ) 。则根据(1)式,模型的联合似然函数可表示为 L = 1 σ n r i = 1 r Φ ( t i ) i = r + 1 n ϕ ( t i ) ,取对数,得对数似然函数为

l ( β ) = i = 1 r log Φ ( t i ) n r 2 log ( 2 π σ 2 ) 1 2 σ 2 i = r + 1 n ( y i f ( x i , β ) ) 2 (2)

(2)式对 β 求导,可得

l ( β ) β = 1 σ i = 1 r S ( t i ) f ( x i , β ) β + 1 σ 2 i = r + 1 n ( y i f ( x i , β ) ) f ( x i , β ) β = 1 σ 2 { i = 1 r f ( x i , β ) β [ σ S ( t i ) + f ( x i , β ) f ( x i , β ) ] + i = r + 1 n f ( x i , β ) β ( y i f ( x i , β ) ) } = 1 σ 2 { i = 1 n f ( x i , β ) β ( z i f ( x i , β ) ) } (3)

其中, z i = { σ S ( t i ) + f ( x i , β ) , i = 1 , 2 , , r y i , i = r + 1 , , n ,记 Z = ( z 1 , z 2 , , z n ) T .

参数的极大似然估计记为 β ^ ,此文利用高斯-牛顿迭代法求解。在此之前,先引进如下符号:

e ( β ) = Z f ( β ) , e i ( β ) = z i f ( x i , β )

f ( β ) β T = D ( β ) = ( D i a ) = ( f i β a )

2 f ( β ) β β T = W ( β ) = ( W i a b ) = ( 2 f i β a β b )

Ω 1 = ( v 1 v 2 v r v r + 1 v n )

v i = { ϕ ( t i ) Φ ( t i ) + ϕ 2 ( t i ) Φ 2 ( t i ) , i = 1 , 2 , , r 1 , i = r + 1 , , n

其中, i = 1 , , n ; a , b = 1 , , p D ( β ) n × p 阶矩阵, W ( β ) n × p × p 阶立体阵。 Ω 1 为n阶对角阵。

引理1:对于右删失的非线性模型,Y关于参数的 β 的Score函数、观察信息阵以及Fisher信息阵分别为:

l ˙ ( β ) = 1 σ 2 D T ( β ) e ( β ) (4)

l ¨ ( β ) = 1 σ 2 D T ( β ) Ω 1 D ( β ) + 1 σ 2 [ e T ( β ) ] [ W ( β ) ] (5)

I ( β ) = 1 σ 2 D T ( β ) Ω 1 D ( β ) (6)

证:由(3)即可得 l ˙ ( β ) ,即(4)式得证。

对(3)式继续求导可得

2 l ( β ) β β T = 1 σ i = 1 r S ( t i ) β f ( x i , β ) β + 1 σ i = 1 r S ( t i ) f ( x i , β ) β β T 1 σ 2 i = r + 1 n ( f ( x i , β ) β ) 2 + 1 σ 2 i = r + 1 n ( y i f ( x i , β ) ) f ( x i , β ) β β T = 1 σ 2 i = 1 r ( f ( x i , β ) β ) 2 ϕ ( t i ) Φ ( t i ) + ϕ 2 ( t i ) Φ 2 ( t i ) 1 σ 2 i = r + 1 n ( f ( x i , β ) β ) 2 + 1 σ 2 { i = 1 n 2 f ( x i , β ) β β T ( z i f ( x i , β ) ) } = 1 σ 2 D T ( β ) Ω 1 D ( β ) + 1 σ 2 [ e T ] [ W ]

即得(5)式。

由于 E [ l ¨ ( β ) ] = I ( β ) ,因此可得(6),证毕。

将以上结果代入高斯-牛顿迭代公式 β i + 1 = β i + [ l ¨ ( β i ) ] 1 l ˙ ( β i ) 可得

β i + 1 = β i + [ D T ( β ) Ω 1 D ( β ) ] 1 D T ( β ) e (β)

3. 模型诊断

3.1. 数据删除模型

数据删除模型是最基本的统计诊断模型,比较第i个点 ( x i , y i ) 删除前后估计量或统计量之间差异,其中i的取值范围为 ( r + 1 i n ) 。其中,本文只考虑删除完整的数据部分,对于由于右删失得到的数据点不研究异常或强影响点问题 [8] 。

于是,右删失下非线性模型的数据删除模型可表示为 y j = f ( x j , β ) + ε j , j i , r + 1 i n ,其中 y 1 , , y r 为右删失数据, y r + 1 , , y n 为完整值。其相应的极大似然估计记为 β ^ ( i )

通常可由 β ^ ( i ) 的一阶近似公式来比较数据删除前 β ^ 和删除后 β ^ ( i ) 的差异,即

β ^ I ( i ) = β ^ + [ I ( i ) ( β ^ ) ] 1 l ˙ ( i ) ( β ^ ) (7)

其中 I ( i ) ( β ) Ω ( i ) 1 I ( β ) Ω 1 删除第i点以后得到的矩阵,而 l ˙ ( i ) ( β ) l ˙ ( β ) 删除第i点以后的向量。由引理1可知:

l ˙ ( i ) = 1 σ 2 D ( i ) T ( β ) e ( i ) ( β ) (8)

I ( i ) ( β ) = 1 σ 2 D ( i ) T ( β ) Ω ( i ) 1 D ( i ) (9)

其中 D ( i ) ( β ) D ( β ) 删除第i行以后的 ( n 1 ) × p 矩阵, e ( i ) ( β ) e ( β ) = Z f ( β ) 删除第i点以后的 ( n 1 ) 维向量。

定理 对于右删失下非线性模型, β ^ ( i ) 的一阶近似可表示为

β ^ I ( i ) = β ^ { ( D T Ω 1 D ) 1 d i e i 1 h i i } β ^ (10)

其中, d i 表示D的第i个行组成的p维向量, h i i 为矩阵 H = D ( D T Ω 1 D ) 1 D T 的第i个对角元。

证明:将(8)、(9)式代入(7)式可得

β ^ I ( i ) = β ^ + { [ D ( i ) T ( β ) Ω ( i ) 1 D ( i ) ( β ) ] 1 D ( i ) T ( β ) e ( i ) ( β ) } β ^

其中可进行以下分解:

D T Ω 1 D = i = 1 n v k d k d k T = k i v k d k d k T + d i d i T = D ( i ) T Ω ( i ) 1 D ( i ) + d i d i T

因此有 D ( i ) T Ω ( i ) 1 D ( i ) = D T Ω 1 D d i d i T ,同理可得 D T e = k i d k e k + d i e i = D ( i ) T e ( i ) + d i e i

这些公式代入以上 β ^ I ( i ) 的表达式可得

β ^ I ( i ) = β ^ + { [ D T Ω 1 D d i d i T ] 1 [ D T e d i e i ] } β ^

应用矩阵和式求逆公式 ( A + M N ) 1 = A 1 A 1 M ( I + N A 1 M ) 1 N A 1

A = D T Ω 1 D , M = d i , N = d i T ,所以

[ D T Ω 1 D d i d i T ] 1 = ( D T Ω 1 D ) 1 ( D T Ω 1 D ) 1 ( d i ) [ I + d i T ( D T Ω 1 D ) 1 ( d i ) ] 1 d i T ( D T Ω 1 D ) 1 = ( D T Ω 1 D ) 1 + ( D T Ω 1 D ) 1 d i d i T ( D T Ω 1 D ) 1 1 h i i

由于 l ˙ ( β ^ ) = 1 σ 2 D T ( β ^ ) e ( β ^ ) = 0

因此,当 β = β ^ 时,

[ D T Ω 1 D d i d i T ] 1 [ D T e d i e i ] = ( D T Ω 1 D ) 1 d i e i ( D T Ω 1 D ) 1 d i d i T ( D T Ω 1 D ) 1 d i e i 1 h i i

所以,

β ^ I ( i ) = β ^ { ( D T Ω 1 D ) 1 d i e i 1 h i i } β ^

证明完成。

以上定理解出来了数据删除前和删除后估计量之间的数学公式,由此公式出发还能得到许多其他的估计量。这个公式表明如果 β ^ ( i ) β ^ 之间应相差很大,则说明i可能为异常点或强影响点。

3.2. 统计诊断量

3.2.1. 广义Cook距离

根据公式(10),我们即可得到 β ^ β ^ ( i ) 。在一般的回归模型中,Cook已经提出了Cook距离,因此这里我们将Cook距离推广到带删失数据的非线性模型中。广义Cook距离定义为

G D i = β ^ β ^ ( i ) M 2 = ( β ^ β ^ ( i ) ) T M ( β ^ β ^ ( i ) ) c

其中,M为正定矩阵; c > 0 为尺度因子。此处取为

M = D T Ω 1 D , c = p σ ˜ 2

则可得

G D i = ( β ^ β ^ ( i ) ) T D T Ω 1 D ( β ^ β ^ ( i ) ) p σ ˜ 2

若用 β ^ I ( i ) 代替 β ^ ( i ) ,则得到1阶近似公式,将式(10)代入可得广义Cook距离:

G D i = h ^ i i 1 h ^ i i r i 2 p , r i = e ^ i σ ˜ 1 h ^ i i

3.2.2. 似然距离

似然距离在一般情况下没有似然解,因此本文采用其一阶近似公式

L D i I ( β ) = ( β ^ β ^ ( i ) ) T [ I ( β ^ ) ] ( β ^ β ^ (i) )

β ^ I ( i ) 换成 β ^ ( i ) ,即可得似然距离的近似解

L D i I ( β ) = ( β ^ β ^ I ( i ) ) T [ I ( β ^ ) ] ( β ^ β ^ I ( i ) ) = p G D i I

因此能得知,广义Cook距离与似然距离只多出了p。

4. 实例分析

下面用一个有关渔场捕鱼的数据来进行数值模拟分析,验证非线性模型在带有带右删失数据下的统计诊断具有可行性。

鱼卵数量与可捕获的成鱼数量之间的关系,是经营渔场者十分关心的问题。为研究二者之间的关系,Ricker和Smith(1975)给出了在Skeener河中红鳟鲑鱼的产卵量和可捕获的成鱼量的测量数据。表1 [9] 列出了这些数据;表中x为鱼卵量,y为可捕获成鱼的数量。所选用的模型为

log ( y i ) = β 1 log ( x i ) exp { β 2 log ( x i ) } + ε i ε i ~ N ( 0 , σ 2 ) , i = 1 , 2 , , 28

考虑到y的前3个数据删失,假设 y i > 500 ( 1 i 3 ) 。数据如表1所示。

Table 1. Data of red trout salmon

表1. 红鳟鲑鱼数据

Continued

4.1. 参数估计

根据以上数据表,我们能解出参数 β 的估计值:

β ^ = ( 1.5864 , 0.0576 ) T

4.2. 影响分析

估计完参数之后,由数据删除模型计算得到广义Cook距离。图1是广义Cook距离的散点图。

Figure 1. Scatter plot of generalized Cook distance

图1. 广义Cook距离的散点图

图1可以看出:第12号点异于其他点,而且不涉及删失部分,因此第12号点为异常点。

5. 结束语

本文介绍了非线性模型在带有右删失数据下如何进行统计诊断的问题,给出了参数估计的方法以及如何通过统计诊断量判断强影响点或异常点,都是很经典很实际的办法;最后通过数值模拟分析,验证了诊断方法可行性。考虑到经典方法的局限性,本模型还可以用经验似然或其他方法进行更深一步的研究,这也是本文作者努力的方向。

基金项目

国家自然科学基金资助项目(11271189)。

文章引用

程 忠,冯 予. 非线性模型在右删失数据下的统计诊断
Statistical Diagnostics for Nonlinear Models with Right-Censored Data[J]. 统计学与应用, 2018, 07(06): 614-621. https://doi.org/10.12677/SA.2018.76070

参考文献

  1. 1. 韦博成, 鲁国斌, 等. 统计诊断引论[M]. 南京: 东南大学出版社, 1991.

  2. 2. 翟爽. 基于数据删除的广义线性模型诊断方法[D]: [硕士学位论文]. 哈尔滨: 东北林业大学理学院, 2012.

  3. 3. 胡宏昌, 崔恒建, 秦永松, 等. 近代线性回归分析方法[M]. 北京: 科学出版社, 2013.

  4. 4. 周勇. 广义估计方程估计方法[M]. 北京: 科学出版社, 2013.

  5. 5. 陈家鼎. 生存分析与可靠性[M]. 北京: 北京大学出版社, 2005.

  6. 6. 王思洋, 胡涛, 崔恒建. 删失数据非线性回归模型的广义M估计[J]. 北京师范大学学报(自然科学版), 2014, 50(1): 1-6.

  7. 7. 朱成莲. 带右删失数据的非线性模型的参数估计[J]. 统计与决策, 2009(14): 155-156.

  8. 8. 季文奇, 冯予. 右删失数据下广义线性模型的统计诊断[J]. 重庆理工大学学报(自然科学), 2017, 31(8): 174-181.

  9. 9. 韦博成, 林金官, 解锋昌. 统计诊断[M]. 北京: 高等教育出版社, 2009.

期刊菜单