大样本Gamma回归的最优子抽样 Optimal Subsampling for Large-Sample Gamma Regression

doi:10.12677/AAM.2022.114178

Advances in Applied Mathematics
Vol. 11 No. 04 ( 2022 ), Article ID: 50250 , 18 pages
10.12677/AAM.2022.114178

大样本Gamma回归的最优子抽样

尚建敏，张齐

●How to Cite this Article

青岛大学数学与统计学院，山东青岛

收稿日期：2022年3月12日；录用日期：2022年4月5日；发布日期：2022年4月14日

摘要

随着计算机行业的迅猛发展，人类社会逐渐迈入大数据时代。面对大规模右偏性和厚尾分布的数据，Gamma回归模型发挥着非常重要的作用。然而如何快速并准确估计出Gamma回归中感兴趣参数成为值得思考的热点问题。在本文中，我们提出两种两步算法分别有效地逼近f已知Gamma回归和f未知Gamma回归在全数据下的最大似然估计，从而解决了单参数与双参数大样本Gamma回归估计问题。首先在f已知情况下，可证明出在给定全数据下一般子抽样估计量渐近服从正态分布，推导出使估计量渐近均方误差最小的最优子抽样概率。为了进一步降低计算量，我们还提出了另一种最优子抽样概率。由于最优子抽样概率取决于未知参数，我们还提出了单参数两步算法。其次在f未知情况下，我们基于单参数两步算法提出了双参数两步算法。最后使用数值模拟表明两种算法的计算效率高，也证实了通过单参数两步算法得到的估计量与双参数两步算法得到的估计量差距不明显。

关键词

大样本，Gamma回归，最优子抽样，抽样概率

Optimal Subsampling for Large-Sample Gamma Regression

Jianmin Shang, Qi Zhang

School of Mathematics and Statistics, Qingdao University, Qingdao Shandong

Received: Mar. 12^th, 2022; accepted: Apr. 5^th, 2022; published: Apr. 14^th, 2022

ABSTRACT

With the rapid development of computer industry, human society is gradually moving into the era of big data. Gamma regression models play a very important role in the face of large-sample right-skewed and thick-tailed data. However, how to quickly and accurately estimate the parameters of interest in Gamma regression has become a hot issue to be considered. In this paper, we propose two two-step algorithms to efficiently approximate the maximum likelihood estimates of f known Gamma regression and f unknown Gamma regression under full data, respectively, thus solving the single-parameter and two-parameter large-sample Gamma regression estimation problems. Firstly, in the case where f is known, it can be shown that the general subsampling estimates asymptotically obey a normal distribution given the full data, and the optimal subsampling probability that minimizes the asymptotic mean square error of the estimates is derived. To further reduce the computational effort, we also propose an alternative optimal subsampling probability. Since the optimal subsampling probability depends on the unknown parameters, we also propose a single-parameter two-step algorithm. Secondly, in the case of f unknown, we propose a two-parameter two-step algorithm based on the one-parameter two-step algorithm. Finally, using numerical simulations, we show that the two algorithms are computationally efficient and also confirm that the difference between the estimates obtained by the one-parameter two-step algorithm and those obtained by the two-parameter two-step algorithm is not significant.

Keywords:Large Sample, Gamma Regression, Optimal Subsampling, Sampling Probability

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随着大数据兴起，科学家们面临的数据规模也逐渐庞大，前所未有的数据量为研究人员提供了前所未有的机遇和挑战。然而如何在有限的计算资源下处理规模巨大、结构复杂的数据越来越受到人们的关注。

针对线性回归模型，目前处理大规模数据比较流行的方法有分治方法(Lin等，2011) [1]、数据流在线更新方法(Schifano等，2016) [2] 以及子抽样方法(Politis等，1999) [3]。Ma和Sun (2015) [4] 在子抽样方法(Politis等) [3] 基础上提出了杠杆抽样方法，其方法成功的关键是利用不同权重构造非均匀抽样概率，使有影响的数据点以高概率抽样(Ma，Yu和Mahoney，2015) [5]。Ma等(2020) [6] 还研究了杠杆抽样估计的渐近正态性和渐近无偏性。还有很多将子抽样方法应用到其它问题上，Drineas等 [7] 针对L2回归模型提出了子抽样算法。Drineas等(2011) [8] 提出两种子抽样算法来解决线性回归中最小二乘逼近问题。Dhillon等(2013) [9] 针对线性回归中的普通最小二乘快速估计问题使用了子抽样算法。最优子抽样方法是子抽样方法的延伸之一，Zhu等(2015) [10] 针对线性回归模型提出了两种子抽样方法，即最优子抽样方法和预测长度的子抽样方法。Wang等 [11] 针对线性回归子抽样提出基于信息的最优子抽样方法(IBOSS)。

在广义线性模型下，Chen和Xie [12] 在广义线性模型(GLM)上利用分治方法处理海量数据。Wang等(2018) [13] 在logistic回归模型上提出最优子抽样方法来有效地逼近在全数据下的最大似然估计，该方法通过最小化估计量的渐近均方误差来确定最优子抽样概率。Yao等(2018) [14] 在Wang等 [13] 基础上研究了多分类logistics回归模型的最优子抽样算法。Wang和Ma (2021) [15] 研究了分位数回归的最优子抽样，推导出一般子抽样估计量的渐近性质以及两种最优子抽样概率。此外，李莉莉等(2022) [16] 针对岭回归模型提出最优子抽样算法，从而处理了变量间存在多重共线性问题，并证明了估计量的渐近性质。牛晓阳等(2022) [17] 对非参数局部多项式回归模型提出最优子抽样算法，提出OPT和PL两种抽样算法。

Gamma回归模型作为广义线性模型中的一个特例 [18]，它在很多方面有所应用，比如周围等(2021) [19] 将Gamma分布应用在海面目标检测中，并介绍了在Gamma分布杂波背景下的检测器；吴林林(2014) [20] 利用Gamma回归研究了雨滴谱对移动双偏振雷达的影响；王俊轶(2019) [21] 利用Gamma回归研究了图像质量的影响因素。针对Gamma回归估计问题，陈超(2015) [22] 总结了双参数Gamma分布参数估计方法，同时利用矩思想，证明了形状参数存在的相合性和渐近正态性。针对双参数Gamma回归多重共线性问题，Muhammad Qasim等(2018) [23] 使用了Liu估计器。根据模拟研究，表明Liu估计器总是优于最大似然估计。左卫兵和钱莉等 [24] 针对Gamma回归模型的多重共线性问题，提出了Gamma回归模型的几乎无偏岭估计方法，同时给出了该估计优于极大似然估计和一般岭估计的存在性定理。

在本文中，我们将最优子抽样方法应用到Gamma回归模型中。本文的剩余部分组织如下：在第二部分中，我们分别建立了单参数Gamma回归和双参数Gamma回归的最大似然估计。在第三部分中，我们首先考虑了在 $ϕ$ 已知情况下Gamma回归的一般子抽样算法。通过三条正则性假设，在给定全数据下，我们建立了一般子抽样算法估计量的相合性和渐近正态性。最后我们考虑了在 $ϕ$ 未知情况下Gamma回归的一般子抽样算法。在第四部分中，我们基于 $ϕ$ 已知情况下一般子抽样估计量的渐进性质，提出两种最优子抽样概率。由于最优子抽样概率取决于未知量，我们提出了单参数Gamma回归的两步算法来近似逼近全数据下的估计量。在 $ϕ$ 未知情况下，我们提出了双参数Gamma回归的两步算法。在第五部分中，我们进行了广泛的仿真研究，以验证我们的方法的有效性。在第六部分中，我们总结了本文。所有证明细节见附录。

2. Gamma回归

假设 ${(x_{i}, y_{i})}_{i = 1}^{N}$ 是一个独立且同分布的随机变量序列，当响应变量 $y_{i}$ 为正偏态且服从伽马分布时，Gamma回归模型非常有用。假设在给定协变量 $x_{i} \in R^{d}$ 条件下，响应变量 $y_{i} \in R$ 服从伽马分布，则下述模型

${\begin{cases} f (y_{i}; μ_{i}, ϕ) = \exp (\frac{y_{i} / μ_{i} - \ln (1 / μ_{i})}{- ϕ} + \frac{1 - ϕ}{ϕ} \ln y_{i} - \frac{\ln ϕ}{ϕ} - \ln Γ (\frac{1}{ϕ})), y_{i} > 0. \\ g (μ_{i}) = x_{i}^{T} β . \end{cases}$ (1)

称为Gamma回归模型。其中， $μ_{i}$ 是响应变量 $y_{i}$ 的数学期望且有限，即 $E (y_{i}) = μ_{i}$ ；假设 $β = {(β_{1}, β_{2}, \dots, β_{d})}^{T}$ 是d维感兴趣参数，属于 $R^{d}$ 的紧子集； $Γ (α) = \int_{0}^{\infty} x^{α - 1} e^{- x} d x$ 为Gamma函数； $g (\cdot)$ 是连接函数，它建立了样本总体均值与线性预测值之间的关系，在Gamma回归模型中我们一般采用对数连接函数，即 $g (μ_{i}) = \ln (μ_{i}) = x_{i}^{T} β$ ，从而 $μ_{i} = \exp (x_{i}^{T} β)$ ； $ϕ$ 为离散参数。下面我们分别在 $ϕ$ 已知和 $ϕ$ 未知这两种情况下估计我们所感兴趣的参数 $β$ 。

2.1. $ϕ$ 已知的Gamma回归

我们先考虑 $ϕ$ 已知情况。由于 $ϕ$ 已知，根据(1)式我们很容易可以写出Gamma回归模型，即

$f (y_{i} | x_{i}; β) = \exp (\frac{y_{i} / \exp (x_{i}^{T} β) + x_{i}^{T} β}{- ϕ} + \frac{1 - ϕ}{ϕ} \ln y_{i} - \frac{\ln ϕ}{ϕ} - \ln Γ (\frac{1}{ϕ})), y_{i} > 0.$

Gamma回归模型是广义线性模型的一种特殊情况。在Y关于 $β$ 的最大化对数似然函数的运算过程中，可以只考虑含参数 $β$ 的项，则Y的对数似然函数可以简洁的表达为

$l (β) = \sum_{i = 1}^{N} [\frac{y_{i} / \exp (x_{i}^{T} β) + x_{i}^{T} β}{- ϕ}] .$ (2)

估计Gamma回归中未知参数 $β$ 通常是最大化对数似然函数。然而， ${\hat{β}}_{M L E}$ 一般没有封闭解，通常采用迭代方法来进行数值求解，牛顿迭代法是一种常用的迭代方法。根据式(2)，我们可得到下面公式，

${\hat{β}}^{(t + 1)} = {\hat{β}}^{(t)} + {[\sum_{i = 1}^{N} \frac{y_{i} x_{i} x_{i}^{T}}{\exp (x_{i}^{T} {\hat{β}}^{(t)})}]}^{- 1} \sum_{i = 1}^{N} \frac{y_{i} x_{i} - \exp (x_{i}^{T} {\hat{β}}^{(t)}) x_{i}}{\exp (x_{i}^{T} {\hat{β}}^{(t)})} .$ (3)

2.2. $ϕ$ 未知的Gamma回归

现在我们考虑 $ϕ$ 未知情况。根据(1)式我们可以写出，在已知协变量 $x_{i}$ 情况下，响应变量 $y_{i}$ 的概率密度函数为

$f (y_{i} | x_{i}; β, ϕ) = \exp (\frac{y_{i} / \exp (x_{i}^{T} β) + x_{i}^{T} β}{- ϕ} + \frac{1 - ϕ}{ϕ} \ln y_{i} - \frac{\ln ϕ}{ϕ} - \ln Γ (\frac{1}{ϕ})), y_{i} > 0.$

由于 $ϕ$ 未知，所以回归中有两个未知参数 $β$ 与 $ϕ$ 待估计，记 $θ = {(β, ϕ)}^{T}$ 。估计 $θ$ 通常是最大化对数似然函数，然而， ${\hat{θ}}_{M L E}$ 一般没有封闭解，所以我们通常使用牛顿迭代算法。Y关于参数 $θ$ 的对数似然函数可以表达为

$l (θ) = \sum_{i = 1}^{N} [\frac{y_{i} / \exp (x_{i}^{T} β) + x_{i}^{T} β}{- ϕ} + \frac{1 - ϕ}{ϕ} \ln y_{i} - \frac{\ln ϕ}{ϕ} - \ln Γ (\frac{1}{ϕ})] .$

根据牛顿迭代公式，我们可得到下面公式，

${\hat{θ}}^{(t + 1)} = {\hat{θ}}^{(t)} + {[I ({\hat{θ}}^{(t)})]}^{- 1} S ({\hat{θ}}^{(t)}) .$ (4)

其中， $S (θ)$ 、 $I (θ)$ 分别是Gamma回归模型的得分函数和Fisher信息矩阵。

在(3)式中，我们发现每次迭代需要 $O (N d^{2})$ 时间， $ζ$ 为所需迭代次数，因此，整个优化过程需要 $O (ζ N d^{2})$ 时间。由于 $θ$ 是 $d + 1$ 维向量，所以(4)式每次迭代需要 $O (N {(d + 1)}^{2})$ 时间，整个优化过程需要 $O (ζ N {(d + 1)}^{2})$ 时间。然而对于超大样本，(3)式单次运行的所需计算时间太长了，更别说计算(4)式了。所以我们使用子抽样算法来解决超大样本问题。

3. 一般子抽样

对于海量数据，为了缩短其计算时间，我们利用抽样概率 $π_{i} (i = 1, 2, \dots, N)$ ，从全部数据中有放回随机抽取 $n (≪ N)$ 个子样本，其中 $\sum_{i = 1}^{N} π_{i} = 1$ ， $π_{i}$ 既取决于完整数据 $D_{N} = {(x_{i}, y_{i})}_{i = 1}^{N}$ ，也取决于响应变量。我们需要使用 $π_{i}$ 的倒数作为子样本对数似然函数的权重，否则，估计结果往往是有偏差的。我们首先考虑在 $ϕ$ 已知情况下的Gamma回归模型的子抽样。

3.1. $ϕ$ 已知的Gamma回归的子抽样

子样本表示为 $(x_{i}^{*}, y_{i}^{*})$ ，子抽样概率是 $π_{i}^{*} (i = 1, 2, \dots, n)$ ， $\tilde{β}$ 为子样本估计器，通过最大化(5)式的加权对数似然函数，可得到基于子样本的估计值。

$l^{*} (β) = \frac{1}{n} \sum_{i = 1}^{n} \frac{1}{π_{i}^{*}} [\frac{y_{i}^{*} / \exp ({(x_{i}^{*})}^{T} β) + {(x_{i}^{*})}^{T} β}{ϕ}] .$ (5)

最大化(5)式以获得基于子样本的估计值 $\tilde{β}$ 。由于 $l^{*} (β)$ 的凸性，最大化可以用牛顿迭代法法来实现，反复应用以下公式，直到 ${\tilde{β}}^{(t + 1)}$ 和 ${\tilde{β}}^{(t)}$ 足够接近，

${\tilde{β}}^{(t + 1)} = {\tilde{β}}^{(t)} + {[\sum_{i = 1}^{n} \frac{y_{i}^{*} x_{i}^{*} {(x_{i}^{*})}^{T}}{π_{i}^{*} \exp ({(x_{i}^{*})}^{T} {\tilde{β}}^{(t)})}]}^{- 1} \sum_{i = 1}^{n} \frac{y_{i}^{*} x_{i}^{*} - \exp ({(x_{i}^{*})}^{T} {\tilde{β}}^{(t)}) x_{i}^{*}}{π_{i}^{*} \exp ({(x_{i}^{*})}^{T} {\tilde{β}}^{(t)})} .$ (6)

在 $ϕ$ 已知情况下，我们研究子样本估计量 $\tilde{β}$ 的渐近性质。在整篇论文中， $O_{p} (1)$ 指依概率有界。 $‖ v ‖$ 表示向量v的欧几里德范数，即 $‖ v ‖ = {〈 v^{T} v 〉}^{1 / 2}$ 。下面我们列出一些正则性假设。

假设1. 当 $N \to \infty$ 时，有 $G_{N} = \frac{1}{N} \sum_{i = 1}^{N} \frac{y_{i} x_{i} x_{i}^{T}}{ϕ \exp (x_{i}^{T} {\hat{β}}_{M L E})}$ 依概率收敛于正定矩阵，并且 $\frac{1}{N} \sum_{i = 1}^{N} {[\frac{y_{i}}{\exp (x_{i}^{T} {\hat{β}}_{M L E})}]}^{4} = O_{P} (1)$ 。

假设2. $\frac{1}{N^{3}} \sum_{i = 1}^{N} \frac{{‖ x_{i} ‖}^{8}}{π_{i}^{2}} = O_{P} (1)$ 。如果 $ρ \geq 0$ ，有 $\frac{1}{N} \sum_{i = 1}^{N} {[\frac{y_{i}}{\exp (x_{i}^{T} {\hat{β}}_{M L E})} - 1]}^{4 + 2 ρ} = O_{P} (1)$ ， $\frac{1}{N^{3 + 2 ρ}} \sum_{i = 1}^{N} π_{i}^{- 2 - 2 ρ} {‖ x_{i} ‖}^{4 + 2 ρ} = O_{p} (1)$ 。

假设3. $\frac{1}{N^{2}} \sum_{i = 1}^{N} \frac{{[y_{i} / \exp (x_{i}^{T} β) + x_{i}^{T} β]}^{2}}{π_{i}} = O_{P} (1)$ ， $\frac{1}{N} \sum_{i = 1}^{N} \frac{y_{i}}{\exp (x_{i}^{T} β)} {‖ x_{i} ‖}^{3} = O_{p} (1)$ 。

假设1中 $l (β)$ 关于 $β$ 的二阶导函数是渐近非奇异的，而且 $y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})$ 的四阶矩是依概率有界的，这个假设是很易实现的。在假设2中，当 $ρ \geq 0$ 时， $y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E}) - 1$ 的四阶矩是依概率有界的，同时，我们还对子抽样概率引入了一些条件，如果子抽样概率选为均匀子抽样概率 $π_{i} = N^{- 1}$ ，我们不难发现，协变量 $x_{i}$ 的 $4 + 2 ρ$ 阶矩依概率有界。在假设1和假设2成立的条件下，假设3对指数分布族均成立，这个假设是合理的。

定理1. 如果假设1、2和3均成立，当 $N \to \infty$ 和 $n \to \infty$ 时，在给定全数据 $D_{N}$ 的条件下，近似误差 $\tilde{β} - {\hat{β}}_{M L E}$ 依概率收敛于0，同时收敛速度是 $n^{- 1 / 2}$ ，也就是说，对任意 $ε > 0$ ，存在一个有限的 $Δ_{ε}$ 和 $n_{ε}$ ，使得

$P (‖ \tilde{β} - {\hat{β}}_{M L E} ‖ \geq n^{- 1 / 2} Δ_{ε} | D_{N}) < ε .$

对任意 $n > n_{ε}$ 均成立。

定理2. 如果假设1、2和3均成立，当 $N \to \infty$ 和 $n \to \infty$ 时，在给定全数据 $D_{N}$ 的条件下，近似误差 $\tilde{β} - {\hat{β}}_{M L E}$ 的条件分布渐近服从正态分布，即

$V_{N}^{- \frac{1}{2}} (\tilde{β} - {\hat{β}}_{M L E}) \to N (0, I) .$

其中

$V_{N} = G_{N}^{- 1} V_{n} G_{N}^{- 1}$

$V_{n} = \frac{1}{n N^{2}} \sum_{i = 1}^{N} \frac{{\frac{y_{i}}{\exp (x_{i}^{T} {\hat{β}}_{M L E})} - 1}^{2} x_{i} x_{i}^{T}}{ϕ^{2} π_{i}}$

定理1和定理2表明，使用足够大的子样本，可以使近似误差 $\tilde{β} - {\hat{β}}_{M L E}$ 尽可能小，并且其渐近服从正态分布。在这里当n和N都趋于无穷，对它们的相对阶数并没有限制。即使n大于N，这个定理仍然有效，但是过抽样在计算上没有好处，所以在实践中 $n ≪ N$ 是很典型的。下面我们考虑在 $ϕ$ 未知情况下的Gamma回归模型的子抽样。

3.2. $ϕ$ 未知的Gamma回归的子抽样

在 $ϕ$ 未知下，假设子样本为 $(x_{i}^{*}, y_{i}^{*})$ ，子抽样概率是 $π_{i}^{*} (i = 1, 2, \dots, n)$ ， $\tilde{θ}$ 为子样本估计器，通过最大化(7)式的加权对数似然函数，可得到基于子样本的估计值。

$l^{*} (θ) = \frac{1}{n} \sum_{i = 1}^{n} \frac{1}{π_{i}^{*}} [\frac{y_{i}^{*} / \exp ({(x_{i}^{*})}^{T} β) + {(x_{i}^{*})}^{T} β}{ϕ} + \frac{1 - ϕ}{ϕ} \ln y_{i}^{*} - \frac{\ln ϕ}{ϕ} - \ln Γ (\frac{1}{ϕ})] .$ (7)

我们假设 $δ_{i}$ 表示是否选择了第i个数据点的指标变量，即当 $(x_{i}, y_{i})$ 在子样本时， $δ_{i} = 1$ ，否则 $δ_{i} = 0$ 。我们假设 $δ_{i}$ 的分布是带参数的伯努利分布，即

$P (δ_{i} = 1 | x_{i}, y_{i}) = π_{i}, i = 1, 2, \dots, N .$

(7)式可以等价地写成

$l^{*} (θ) = \frac{1}{n} \sum_{i = 1}^{N} \frac{δ_{i}}{π_{i}^{*}} [\frac{y_{i} / \exp (x_{i}^{T} β) + x_{i}^{T} β}{ϕ} + \frac{1 - ϕ}{ϕ} \ln y_{i} - \frac{\ln ϕ}{ϕ} - \ln Γ (\frac{1}{ϕ})] .$

最大化(7)式以获得基于子样本的估计值 $\tilde{θ}$ 。由于 $l^{*} (θ)$ 的凸性，最大化可以用牛顿迭代法法来实现，反复应用以下公式，直到 ${\tilde{θ}}^{(t + 1)}$ 和 ${\tilde{θ}}^{(t)}$ 足够接近，

${\tilde{θ}}^{(t + 1)} = {\tilde{θ}}^{(t)} + {[I^{*} ({\tilde{θ}}^{(t)})]}^{- 1} S^{*} ({\tilde{θ}}^{(t)}) .$ (8)

其中 $S^{*} (θ) I^{*} (θ)$ 分别是(7)式的得分函数和Fisher信息矩阵。

4. 最优子抽样

我们发现无论在(6)式，还是在(8)式，最关键的是选择一个最佳的子抽样概率 $π_{i}$ 。使用均匀子抽样概率 $π = {π_{i} = N^{- 1}}_{i = 1}^{N}$ 的算法往往不是“最优”的。从定理2可以看出，渐近方差矩阵 $V_{N}$ 取决于子抽样概率。因此，我们可以导出使渐近方差矩阵最小的最优子抽样概率。由于 $V_{N}$ 是矩阵，“最小化”含义需要定义，这里我们采用A-最优性和L-最优性准则(Kiefer, 1959 [25] )。在 $ϕ$ 已知情况下，通过采用两种不同的最优性准则，下面的定理分别给出了两种最优子抽样概率，同时这两种最优子抽样概率分别最小化了 $\tilde{β}$ 和 $G_{N} \tilde{β}$ 的渐近均方误差。

定理3. 使迹 $t r (V_{N})$ 最小的最优子抽样概率为

$π_{i}^{A opt} = \frac{| (y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})) - 1 | \cdot ‖ G_{N}^{- 1} x_{i} ‖}{\sum_{j = 1}^{N} | (y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})) - 1 | \cdot ‖ G_{N}^{- 1} x_{j} ‖}, i = 1, 2, \dots, N .$ (9)

使迹 $t r (V_{n})$ 最小的最优子抽样概率为

$π_{i}^{L opt} = \frac{| (y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})) - 1 | \cdot ‖ x_{i} ‖}{\sum_{j = 1}^{N} | (y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})) - 1 | \cdot ‖ x_{j} ‖}, i = 1, 2, \dots, N .$ (10)

最优子抽样概率 $π_{i}^{A opt}$ 需要计算 $‖ G_{N}^{- 1} x_{i} ‖$ ，消耗 $O (N d^{2})$ 时间。而对于 $π_{i}^{L opt}$ 是需要计算 $‖ x_{i} ‖$ ，其在计算上只需要消耗 $O (N d)$ 时间，所以 $π_{i}^{L opt}$ 在计算上优于 $π_{i}^{A opt}$ ，同时 $π_{i}^{L opt}$ 也避免对矩阵求逆和减少出现奇异值的现象。要想使用 $π_{i}^{L opt}$ 和 $π_{i}^{A opt}$ ，我们发现(9)和(10)式的抽样概率均取决于 ${\hat{β}}_{M L E}$ ，这正是需要完整数据来估计参数所得到的，因此最优子抽样概率不能直接使用。为了更加清晰的表达，下面我们描述了在 $ϕ$ 已知情况下Gamma回归估计的两步算法过程。

5. 模拟研究

在本节中，我们将使用第4节中提出的算法1以及算法2在R上进行数值模拟实验，分别评估其性能。假设 $β$ 是7维向量，将参数 $β$ 的真实值设为 $β_{0} = {(- 0.5, - 0.5, - 0.5, - 0.5, 0.5, 0.5, 0.5)}^{T}$ 。我们考虑样本大小为 $N = 10000$ 的完整数据集，其中X分布情况如下，

a) 协变量X服从均值为0，方差为 $Σ$ 的多元正态分布，即 $N (0, Σ)$ ，其中 $Σ$ 是一个矩阵，所有对角元素等于1，非对角元素等于0.5；

b) 协变量X服从均值非零，方差为 $Σ$ 的多元正态分布，即 $N (1, Σ)$ ，其中 $Σ$ 与a)相同；

c) $X ~ 1 / 2 N (1, Σ) + 1 / 2 N (- 1, Σ)$ ，其中 $Σ$ 与情况a)相同；

d) 协变量X的分量是独立的，且每个分量都服从指数分布，速率参数为2。

5.1. $ϕ$ 已知的模拟研究

在 $ϕ$ 已知情况下，我们假设 $ϕ = 2$ ，在这一节中我们研究了 $\overset{⌣}{β}$ 的均方误差和CPU运行时间等，来评估算法1的性能。

5.1.1. 数据集分布、子样本量与 $\overset{⌣}{β}$ 的MSE

为了评估在算法1的性能，我们对上述四种情况分别进行探讨，研究数据集分布、子样本量与MSE的关系。我们固定第一步子样本量 $n_{0} = 200$ ，第二步子样本大小 $n = 500, 1000, 1500, 2000, 2500, 3000$ ，重复执行 $S = 1000$ 次，每次循环要计算估计值 $\overset{⌣}{β}$ 的均方误差。为了进行比较，我们提供了子样本大小为 $n_{0} + n$ 的均匀子抽样的均方误差结果，并使用1000个bootstrap样本计算了全数据的估计值。图1结果表明，对于四种不同的分布，算法1比均匀子抽样方法更有优势，并且基于抽样概率 $π_{i}^{A opt}$ 的算法1优于基于 $π_{i}^{L opt}$ 的算法1。

Figure 1. n₀ = 200, MSE of different data sets with n not fixed and different sampling methods

图1. n₀ = 200，不同数据集在n不固定和不同抽样方法下的MSE

5.1.2. 子样本量与CPU运行时间

在第一步样本量 $n_{0} = 200$ 和第二步子样本量为 $n = 100, 200, 300, 500, 700, 1000$ 下，我们分别记录了CPU运行时间。经模拟研究，我们在全数据下使用了1000次bootstrap抽样，其CPU运行时间为15.761秒。表1给出了基于抽样概率为 $π_{i}^{A opt}$ 和 $π_{i}^{L opt}$ 的算法1以及均匀子抽样在情况(a)上的结果。每种算法我们重复循环1000次，并记录所使用的CPU时间。由于其它三种数据集的结果相似，因此在这省略它们以节省空间。我们不难发现，均匀子抽样算法计算时间最短。其次，基于 $π_{i}^{A opt}$ 的算法1比基于 $π_{i}^{L opt}$ 的算法需要的计算时间更长，同时这三种算法均比不上在全数据下的bootstrap抽样花费的时间长，这是符合常理的。

Table 1. n0 = 200, CPU times for case (a) with n not fixed and different sampling methods

表1. n₀ = 200，情况(a)在n不固定和不同抽样方法下的CPU时间

5.1.3. 样本量与CPU时间

为了进一步研究在大样本高维情况下算法1的性能，我们将维数扩大至9维，将参数 $β$ 的真实值设为 $β_{0} = {(- 0.5, - 0.5, - 0.5, - 0.5, 0.5, 0.5, 0.5, 0.5, 0.5)}^{T}$ ，并考虑样本量分别为 $N = 10^{4}, 10^{5}, 10^{6}$ 。表2我们探讨了在不同抽样方法下的样本量与CPU时间的关系。在数据情况(a)下，我们每次抽样方法重复循环200次，同时固定第一步和第二步样本大小分别为 $n_{0} = 200$ 、 $n = 1000$ 。

结果表明，随着样本量N的增加，每种抽样方法所使用的CPU时间都有所增加；在相同样本量下，最优子抽样方法相对于全数据方法大大减少了计算时间，计算效率明显提高，同时，基于 $π_{i}^{L opt}$ 的算法1在计算上占有很大优势，这个实验结论和表1的是一样的。

Table 2. n0 = 200, n = 1000 and d = 10, case (a) CPU times under different N and different sampling methods

表2. n₀ = 200，n = 1000和d = 10，情况(a)在N不同和不同抽样方法下的CPU时间

5.2. $ϕ$ 未知的模拟研究

在 $ϕ$ 未知情况下，我们假设初始值 $ϕ_{0} = 2$ 。我们利用算法2分别研究 $\overset{⌢}{θ}$ 和 $\overset{⌢}{β}$ 的均方误差，进而评估算法2的性能，最后还与算法1进行比较。

5.2.1. 数据集分布、子样本量与 $\overset{⌢}{β}$ 的MSE

在本节中，我们研究数据集分布、子样本量与 $\overset{⌢}{β}$ 均方误差的关系，进而评估算法2的性能。我们选取第一步子样本量 $n_{0} = 200$ ，第二步子样本大小为 $n = 500, 1000, 1500, 2000, 2500$ 。为了节省计算时间，本节重复执行 $S = 500$ 次，利用算法2计算估计值并分别求出 $\overset{⌢}{β}$ 的均方误差 ${MSE}_{\overset{⌢}{β}}$ 。为了进行比较，我们提供了子样本大小为 $n_{0} + n$ 的均匀子抽样的均方误差结果，并使用500次bootstrap抽样计算了在全数据下估计值的均方误差。图2结果表明，对于四种不同的分布，使用最优子抽样算法比均匀子抽样方法更有优势，并且算法2在基于抽样概率 $π_{i}^{A opt}$ 的MSE小于基于 $π_{i}^{L opt}$ 的MSE。值得注意的是，对于EXP后尾数据集，算法2优于均匀抽样，同时基于抽样概率 $π_{i}^{A opt}$ 的算法2与基于 $π_{i}^{L opt}$ 的性能差距不明显。

Figure 2. n₀ = 200, MSE of $\overset{⌢}{β}$ for different data sets with n not fixed and different sampling methods

图2. n₀ = 200，不同数据集在n不固定和不同抽样方法下的 $\overset{⌢}{β}$ MSE

5.2.2. 数据集分布、子样本量与 $\overset{⌢}{θ}$ 的MSE

针对情况(c)和情况(d)数据集，我们还考虑了在不同抽样方法和不同第二步子样本量下对算法2的影响。为了进行比较，我们使用 $\overset{⌢}{θ}$ 的均方误差 ${MSE}_{\overset{⌢}{θ}}$ 作为指标。第一步子样本量、第二步子样本量、迭代次数以及抽样方法与(5.2.1)节一样。图3结果表明，针对情况(c)和情况(d)的数据集，算法2均优于均匀子抽样方法。这个实验结论与前面一致。

5.2.3. $\overset{⌢}{β}$ 与 $\overset{⌣}{β}$ 的MSE比较

我们通过比较 $\overset{⌢}{β}$ 与 $\overset{⌣}{β}$ 的均方误差，进而比较算法1与算法2的性能。在情况(a)和情况(c)下分别研究子样本量与MSE的关系。固定第一步子样本量 $n_{0} = 200$ ，第二步子样本量n = 300, 500, 800, 1500, 2000, 2500, 3000, 3200, 3300, 3500为了缩短计算时间，我们重复执行 $S = 500$ 次。在图4中，我们发现算法1与算法2的性能差距不大，随着子样本量的逐渐增加，几乎没有差距。

Figure 3. n₀ = 200, MSE of $\overset{⌢}{θ}$ for different data sets with n not fixed and different sampling methods

图3. n₀ = 200，不同数据集在n不固定和不同抽样方法下的 $\overset{⌢}{θ}$ MSE

Figure 4. n₀ = 200, MSE for different data sets with n not fixed and different sampling probabilities

图4. n₀ = 200，不同数据集在n不固定和不同抽样概率下的MSE

6. 结论

在本文中，我们提出了两种算法分别有效地逼近 $ϕ$ 已知和未知的Gamma回归在全数据下的最大似然估计。在 $ϕ$ 已知下，我们首先建立了一般子抽样估计量的渐近分布，利用其渐近性质导出使渐近均方误差最小的最优子抽样概率。根据L-最优性准则，我们还提出了另一种最优子抽样概率，从而缩短了计算时间。由于最优子抽样概率取决于全数据估计量，我们提出单参数两步算法有效地解决了此问题。在 $ϕ$ 未知下，我们使用在 $ϕ$ 已知情况下所提出的两种子抽样概率，由于子抽样概率取决于参数 $ϕ$ 以及全数据估计量，因此我们提出了双参数两步算法解决此问题。最后使用数值模拟分别评估这两种两步算法性能，数值结果均表明了两种算法在大样本高维下提取有价值信息具有巨大潜力。

文章引用

尚建敏,张齐. 大样本Gamma回归的最优子抽样
Optimal Subsampling for Large-Sample Gamma Regression[J]. 应用数学进展, 2022, 11(04): 1632-1649. https://doi.org/10.12677/AAM.2022.114178

参考文献

1. 陈超. 两参数伽马分布形状参数估计方法研究[D]: [硕士学位论文]. 淄博: 山东理工大学, 2015.

2. Qasim, M., Amin, M. and Amanullah, M. (2018) On the Performance of Some New Liu Parameters for the Gamma Regression Model. Journal of Statistical Computation and Simulation, 88, 3065-3080. https://doi.org/10.1080/00949655.2018.1498502

3. 左卫兵, 钱莉, 谢蕾蕾. Gamma回归模型的几乎无偏岭估计[J]. 统计与决策, 2020, 36(18): 18-21. https://doi.org/10.13546/j.cnki.tjyjc.2020.18.004

4. Kiefer, J. (1959) Optimum Experimental Designs. Journal of the Royal Statistical Society, 21, 272-319. https://doi.org/10.1111/j.2517-6161.1959.tb00338.x

5. van der Vaart, A. (1998) Asymptotic Statistics. Cambridge University Press, London. https://doi.org/10.1017/CBO9780511802256

6. Lin, N. and Xie, R. (2011) Aggregated Estimating Equation Estimation. Statistics and Its Interface, 4, 73-83. https://doi.org/10.4310/SII.2011.v4.n1.a8

7. Schifano, E.D., Wu, J., Wang, C., Yan, J. and Chen, M.H. (2016) Online Updating of Statistical Inference in the Big Data Setting. Technometrics, 58, 393-403. https://doi.org/10.1080/00401706.2016.1142900

8. Politis, D.N., Romano, J.P. and Wolf, M. (1999) Subsampling. Springer, New York. https://doi.org/10.1007/978-1-4612-1554-7

9. Ma, P. and Sun, X. (2015) Leveraging for Big Data Regression. Wiley Interdisciplinary Reviews: Computational Statistics, 7, 70-76. https://doi.org/10.1002/wics.1324

10. Ma, P., Mahoney, M.W. and Yu, B. (2015) A Statistical Perspective on Algorithmic Leveraging. Journal of Machine Learning Research, 16, 861-911.

11. Ma, P., Zhang, X., Xing, X., Ma, J. and Mahoney, M. (2020) Asymptotic Analysis of Sampling Estimators for Randomized Numerical Linear Algebra Algorithms. Proceedings of the Twenty Third International Conference on Artificial Intelligence and Statistics, Vol. 108, 1026-1035.

12. Drineas, P., Mahoney, M. and Muthukrishnan, S. (2006) Sampling Algorithms for L2 Regression and Applications. Proceedings of the Seventeenth Annual ACM-SIAM Symposium on Discrete Algorithm, Miami, 22-24 January 2006, 1127-1136. https://doi.org/10.1145/1109557.1109682

13. Drineas, P., Mahoney, M., Muthukrishnan, S. and Sarlos, T. (2011) Faster Least Squares Approximation. Numerische Mathematik, 117, 219-249. https://doi.org/10.1007/s00211-010-0331-6

14. Dhillon, P., Lu, Y.C. and Foster, D.P. (2013) New Subsampling Algorithms for Fast Least Squares Regression. Advances in Neural Information Processing Systems, 1, 360-368.

15. Zhu, R., Ma, P. and Mahoney, M.W. (2015) Optimal Subsampling Approaches for Large Sample Linear Regression.

16. Wang, H., Yang, M. and Stufken, J. (2019) Information-Based Optimal Subdata Selection for Big Data Linear Regression. Journal of the American Statistical Association, 114, 393-405. https://doi.org/10.1080/01621459.2017.1408468

17. Chen, X.Y. and Xie, M.G. (2014) A Split-and-Conquer Approach for Analysis of Extraordinarily Large Data. Statistica Sinica, 24, 1655-1684. https://doi.org/10.5705/ss.2013.088

18. Wang, H., Zhu, R. and Ma, P. (2018) Optimal Subsampling for Large Sample Logistic Regression. Journal of the American Statistical Association, 113, 829-844. https://doi.org/10.1080/01621459.2017.1292914

19. Yao, Y. and Wang, H. (2018) Optimal Subsampling for Softmax Regression. Statistical Papers, 60, 585-599. https://doi.org/10.1007/s00362-018-01068-6

20. Wang, H. and Ma, Y. (2021) Optimal Subsampling for Quantile Regression in Big Data. Biometrika, 108, 99-112. https://doi.org/10.1093/biomet/asaa043

21. 李莉莉, 靳士檑, 周楷贺. 基于岭回归模型大数据最优子抽样算法研究[J]. 系统科学与数学, 2022, 42(1): 50-63.

22. 牛晓阳, 邹家辉. 非参数局部多项式回归估计的最优子抽样算法[J]. 系统科学与数学, 2022, 42(1): 72-84.

23. 王星. 大数据分析: 方法与应用[M]. 北京: 清华大学出版社, 2013.

24. 周围, 朱勇, 杜玉晗, 谢俊好. Gamma分布在海面目标检测中的应用[J]. 雷达科学与技术, 2021, 19(3): 310-321.

25. 吴林林. 利用雨滴谱对移动双偏振雷达进行质量控制及降水估测[D]: [博士学位论文]. 南京: 南京信息工程大学, 2014.

26. Ferguson, T.S. (1996) A Course in Large Sample Theory. Chapman and Hall, London. https://doi.org/10.1007/978-1-4899-4549-5

27. 王俊轶. 显示画质影响要素研究[D]: [硕士学位论文]. 南京: 东南大学, 2019.

附录

引理1. 如果假设1和2成立，则

$G_{N}^{*} - G_{N} = O_{P | D_{N}} (n^{- \frac{1}{2}}),$ (11)

$\frac{1}{N} \frac{\partial l^{*} (β)}{\partial β} = O_{P | D_{N}} (n^{- \frac{1}{2}}),$ (12)

其中 $G_{N}^{*} = \frac{1}{N n} \sum_{i = 1}^{n} \frac{y_{i}^{*} x_{i}^{*} {(x_{i}^{*})}^{T}}{ϕ π_{i}^{*} \exp ({(x_{i}^{*})}^{T} {\hat{β}}_{M L E})} .$ 。

证明(引理1)：通过计算，可直接得出

$E (G_{N}^{*} | D_{N}) = G_{N}$ (13)

根据赫尔德不等式、假设2以及假设1，我们有

$\begin{matrix} var (G_{N}^{*} | D_{N}) = \frac{1}{n ϕ^{2} N^{2}} \sum_{i = 1}^{N} \frac{{[y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})]}^{2} {‖ x_{i} ‖}^{4}}{π_{i}} - \frac{1}{n} {(G_{N})}^{2} \\ \leq \frac{1}{n ϕ^{2}} {[\frac{1}{N} \sum_{i = 1}^{N} {[\frac{y_{i}}{\exp (x_{i}^{T} {\hat{β}}_{M L E})}]}^{4}]}^{\frac{1}{2}} {[\frac{1}{N^{3}} \sum_{i = 1}^{N} \frac{{‖ x_{i} ‖}^{8}}{π_{i}^{2}}]}^{\frac{1}{2}} - \frac{1}{n} {(G_{N})}^{2} \\ = O_{P} (\frac{1}{n}) . \end{matrix}$ (14)

根据(13)式和(14)式结果，并利用切比雪夫不等式，可证明出(11)式。下面证明(12)式，我们通过计算很容易得到

$E [\frac{1}{N} \frac{\partial l^{*} ({\hat{β}}_{M L E})}{\partial β} | D_{N}] = \frac{1}{N} \frac{\partial l ({\hat{β}}_{M L E})}{\partial β} = 0.$ (15)

利用假设2和赫尔德不等式，我们有

$\begin{matrix} var {\frac{1}{N} \frac{\partial l^{*} ({\hat{β}}_{M L E})}{\partial β} | D_{N}} = \frac{1}{ϕ^{2} N^{2} n} \sum_{i = 1}^{N} \frac{{[y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E}) - 1]}^{2} {‖ x_{i} ‖}^{2}}{π_{i}} \\ \leq \frac{1}{ϕ^{2} n} {\frac{1}{N^{3}} \sum_{i = 1}^{N} \frac{{‖ x_{i} ‖}^{4}}{π_{i}^{2}}}^{\frac{1}{2}} \cdot {\frac{1}{N} \sum_{i = 1}^{N} {[y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E}) - 1]}^{4}}^{\frac{1}{2}} \\ = O_{p} (n^{- 1}) . \end{matrix}$ (16)

通过(15) (16)式和切比雪夫不等式，可证出(12)式。

证明(定理1)：我们记 $t_{i} (β) = \frac{y_{i} / \exp (x_{i}^{T} β) + x_{i}^{T} β}{ϕ}$ ， $t_{i}^{*} (β) = \frac{y_{i}^{*} / \exp ({(x_{i}^{*})}^{T} β) + {(x_{i}^{*})}^{T} β}{ϕ}$ 。则 $l^{*} (β) = \frac{1}{n} \sum_{i = 1}^{n} \frac{t_{i}^{*} (β)}{π_{i}^{*}}$ ， $l (β) = \sum_{i = 1}^{N} t_{i} (β)$ 。通过计算，我们可以直接得出

$E [\frac{1}{N} l^{*} (β) | D_{N}] = \frac{1}{N} l (β) .$ (17)

$\begin{matrix} var [\frac{1}{N} l^{*} (β) | D_{N}] = \frac{1}{n} [\frac{1}{N^{2}} \sum_{i = 1}^{N} \frac{t_{i}^{2} (β)}{π_{i}} - {(\frac{1}{N} \sum_{i = 1}^{N} t_{i} (β))}^{2}] \\ \leq \frac{1}{n N^{2}} \sum_{i = 1}^{N} \frac{t_{i}^{2} (β)}{π_{i}} \\ = O_{P} (\frac{1}{n}) . \end{matrix}$ (18)

最后一个等式是根据假设3得出的。根据(17)式和(18)式以及切比雪夫不等式，在给定全数据 $D_{N}$ 的条件下，我们有 $1 / N l^{*} (β) - 1 / N l (β) \to 0$ 。根据定理5.9 (Van der Vaart, 1998 [26] )，我们得到

$‖ \tilde{β} - {\hat{β}}_{M L E} ‖ = o_{P | D_{N}} (1) .$ (19)

使用泰勒定理(Ferguson, 1996 [27] )，我们有

$0 = \frac{{\dot{l}}_{j}^{*} (\tilde{β})}{N} = \frac{{\dot{l}}_{j}^{*} ({\hat{β}}_{M L E})}{N} + \frac{1}{N} \frac{\partial {\dot{l}}_{j}^{*} ({\hat{β}}_{M L E})}{\partial β^{T}} (\tilde{β} - {\hat{β}}_{M L E}) + \frac{1}{N} R_{j} .$ (20)

其中 ${\dot{l}}_{j}^{*} (\tilde{β})$ 是 $l^{*} (β)$ 关于 $β_{j}$ 的偏导，并且

$R_{j} = {(\tilde{β} - {\hat{β}}_{M L E})}^{T} \int_{0}^{1} \int_{0}^{1} \frac{\partial^{2} {\dot{l}}_{j}^{*} {{\hat{β}}_{M L E} + μ ν (\tilde{β} - {\hat{β}}_{M L E})}}{\partial β \partial β^{T}} ν d μ d ν (\tilde{β} - {\hat{β}}_{M L E}) .$ (21)

利用假设3和马尔可夫不等式，当 $τ \to \infty$ 时，

$P (\frac{1}{ϕ n N} \sum_{i = 1}^{n} \frac{y_{i}^{*} / \exp ({(x_{i}^{*})}^{T} β)}{π_{i}^{*}} {‖ x_{i}^{*} ‖}^{3} \geq τ | D_{N}) \leq \frac{1}{ϕ N τ} \sum_{i = 1}^{N} y_{i} / \exp (x_{i}^{T} β) {‖ x_{i} ‖}^{3} \to 0.$

因此，

$\begin{array}{l} \int_{0}^{1} \int_{0}^{1} \frac{\partial^{2} {\dot{l}}_{j}^{*} {{\hat{β}}_{M L E} + μ ν (\tilde{β} - {\hat{β}}_{M L E})}}{\partial β \partial β^{T}} ν d μ d ν \\ \leq \int_{0}^{1} \int_{0}^{1} ν ‖ \frac{\partial^{2} {\dot{l}}_{j}^{*} {{\hat{β}}_{M L E} + μ ν (\tilde{β} - {\hat{β}}_{M L E})}}{\partial β \partial β^{T}} ‖ d μ d ν \\ = O_{P | D_{N}} (N) . \end{array}$ (22)

将(19)式和(22)式带入(21)式中，于是

$1 / N R_{j} = o_{P | D_{N}} (1) .$ (23)

通过(20)式、(23)式以及引理1，得出

$\begin{matrix} \tilde{β} - {\hat{β}}_{M L E} = - {[\frac{1}{N} \frac{\partial {\dot{l}}_{j}^{*} ({\hat{β}}_{M L E})}{\partial β^{T}}]}^{- 1} {\frac{{\dot{l}}_{j}^{*} ({\hat{β}}_{M L E})}{N} + o_{P | D_{N}} (1)} \\ = {(G_{N}^{*})}^{- 1} {\frac{{\dot{l}}_{j}^{*} ({\hat{β}}_{M L E})}{N} + o_{P | D_{N}} (1)} \\ = O_{P | D_{N}} (n^{- \frac{1}{2}}) . \end{matrix}$ (24)

证明(定理2)：

$\frac{{\dot{l}}_{j}^{*} ({\hat{β}}_{M L E})}{N} = \frac{1}{n} \sum_{i = 1}^{n} \frac{[y_{i}^{*} / \exp ({(x_{i}^{*})}^{T} β) - 1] x_{i}^{*}}{N ϕ π_{i}^{*}} = \frac{1}{n} \sum_{i = 1}^{n} η_{i} .$ (25)

给定 $D_{N}$ ， $η_{1}, η_{2}, \dots, η_{n}$ 是独立同分布的。其均值

$E (η_{i} | D_{N}) = 0.$ (26)

通过假设2和赫尔德不等式，可计算出其方差为

$var (η_{i} | D_{N}) = n V_{n} = \frac{1}{ϕ^{2} N^{2}} \sum_{i = 1}^{N} \frac{{[y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E}) - 1]}^{2} {‖ x_{i} ‖}^{2}}{π_{i}} = O_{P} (1) .$ (27)

同时，对任何 $ε > 0$ ，存在 $ρ > 0$ ，

$\begin{array}{l} \sum_{i = 1}^{n} E {{‖ n^{- \frac{1}{2}} η_{i} ‖}^{2} I (‖ η_{i} ‖ > n^{\frac{1}{2}} ε) | D_{N}} \\ \leq \frac{1}{n^{1 + \frac{ρ}{2}} ε^{ρ}} \sum_{i = 1}^{n} E {{‖ η_{i} ‖}^{2 + ρ} I (‖ η_{i} ‖ > n^{\frac{1}{2}} ε) | D_{N}} \\ \leq \frac{1}{n^{1 + \frac{ρ}{2}} ε^{ρ}} \sum_{i = 1}^{n} E {{‖ η_{i} ‖}^{2 + ρ} | D_{N}} \\ = \frac{1}{n^{\frac{ρ}{2}}} \frac{1}{ε^{ρ}} \frac{1}{ϕ^{2 + ρ}} \frac{1}{N^{2 + ρ}} \sum_{i = 1}^{N} \frac{{[y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E}) - 1]}^{2 + ρ} {‖ x_{i} ‖}^{2 + ρ}}{π_{i}^{1 + ρ}} \\ \leq \frac{1}{n^{\frac{ρ}{2}}} \frac{1}{ε^{ρ}} \frac{1}{ϕ^{2 + ρ}} {\frac{1}{N} \sum_{i = 1}^{N} {[y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E}) - 1]}^{4 + 2 ρ}}^{\frac{1}{2}} {\frac{1}{N^{3 + 2 ρ}} \sum_{i = 1}^{N} \frac{{‖ x_{i} ‖}^{4 + 2 ρ}}{π_{i}^{2 + 2 ρ}}}^{\frac{1}{2}} \\ \to 0. \end{array}$

最后一个等式是利用假设2以及赫尔德不等式得出。根据(25) (26) (27)式以及Lindeber-Feller中心极限定理，在 $D_{N}$ 条件下，

$\frac{1}{N} V_{n}^{- \frac{1}{2}} {\dot{l}}^{*} ({\hat{β}}_{M I E}) = n^{- \frac{1}{2}} {var (η_{i} | D_{N})}^{- \frac{1}{2}} \sum_{i = 1}^{n} η_{i} \to N (0, I) .$

从(24)式，得出

$\tilde{β} - {\hat{β}}_{M L E} = \frac{1}{N} {(G_{N}^{*})}^{- 1} {\dot{l}}_{j}^{*} ({\hat{β}}_{M L E}) + o_{P | D_{N}} (1) .$ (28)

利用引理1结果，我们可得到

$\begin{matrix} {(G_{N}^{*})}^{- 1} - {(G_{N})}^{- 1} = - {(G_{N})}^{- 1} (G_{N}^{*} - G_{N}) {(G_{N}^{*})}^{- 1} \\ = O_{P | D_{N}} (n^{- \frac{1}{2}}) . \end{matrix}$ (29)

根据假设1和(27)式，经验证

$V_{N} = G_{N}^{- 1} V_{n} G_{N}^{- 1} = \frac{1}{n} G_{N}^{- 1} (n V_{n}) G_{N}^{- 1} = O_{P} (n^{- 1}) .$ (30)

因此，通过(28) (29) (30)式，我们可得到

$\begin{matrix} V_{N}^{- \frac{1}{2}} (\tilde{β} - {\hat{β}}_{M I E}) = V_{N}^{- \frac{1}{2}} N^{- 1} {(G_{N}^{*})}^{- 1} {\dot{l}}^{*} ({\hat{β}}_{M I E}) + o_{P | D_{N}} (1) \\ = V_{N}^{- \frac{1}{2}} G_{N}^{- 1} N^{- 1} {\dot{l}}^{*} ({\hat{β}}_{M I E}) + V_{N}^{- \frac{1}{2}} [{(G_{N}^{*})}^{- 1} - G_{N}^{- 1}] N^{- 1} {\dot{l}}^{*} ({\hat{β}}_{M I E}) + o_{P | D_{N}} (1) \\ = V_{N}^{- \frac{1}{2}} G_{N}^{- 1} V_{n}^{\frac{1}{2}} V_{n}^{- \frac{1}{2}} N^{- 1} {\dot{l}}^{*} ({\hat{β}}_{M I E}) + O_{P | D_{N}} (n^{- \frac{1}{2}}) . \end{matrix}$

由于在 $D_{N}$ 条件下， $N^{- 1} V_{n}^{- \frac{1}{2}} {\dot{l}}^{*} ({\hat{β}}_{M I E}) \to N (0, I)$ 。因此

$V_{N}^{- \frac{1}{2}} (\tilde{β} - {\hat{β}}_{M I E}) \to N (0, I) .$

即证明出定理2。下面利用定理2的结果来证明定理3。

证明(定理3)：利用迹的性质以及柯西–施瓦茨不等式可知，

$\begin{matrix} t r (V_{N}) = t r (G_{N}^{- 1} V_{n} G_{N}^{- 1}) \\ = \frac{1}{n ϕ} \sum_{i = 1}^{N} t r {\frac{{(y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})) - 1}^{2}}{π_{i}} G_{N}^{- 1} x_{i} x_{i}^{T} G_{N}^{- 1}} \\ = \frac{1}{n ϕ} \sum_{i = 1}^{N} {\frac{1}{π_{i}} {[(y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})) - 1]}^{2} {‖ G_{N}^{- 1} x_{i} ‖}^{2}} \\ = \frac{1}{n ϕ} \sum_{i = 1}^{N} \frac{1}{π_{i}} \sum_{i = 1}^{N} {\frac{1}{π_{i}} {[(y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})) - 1]}^{2} {‖ G_{N}^{- 1} x_{i} ‖}^{2}} \\ \geq \frac{1}{n ϕ} \sum_{i = 1}^{N} {| \frac{y_{i}}{\exp (x_{i}^{T} {\hat{β}}_{M L E})} - 1 | \cdot ‖ G_{N}^{- 1} x_{i} ‖}^{2} . \end{matrix}$

当且仅当 $π_{i} \propto | \frac{y_{i}}{\exp (x_{i}^{T} {\hat{β}}_{M L E})} - 1 | \cdot ‖ G_{N}^{- 1} x_{i} ‖$ 等号成立，即证明出(9)式。

$\begin{matrix} t r (V_{n}) = \frac{1}{n ϕ} \sum_{i = 1}^{N} t r {\frac{{(y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})) - 1}^{2}}{π_{i}} x_{i} x_{i}^{T}} \\ = \frac{1}{n ϕ} \sum_{i = 1}^{N} {\frac{1}{π_{i}} {[(y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})) - 1]}^{2} {‖ x_{i} ‖}^{2}} \\ = \frac{1}{n ϕ} \sum_{i = 1}^{N} \frac{1}{π_{i}} \sum_{i = 1}^{N} {\frac{1}{π_{i}} {[(y_{i} / \exp (x_{i}^{T} {\hat{β}}_{M L E})) - 1]}^{2} {‖ x_{i} ‖}^{2}} \\ \geq \frac{1}{n ϕ} \sum_{i = 1}^{N} {| \frac{y_{i}}{\exp (x_{i}^{T} {\hat{β}}_{M L E})} - 1 | \cdot ‖ x_{i} ‖}^{2} . \end{matrix}$

当且仅当 $π_{i} \propto | \frac{y_{i}}{\exp (x_{i}^{T} {\hat{β}}_{M L E})} - 1 | \cdot ‖ x_{i} ‖$ 等号成立，即证明出(10)式。

期刊菜单