二元逻辑回归模型中的一阶近似刀切Liu估计 A First-Order Approximated Jackknifed Liu Estimator in Binary Logistic Regression Model

doi:10.12677/AAM.2021.103087

Advances in Applied Mathematics
Vol. 10 No. 03 ( 2021 ), Article ID: 41341 , 11 pages
10.12677/AAM.2021.103087

二元逻辑回归模型中的一阶近似刀切Liu估计

邹媛

●How to Cite this Article

贵州民族大学，数据科学与信息工程学院，贵州贵阳

收稿日期：2021年2月25日；录用日期：2021年3月23日；发布日期：2021年3月30日

摘要

为了解决二元逻辑回归模型中的复共线性问题，我们结合一阶近似Liu估计和刀切法的优点提出了一个新的估计即一阶近似刀切Liu估计。研究得出了新估计偏差的优良性以及在均方误差矩阵、均方误差准则下优于一阶近似极大似然估计、一阶近似Liu估计和一阶近似刀切岭估计的充要或充分条件。更进一步使用了蒙特卡罗模拟和实证分析来探讨一阶近似刀切Liu估计偏差和在均方误差意义下的优良性。

关键词

二元逻辑回归模型，复共线性，一阶近似刀切Liu估计，偏差

A First-Order Approximated Jackknifed Liu Estimator in Binary Logistic Regression Model

Yuan Zou

School of Data Science and Information Engineering, Guizhou Minzu University, Guiyang Guizhou

Received: Feb. 25^th, 2021; accepted: Mar. 23^rd, 2021; published: Mar. 30^th, 2021

ABSTRACT

In order to solve the problem of multicollinearity in the binary logistic regression model, we combine the advantages of the first-order approximated Liu estimator and the jackknife procedure, and propose a new estimator, namely the first-order approximated jackknifed Liu estimator. The research obtained the sufficient and necessary or sufficient conditions for the new estimator to be superior to the first-order approximated maximum likelihood estimator, the first-order approximated Liu estimator and the first-order approximated jackknifed ridge estimatior under the bias, mean square error matrix or mean square error criterion. Furthermore, Monte Carlo simulation and empirical analysis are used to explore the first-order approximated jackknifed Liu estimator’s performance in the sense of bias and mean square error.

Keywords:Binary Logistic Regression Model, Multicollinearity, First-Order Approximated Jackknifed Liu Estimator, Bias

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

逻辑回归模型是生物统计学和健康科学中常用的二元数据建模方法。这种模型有时也称为概率模型，因为给定一组协变量，事件发生的概率可以估计。二元逻辑回归模型的基本假设有：模型的响应变量y的分量 $y_{i}$ 是相互独立且服从Bernoulli ( $π_{i}$ )分布，其中：

$π_{i} = \frac{\exp ({x^{'}}_{i} β)}{1 + \exp ({x^{'}}_{i} β)}$ , $i = 1, \dots, n$ (1)

${x^{'}}_{i}$ 是n × p样本资料矩阵X的第i行元素组成的向量。 $β = {(β_{1}, \dots, β_{p})}^{'}$ 为p × 1的系数向量。 $π_{i} = P (y_{i} = 1 | x_{i})$ 是在 $x_{i}$ 的条件下 $y_{i} = 1$ 的概率。

在逻辑回归模型中，一般使用极大似然(ML)方法来估计回归参数 $β$ ，模型(1)的对数似然函数为：

$L (β) = \sum_{i = 1}^{n} [y_{i} {x^{'}}_{i} β - \ln (1 + \exp ({x^{'}}_{i} β))]$ (2)

对等式(2)进行求导并令其等于0求 $L (β)$ 的极大值：

$\frac{\partial L (β)}{\partial β} = X^{'} (y - π) = 0$ (3)

由于等式(3)不是线性的，因此ML估计是通过Newton-Raphson方法求解方程组(3)而得。用Newton-Raphson方法给出了 $β$ 一个数值解：

${\hat{β}}^{(m)} = {\hat{β}}^{(m - 1)} + {(X^{'} {\hat{V}}^{(m - 1)} X)}^{- 1} X^{'} (y - {\hat{π}}_{i}^{(m - 1)})$ (4)

在上述迭代运算中， ${\hat{β}}^{(m - 1)}$ 是 $β$ 的第 $m - 1$ 次迭代估计的向量， ${\hat{π}}_{i}^{(m - 1)}$ 是 ${\hat{π}}^{(m - 1)}$ 的第i个元素， ${\hat{V}}^{(m - 1)} = d i a g ({\hat{π}}_{i}^{(m - 1)}) (1 - {\hat{π}}_{i}^{(m - 1)})$ 是权重矩阵。当 $| {\hat{β}}^{(m)} - {\hat{β}}^{(m - 1)} | < δ$ 时收敛，运算终止，其中 $δ$ 为事先给定的计算精度，求得 ${\hat{β}}^{(m)}$ 为极大似然估计 $\hat{β}$ 的近似解 ${\hat{β}}_{M L E}$ ：

${\hat{β}}_{M L E} = {(X^{'} \hat{V} X)}^{- 1} X^{'} \hat{V} \hat{z}$ (5)

其中， $\hat{z} = X \hat{β} + {\hat{V}}^{- 1} (y - \hat{π})$ ， $\hat{V}$ 是一个对角矩阵且第i个对角元素为 ${\hat{π}}_{i} (1 - {\hat{π}}_{i})$ ， $\hat{π}$ 为收敛后的取值。

在逻辑回归模型中，当 $X^{'} \hat{V} X$ 的一些特征值很小时，极大似然估计(MLE)的方差会膨胀，可能导致符号与现实情况不符，统计推断可能出现错误。为了克服这个问题，学者们提出了很多有偏估计来改进MLE。例如，Schaefer等 [1] 提出了岭估计(RE)：

$\hat{β} (k) = {(X \hat{V} X + k I)}^{- 1} X \hat{V} X {\hat{β}}_{M L E}$ , $k > 0$ (6)

k为岭参数。

Månsson等 [2] 提出的Liu估计(LE)，表达式如下：

$\hat{β} (d) = {(X^{'} \hat{V} X + I)}^{- 1} (X^{'} \hat{V} X + d I) {\hat{β}}_{M L E}$ , $0 < d < 1$ (7)

为了减小复共线性的影响，基于Newton-Raphson方法，LeCessie和Van Houwelingen [3] 提出了与Schaefer等人 [1] 提出的岭估计渐近等价的一阶近似岭估计(FAR)，表达式如下：

${\hat{β}}^{(1)} (k) = {(X {\hat{V}}^{(0)} X + k I)}^{- 1} X {\hat{V}}^{(0)} X {\hat{β}}^{(1)} (M L)$ , $k > 0$ (8)

其中 ${\hat{V}}^{(0)}$ 是真实参数值 $β_{0}$ 估计的权重矩阵。 ${\hat{β}}^{(1)} (M L)$ 是由等式(4)所得的一阶近似极大似然估计(FAE)，表达式为：

${\hat{β}}^{(1)} (M L) = {(X {\hat{V}}^{(0)} X)}^{- 1} X {\hat{V}}^{(0)} {\hat{z}}^{( 0 )}$

Özkale [4] 提出了一阶近似Liu估计(FAL)，表达式如下：

${\hat{β}}^{(1)} (d) = {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 1} (X^{'} {\hat{V}}^{(0)} X + d I) {\hat{β}}^{(1)} (M L)$ , $0 < d < 1$ (9)

为了减小估计的偏差，Quenouille [5] 和Tukey [6] 提出了刀切法。它的基本思想是利用一种特殊的方法来处理实验数据，从而得到一个未知参数的统计估计量。即系统地从数据中去除每个观测值后重新计算估计量，再将这些估计量取平均值。在二元逻辑回归模型中，结合一阶近似岭估计和刀切法，Özkale和Arıcan [7] 提出了一阶近似刀切岭估计(FAJR)。表达式如下：

${\tilde{β}}^{(1)} (k) = (I - k^{2} {(X {\hat{V}}^{(0)} X + k I)}^{- 2}) {\hat{β}}^{(1)} (M L)$ , $k > 0$ (10)

2. 提出的估计

在本文中，我们结合一阶近似Liu估计和刀切法，提出了一个新的估计即一阶近似刀切Liu估计。接下来我们应用刀切法来定义一阶近似刀切Liu估计。

当X和y的第i个观测值删除时一阶近似Liu估计的表达式为：

${\hat{β}}_{- i}^{(1)} (d) = {({X^{'}}_{- i} {\hat{V}}_{- i}^{(0)} X_{- i} + I)}^{- 1} ({X^{'}}_{- i} {\hat{V}}_{- i}^{(0)} {\hat{z}}_{- i}^{(0)} + d {\hat{β}}_{- i}^{(1)} (M L))$ (11)

其中， ${X^{'}}_{- i} {\hat{V}}_{- i}^{(0)} X_{- i} = X^{'} {\hat{V}}^{(0)} X - x_{i} {\hat{v}}_{i}^{(0)} {x^{'}}_{i}$ ， ${X^{'}}_{- i} {\hat{V}}_{- i}^{(0)} {\hat{z}}_{- i}^{(0)} = X^{'} {\hat{V}}^{(0)} {\hat{z}}^{(0)} - x_{i} {\hat{v}}_{i}^{(0)} {\hat{z}}_{i}^{(0)}$ 。化简可得：

$\begin{matrix} {\hat{β}}_{- i}^{(1)} (d) = {\hat{β}}^{(1)} (d) - \frac{1}{1 - h_{i i}} {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 1} x_{i} {\hat{v}}_{i}^{(0)} ({\hat{z}}_{i}^{(0)} - {x^{'}}_{i} {\hat{β}}^{(1)} (d)) \\ - d \frac{1}{(1 - h_{i i}) (1 - h_{i})} {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 1} x_{i} {\hat{v}}_{i}^{(0)} {x^{'}}_{i} {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 1} \\ \cdot {(X^{'} {\hat{V}}^{(0)} X)}^{- 1} x_{i} {\hat{v}}_{i}^{(0)} ({\hat{z}}_{i}^{(0)} - {x^{'}}_{i} {\hat{β}}^{(1)} (M L)) \end{matrix}$ (12)

其中 $h_{i i} = {\hat{v}}_{i}^{(0)} {x^{'}}_{i} {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 1} x_{i}$ ， $h_{i} = {\hat{v}}_{i}^{(0)} {x^{'}}_{i} {(X^{'} {\hat{V}}^{(0)} X)}^{- 1} x_{i}$ 。

根据Hinkley [8] 我们可以得出加权伪值：

$Q_{i} = {\hat{β}}^{(1)} (d) + n (1 - h_{i i}) ({\hat{β}}^{(1)} (d) - {\hat{β}}_{- i}^{(1)} (d))$ (13)

和加权伪值相对应的加权刀切估计：

${\tilde{β}}^{(1)} (d) = n^{- 1} \sum Q_{i}$ (14)

根据等式(12)，(13)，(14)， $\sum_{i = 1}^{n} x_{i} {\hat{v}}_{i}^{(0)} {\hat{z}}_{i}^{(0)} = X^{'} {\hat{V}}^{(0)} {\hat{z}}^{(0)}$ 和 $\sum_{i = 1}^{n} x_{i} {\hat{v}}_{i}^{(0)} {x^{'}}_{i} = X^{'} {\hat{V}}^{(0)} X$ 我们在逻辑回归模型中定义了一个新的估计即一阶近似刀切Liu估计(FAJL)，表达式为：

$\begin{matrix} {\tilde{β}}^{(1)} (d) = {(I - {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 1} X^{'} {\hat{V}}^{(0)} X) {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 1} (X^{'} {\hat{V}}^{(0)} X + d I) \\ + {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 1} X^{'} {\hat{V}}^{(0)} X} {\hat{β}}^{(1)} (M L) \end{matrix}$ (15)

3. 一阶近似刀切Liu估计的性质

为了方便讨论一阶近似刀切Liu估计的性质，我们对矩阵 $Φ = X^{'} V^{(0)} X$ 进行特征分解，可以表示为 $Φ = X^{'} {\hat{V}}^{(0)} X = T Λ T^{'}$ ，这里 $Λ = T^{'} Φ T = Z^{'} {\hat{V}}^{(0)} Z = d i a g (λ_{j})$ 是由矩阵 $X^{'} {\hat{V}}^{(0)} X$ 的特征值组成的对角矩阵，且 $λ_{1} \geq λ_{2} \geq \dots \geq λ_{p}$ 。 $T = (T_{1} \dots T_{p})$ 是由矩阵 $X^{'} {\hat{V}}^{(0)} X$ 的特征值所对应的标准化特征向量组成的 $p \times p$ 阶正交矩阵。 $Z = X T$ ， $α = T^{'} β$ 。为了方便对所提出的新估计与其他估计进行比较，我们首先定义参数 $β$ 的估计 $\hat{β}$ 的偏差和偏差的平方和分别为：

$b i a s (\hat{β}) = E (\hat{β}) - β$ (16)

${‖ B i a s (\hat{β}) ‖}^{2} = b i a s {(\hat{β})}^{'} b i a s (\hat{β})$ (17)

均方误差矩阵：

$M S E M (\hat{β}) = E (\hat{β} - β) {(\hat{β} - β)}^{'}$ (18)

均方误差：

$M S E (\hat{β}) = E (\hat{β} - β^{'}) (\hat{β} - β)$ (19)

为了在均方误差矩阵准则下对一阶近似极大似然估计、一阶近似刀切岭估计、一阶近似Liu估计和一阶近似刀切Liu估计进行比较，我们使用到了如下引理：

引理1 (Farebrother [9] )设A是一个 $n \times n$ 阶的正定矩阵，c是一个 $n \times 1$ 阶非零列向量，u是正的标量。如果 $c^{'} A^{- 1} c < u$ ，则 $u A - c c^{'}$ 是正定的。

定理1. ${‖ B i a s ({\tilde{β}}^{(1)} (d)) ‖}^{2} < {‖ B i a s ({\hat{β}}^{(1)} (d)) ‖}^{2}$ 。

证明：

$b i a s ({\hat{β}}^{(1)} (d)) = (d - 1) {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 1} a^{0}$ (20)

$b i a s ({\tilde{β}}^{(1)} (d)) = (d - 1) {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 2} a^{0}$ (21)

则

${‖ B i a s ({\hat{β}}^{(1)} (d)) ‖}^{2} - {‖ B i a s ({\tilde{β}}^{(1)} (d)) ‖}^{2} = {(a^{0})}^{'} G_{1} a^{0}$

其中 $G_{1} = {(d - 1)}^{2} {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 2} - {(d - 1)}^{2} {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 4}$ ， $G_{1}$ 是对角元素为 $\frac{{(d - 1)}^{2} ({(λ_{i} + 1)}^{2} - 1)}{{(λ_{i} + 1)}^{4}}$ 的对角矩阵， $λ_{i}$ 是矩阵 $X^{'} {\hat{V}}^{(0)} X$ 的第i个特征值，所以 $\frac{{(d - 1)}^{2} ({(λ_{i} + 1)}^{2} - 1)}{{(λ_{i} + 1)}^{4}} \geq 0$ ，即 ${(a^{0})}^{'} G_{1} a^{0}$ 是正定的。定理得证。

定理2. 若 $k^{4} {(λ_{i} + 1)}^{4} - {(d - 1)}^{2} {(λ_{i} + k)}^{4} > 0$ 则 ${‖ B i a s ({\tilde{β}}^{(1)} (d)) ‖}^{2} < {‖ B i a s ({\tilde{β}}^{(1)} (k)) ‖}^{2}$ 。

证明：由等式(16)得，一阶近似刀切岭估计的偏差为：

$b i a s ({\tilde{β}}^{(1)} (k)) = - k^{2} {(X^{'} {\hat{V}}^{(0)} X + k I)}^{- 2} a^{0}$ (22)

则

${‖ B i a s ({\tilde{β}}^{(1)} (k)) ‖}^{2} - {‖ B i a s ({\tilde{β}}^{(1)} (d)) ‖}^{2} = {(a^{0})}^{'} G_{2} a^{0}$

其中 $G_{2} = k^{4} {(X^{'} {\hat{V}}^{(0)} X + k I)}^{- 4} - {(d - 1)}^{2} {(X^{'} {\hat{V}}^{(0)} X + I)}^{- 4}$ ， $G_{2}$ 是对角元素为 $\frac{k^{4} {(λ_{i} + 1)}^{4} - {(d - 1)}^{2} {(λ_{i} + k)}^{4}}{{(λ_{i} + 1)}^{4} {(λ_{i} + k)}^{4}}$ 的对角矩阵，所以当 $k^{4} {(λ_{i} + 1)}^{4} - {(d - 1)}^{2} {(λ_{i} + k)}^{4} > 0$ 时 $\frac{k^{4} {(λ_{i} + 1)}^{4} - {(d - 1)}^{2} {(λ_{i} + k)}^{4}}{{(λ_{i} + 1)}^{4} {(λ_{i} + k)}^{4}} > 0$ ，即 ${(a^{0})}^{'} G_{2} a^{0}$ 是正定的。定理得证。

定理3. 当 $0 < d < 1$ 时，一阶近似刀切Liu估计在MSEM准则下优于一阶近似极大似然估计当且仅当

$(1 - d) {(a^{0})}^{'} {2 Λ + 4 I + (d + 1) Λ^{- 1}}^{- 1} a^{0} < 1$ 。

证明：令 $M_{1} (d) = M S E M ({\hat{β}}^{(1)} (M L)) - M S E M ({\tilde{β}}^{(1)} (d))$ ，由公式(18)可得：

$M_{1} (d) = M_{1} - {(d - 1)}^{2} {(Λ + I)}^{- 2} a^{0} {(a^{0})}^{'} {(Λ + I)}^{- 2}$

其中

$\begin{matrix} M_{1} = Λ^{- 1} - {(I - {(Λ + I)}^{- 1} Λ) {(Λ + I)}^{- 1} (Λ + d I) + {(Λ + I)}^{- 1} Λ} Λ^{- 1} \\ \cdot {(Λ + d I) {(Λ + I)}^{- 1} (I - {(Λ + I)}^{- 1} Λ) + Λ {(Λ + I)}^{- 1}} \\ = (1 - d) {(Λ + I)}^{- 2} {2 Λ + 4 I + (d + 1) Λ^{- 1}} {(Λ + I)}^{- 2} \end{matrix}$

因此 $M_{1} (d)$ 是正定的当且仅当 $M_{1} - {(d - 1)}^{2} {(Λ + I)}^{- 2} a^{0} {(a^{0})}^{'} {(Λ + I)}^{- 2}$ 正定。由引理1可得，当 $0 < d < 1$ ， $(1 - d) {(a^{0})}^{'} {2 Λ + 4 I + (d + 1) Λ^{- 1}}^{- 1} a^{0} < 1$ 时， $M_{1} - {(d - 1)}^{2} {(Λ + I)}^{- 2} a^{0} {(a^{0})}^{'} {(Λ + I)}^{- 2}$ 是正定的。定理得证。

定理4. 一阶近似刀切Liu估计在MSEM准则下优于一阶近似Liu估计当且仅当

$(d - 1) {(a^{0})}^{'} {2 Λ^{2} + (d + 3) Λ + 2 d I}^{- 1} a^{0} < 1$ 。

证明：令 $M_{2} (d) = M S E M ({\hat{β}}^{(1)} (d)) - M S E M ({\tilde{β}}^{(1)} (d))$ ，由公式(18)可得：

$M_{2} (d) = M_{2} + {(d - 1)}^{2} {(Λ + I)}^{- 1} a^{0} {(a^{0})}^{'} {(Λ + I)}^{- 1} - {(d - 1)}^{2} {(Λ + I)}^{- 2} a^{0} {(a^{0})}^{'} {(Λ + I)}^{- 2}$

其中

$\begin{matrix} M_{2} = {{(Λ + I)}^{- 1} (Λ + d I)} Λ^{- 1} {(Λ + d I) {(Λ + I)}^{- 1}} - {(I - {(Λ + I)}^{- 1} Λ) {(Λ + I)}^{- 1} (Λ + d I) \\ + {(Λ + I)}^{- 1} Λ} Λ^{- 1} {(Λ + d I) {(Λ + I)}^{- 1} (I - {(Λ + I)}^{- 1} Λ) + Λ {(Λ + I)}^{- 1}} \\ = (d - 1) {(Λ + I)}^{- 2} {2 Λ^{2} + (d + 3) Λ + 2 d I} {(Λ + I)}^{- 2} \end{matrix}$

因为 ${(d - 1)}^{2} {(Λ + I)}^{- 1} a^{0} {(a^{0})}^{'} {(Λ + I)}^{- 1}$ 是正定的，因此 $M_{2} (d)$ 是正定的当且仅当 $M_{2} - {(d - 1)}^{2}$ ${(Λ + I)}^{- 2} a^{0} {(a^{0})}^{'} {(Λ + I)}^{- 2}$ 正定。由引理1可得，当 $0 < d < 1$ ， $(d - 1) {(a^{0})}^{'} {2 Λ^{2} + (d + 3) Λ + 2 d I}^{- 1} a^{0} < 1$ 时， $M_{2} - {(d - 1)}^{2} {(Λ + I)}^{- 2} a^{0} {(a^{0})}^{'} {(Λ + I)}^{- 2}$ 是正定的。定理得证。

定理5. 对于任意的i，如果 $0 < d \leq \frac{{(a_{i}^{0})}^{2} - (2 λ_{i} + 3) / (λ_{i} + 2)}{{(a_{i}^{0})}^{2} + 1 / λ_{i}} < 1$ ，则 $M S E ({\tilde{β}}^{(1)} (d)) \leq M S E ({\hat{β}}^{(1)} (d))$ 。

证明：根据等式(19)可得出：

$M S E ({\tilde{β}}^{(1)} (d)) = \sum_{i = 1}^{p} \frac{{(λ_{i}^{2} + 2 λ_{i} + d)}^{2} + {(d - 1)}^{2} {(a_{i}^{0})}^{2} λ_{i}}{λ_{i} {(λ_{i} + 1)}^{4}}$ (23)

$M S E ({\hat{β}}^{(1)} (d)) = \sum_{i = 1}^{p} \frac{{(λ_{i} + d)}^{2} + {(d - 1)}^{2} {(a_{i}^{0})}^{2} λ_{i}}{λ_{i} {(λ_{i} + 1)}^{2}}$ (24)

它们的差：

$\begin{array}{l} M S E ({\tilde{β}}^{(1)} (d)) - M S E ({\hat{β}}^{(1)} (d)) \\ = \sum_{i = 1}^{p} \frac{{(λ_{i}^{2} + 2 λ_{i} + d)}^{2} + {(d - 1)}^{2} {(a_{i}^{0})}^{2} λ_{i}}{λ_{i} {(λ_{i} + 1)}^{4}} - \sum_{i = 1}^{p} \frac{{(λ_{i} + d)}^{2} + {(d - 1)}^{2} {(a_{i}^{0})}^{2} λ_{i}}{λ_{i} {(λ_{i} + 1)}^{2}} \\ = \sum_{i = 1}^{p} {\frac{{(λ_{i}^{2} + 2 λ_{i} + d)}^{2} - {(λ_{i} + 1)}^{2} + {(d - 1)}^{2} {(λ_{i} + d)}^{2}}{λ_{i} {(λ_{i} + 1)}^{4}} + \frac{{(d - 1)}^{2} {(a_{i}^{0})}^{2}}{{(λ_{i} + 1)}^{4}} - \frac{{(d - 1)}^{2} {(a_{i}^{0})}^{2}}{{(λ_{i} + 1)}^{2}}} \\ = (1 - d) \sum_{i = 1}^{p} \frac{2 λ_{i}^{2} + (d + 3) λ_{i} + 2 d}{{(λ_{i} + 1)}^{4}} + {(d - 1)}^{2} \sum_{i = 1}^{p} \frac{{(a_{i}^{0})}^{2}}{{(λ_{i} + 1)}^{4}} - {(d - 1)}^{2} \sum_{i = 1}^{p} \frac{{(a_{i}^{0})}^{2}}{{(λ_{i} + 1)}^{2}} \\ = (1 - d) \sum_{i = 1}^{p} \frac{1}{{(λ_{i} + 1)}^{4}} f_{i} ( d ) \end{array}$

其中 $f_{i} (d) = λ_{i} (2 λ_{i} + 3) - α_{i}^{0} λ_{i} (λ_{i} + 2) + d (λ_{i} + 2) (1 + λ_{i} {(a_{i}^{0})}^{2})$ 。

当 $1 < {(a_{i}^{0})}^{2} (λ_{i} + 2) / (2 λ_{i} + 3)$ ， $d \leq \frac{{(a_{i}^{0})}^{2} - (2 λ_{i} + 3) / (λ_{i} + 2)}{{(a_{i}^{0})}^{2} + 1 / λ_{i}}$ 时 $f_{i} (d) \leq 0$ 。因为 $0 < d < 1$ 故 $M S E ({\tilde{β}}^{(1)} (d)) - M S E ({\hat{β}}^{(1)} (d)) \leq 0$ 。定理得证。

由定理5，我们可以得出如下两个推论：

推论1. 假设

$0 < d \leq \min {\frac{{(a_{i}^{0})}^{2} - (2 λ_{i} + 3) / (λ_{i} + 2)}{{(a_{i}^{0})}^{2} + 1 / λ_{i}}} < 1$

则 $M S E (\tilde{β} (d)) \leq M S E (\hat{β} (d))$ 。

推论2. 假设

$\max {0, \frac{{(a_{i}^{0})}^{2} - (2 λ_{i} + 3) / (λ_{i} + 2)}{{(a_{i}^{0})}^{2} + 1 / λ_{i}}} < d < 1$

则 $M S E ({\tilde{β}}^{(1)} (d)) > M S E ({\hat{β}}^{(1)} (d))$ 。

4. 蒙特卡罗模拟

为了进一步对理论成果进行说明，针对不同的复共线性程度及不同的自相关程度，本节我们用Monte Carlo模拟方法探讨上述各类估计在偏差和均方误差准则下的优良性。解释变量的数据产生采用与McDonald和Galarneau [10] 和Kibria [11] 相同的方法，即由以下方程生成：

$x_{i j} = {(1 - ρ^{2})}^{1 / 2} z_{i j} + ρ z_{i p + 1}$ , $i = 1, \dots, n; j = 1, \dots, p$ (25)

其中， $z_{i j}$ 是标准正态随机变量产生的随机数； $ρ$ 是给定的常数； $ρ^{2}$ 表示两个不同解释变量之间的相关性，因而 $ρ^{2}$ 某种程度上体现了模型复共线性的程度。在模拟实验中，我们取协变量的数目 $p = 4$ 和 $p = 6$ ，样本数n考虑100、150和200三种情况， $ρ$ 考虑0.85、0.9、0.95和0.99四种不同的情况。偏参数d我们考虑取0.1、0.3、0.5、0.7和0.9五种不同的取值。

响应变量对应的随机数来自伯努利分布 $B e (π_{i})$ ，其中 $π_{i} = \frac{\exp ({x^{'}}_{i} β)}{1 + \exp ({x^{'}}_{i} β)}$ 。对于系数向量 $β$ ，采用与Kibria [11] 相同的方法，对其做一定的限制，使其满足 $\sum_{j = 1}^{p} β_{j}^{2} = 1$ 。本次模拟重复2000次。估计的MSE可以通过以下式子得到：

$M S E (\hat{β}) = \frac{1}{2000} \sum_{m = 1}^{2000} t r (M S E M ({\hat{β}}_{(m)}))$ (26)

其中 ${\hat{β}}_{(m)}$ 是估计 $\hat{β}$ 的第m次所得的估计值。模拟结果见表1~表4。

观察表1和表2可以看到，在不同复共线性程度、样本量、协变量的数目和偏参数d的情况下，一阶近似刀切Liu估计的均方误差值小于极大似然估计和一阶近似极大似然估计的均方误差值，即一阶近似刀切Liu估计在均方误差准则下优于极大似然估计和一阶近似极大似然估计。同时由表1和表2可以看出，当偏参数d取0.1时一阶近似刀切Liu估计的均方误差值小于d取0.3、0.5、0.7和0.9时一阶近似刀切Liu估计的均方误差值。当固定给定的d、n和p值时，各估计的均方误差值随着复共线性程度 $ρ$ 的增大而增大。当固定给定的d、n和 $ρ$ 值时，各估计的均方误差值随着协变量的数目p的增大而增大。当固定给定的d、p和 $ρ$ 值时，各估计的均方误差值随着样本量n的增大而减小。

Table 1. Estimated MSE values of the MLE, FAE and FAJL when p = 4

表1. 当p = 4时，估计MLE、FAE和FAJL的MSE

Table 2. Estimated MSE values of the MLE, FAE and FAJL when p = 6

表2. 当p = 6时，估计MLE、FAE和FAJL的MSE

Table 3. The sum of squares of the bias values of the MLE, FAE and FAJL when p = 4

表3. 当p = 4时，估计FAL和 FAJL的偏差的平方和

Table 4. The sum of squares of the bias values of the MLE, FAE and FAJL when p = 6

表4. 当p = 6时，估计FAL和 FAJL的偏差的平方和

根据表3和表4可知，在不同复共线性程度、样本量、协变量的数目和偏参数的情况下，一阶近似刀切Liu估计的偏差的平方和始终小于一阶近似Liu估计的偏差的平方和。且当偏参数d取0.9时一阶近似Liu估计和一阶近似刀切Liu估计的偏差的平方和小于d取0.1、0.3、0.5和0.7时一阶近似Liu估计和一阶近似刀切Liu估计的偏差的平方和。当固定给定的d、n和p值时，各估计的偏差的平方和随着复共线性程度 $ρ$ 的增大而增大。当固定给定的d、n和 $ρ$ 值时，各估计的偏差的平方和随着协变量的数目p的增大而增大。当固定给定的d、p和 $ρ$ 值时，各估计的偏差的平方和随着样本量n的增大而减小。

5. 实证分析

为了验证我们的理论结果，这部分我们考虑实例来分析所提出估计的优良性。我们所使用的数据来自Agresti Alan [12]。数据涉及Heinze和Schemper [13] 所描述的一种关于子宫内膜癌的研究。分析了79个案例，因变量y为组织学分级(低分级y取0，高分级时 $y = 1$ )，其中低分级的病人有30个，高分级患者有49个。涉及的三个风险因素： $x_{1}$ 为新血管生成 (有： $x_{1} = 1$ ，无： $x_{1} = 0$ )， $x_{2}$ 为子宫动脉搏动指数(取值范围在0到49之间)， $x_{3}$ 为子宫内膜高度(取值范围在0.27到3.61之间)。

迭代的计算精度δ我们取10⁻⁶，得到矩阵 $X^{'} \hat{V} X$ 的特征值 $λ_{1} = 3068.0790$ ， $λ_{2} = 7.1753$ ， $λ_{3} = 0.3069$ ， $λ_{4} = 1.2496 \times 10^{- 7}$ 。条件数 $κ = \sqrt{λ_{\max} / λ_{\min}} = 156687.8$ ，因此可以判断数据集存在严重的复共线性问题。

为了对我们所提的新估计一阶近似刀切Liu估计的优良性进行研究。我们得到极大似然估计、一阶近似极大似然估计和一阶近似刀切Liu估计的均方误差值，一阶近似Liu估计和一阶近似刀切Liu估计偏差的平方值和，如表5和表6：

Table 5. Estimated MSE values of the MLE, FAE and FAJL

表5. 估计MLE、FAE和FAJL的MSE

Table 6. The sum of squares of the bias values of the FAL and FAJL when p = 6

表6. 估计FAL和FAJL的偏差的平方和

通过表5我们可以看出，对于给定的d值，新估计一阶近似刀切Liu估计的均方误差值小于极大似然估计和一阶近似极大似然估计的均方误差值，且当 $d = 0.1$ 时一阶近似刀切Liu估计的均方误差值 $M S E ({\tilde{β}}^{(1)} (d)) = 7.4009$ 最小。再由表6我们可以看到一阶近似刀切Liu估计偏差的平方和小于一阶近似Liu估计偏差的平方和，且当 $d = 0.9$ 时一阶近似刀切Liu估计偏差的平方和取值最小 ${‖ B i a s ({\tilde{β}}^{(1)} (d)) ‖}^{2}$ $= 0.0571$ ，同时对我们所得理论结果定理2进行了验证。

6. 结论

本文中，针对二元逻辑回归模型中的复共线性问题，我们在一阶近似Liu估计的基础上使用刀切法的思想提出了一个新估计，即一阶近似刀切Liu估计。研究了一阶近似刀切Liu估计的偏差以及在均方误差矩阵和均方误差准则下的优良性。证明并得出了新估计的偏差平方和总是优于一阶近似Liu估计以及新估计优于一阶近似刀切岭估计的充分条件，得出了一阶近似刀切Liu估计在均方误差矩阵、均方误差准则下优于一阶近似极大似然估计、一阶近似Liu估计和一阶近似刀切岭估计的充要或者充分条件。此外，我们使用蒙特卡罗模拟，得到了一阶近似刀切Liu估计在均方误差准则下优于极大似然估计和一阶近似极大似然估计，各估计的均方误差值随着复共线性程度 $ρ$ 的增大而增大，各估计的均方误差值随着协变量的数目p的增大而增大，各估计的均方误差值随着样本量n的增大而减小。然后利用实证分析探讨了一阶近似刀切Liu估计在实际应用中的实现问题，证明一阶近似刀切Liu估计能够有效地解决复共线性问题。

文章引用

邹媛. 二元逻辑回归模型中的一阶近似刀切Liu估计
A First-Order Approximated Jackknifed Liu Estimator in Binary Logistic Regression Model[J]. 应用数学进展, 2021, 10(03): 790-800. https://doi.org/10.12677/AAM.2021.103087

参考文献

1. Schaefer, R.L., Roi, L.D. and Wolfe, R.A. (1984) A Ridge Logistic Estimator. Communications in Statistics-Theory and Methods, 13, 99-113. https://doi.org/10.1080/03610928408828664

2. Månsson, K., Golam Kibria, B.M. and Shukur, G. (2012) On Liu Estimators for the Logit Regression Model. Economic Modelling, 29, 1483-1488. https://doi.org/10.1016/j.econmod.2011.11.015

3. LeCessie, S. and VanHouwelingen, J.C. (1992) Ridge Estimators in Logistic Regression. Journal of Applied Statistics, 41, 191-201. https://doi.org/10.2307/2347628

4. Revan Özkale, M. (2016) Iterative Algorithms of Biased Estimation Methods in Binary Logistic Regression. Statistical Papers, 57, 991-1016. https://doi.org/10.1007/s00362-016-0780-9

5. Quenouille, M.H. (1956) Notes on Bias in Estimation. Biometrika, 43, 353-360. https://doi.org/10.1093/biomet/43.3-4.353

6. Tukey, J.W. (1958) Bias and Confidence in Not Quite Large Samples (Abstract). Annals of Mathematical Statistics, 29, 614. https://doi.org/10.1214/aoms/1177706635

7. Revan Özkale, M. and Arıcan, E. (2019) A First-Order Approximated Jackknifed Ridge Estimator in Binary Logistic Regression. Computational Statistics, 34, 683-712. https://doi.org/10.1007/s00180-018-0851-6

8. Hinkley, V. (1977) Jackknifing in Unbalanced Situations. Technometrics, 19, 285-292. https://doi.org/10.1080/00401706.1977.10489550

9. Farebrother, R.W. (1976) Further Results on the Mean Square Error of Ridge Regression. Journal of the Royal Statistical Society B, 28, 248-250. https://doi.org/10.1111/j.2517-6161.1976.tb01588.x

10. Gary, C., McDonald, D. and, Galarneau, I. (1975) A Monte Carlo Evaluation of Some Ridge-Type Estimators. Journal of the American Statistical Association, 70, 407-416. https://doi.org/10.1080/01621459.1975.10479882

11. Kibria, B.M.G. (2003) Performance of Some New Ridge Regression Estimators. Communications in Statistics Simulation and Computation, 32, 419-435. https://doi.org/10.1081/SAC-120017499

12. Agresti, A. (2015) Foundations of Linear and Generalized Linear Models. Wiley, Hoboken.

13. Heinze, G. and Schemper, M. (2002) A Solution to the Problem of Separation in Logistic Regression. Statistics in Medicine, 21, 2409-2419. https://doi.org/10.1002/sim.1047

期刊菜单