东北大学秦皇岛分校数学与统计学院，河北 秦皇岛

收稿日期：2023年2月7日；录用日期：2023年3月7日；发布日期：2023年3月14日

摘要

本文中，我们介绍指数族分布并给出相关定义。利用微分运算和积分运算互逆推导几何分布高阶矩的递归公式，并运用特征函数与高阶矩的关系推导伽马分布高阶矩的一般公式。

关键词

指数族分布，几何分布，高阶矩，微积分，特征函数

Higher Order Moments of Exponential Family Distribution

Zhenghao Cai

School of Mathematics and Statistics, Northeastern University at Qinhuangdao, Qinhuangdao Hebei

Received: Feb. 7^th, 2023; accepted: Mar. 7^th, 2023; published: Mar. 14^th, 2023

ABSTRACT

In this paper, we introduce the exponential family distribution and give the relevant definition. The recursive formula of higher order moments of geometric distribution is derived by the reciprocal differential operation and integral operation, and the general formula of higher order moments of gamma distribution is derived by the relation between characteristic function and higher order moments.

Keywords:Exponential Family Distribution, Geometric Distribution, Higher Order Moments, Calculus, Eigenfunction

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

指数族分布亦称指数型分布族，是统计中最重要的参数分布族，包含了几何分布、正态分布等。高阶矩是变量在不同的阶数距离零点和中心的距离，在风险估计、颜色传输等领域有着广泛的应用。

高阶矩的研究是概率论领域问题的重要组成。1785年，俄国数学家李雅普诺夫创造性地提出特征函数，为后世研究高阶矩打开了思路。在数学成果不断完善的过程中，高阶矩的研究从理论逐渐被运用到不同模型的优化中，如颜色传输中，高阶矩的引入优化了图像细节，增加了颜色变换效果的真实性；在金融投资中，高阶矩波动性建模不断发展，高阶矩风险的考量为投资决策提供可靠的理论依据；同时，在研究未知概率密度函数时，高阶矩可以获得较好逼近效果的级数展开式……目前以高阶矩为基础建立的部分具有可行性的模型尚未在国内得到重视，亟需厚实的理论基础佐证 [1] [2] [3] [4] 。

本文主要通过对几何分布和伽马分布高阶矩的求解加深读者对指数族分布的认识，并且为重要分布高阶矩在不同领域中的应用提供理论分析。本文的结构安排如下：

2节中将介绍指数族分布并给出相关实例。

3节中将研究几何分布期望和方差，并将微分和积分的方法运用到高阶零点矩递归公式的推导中。

4节将推导伽马分布的特征函数并证明其高阶零点矩的存在性，通过特征函数和高阶零点矩之间的关系推导其高阶零点矩的一般形式。

2. 指数族分布

指数族分布的统一表示形式

定义1

如果一个概率密度函数族或概率质量函数族能够表示成如下的形式：

$f\left(x|\theta \right)=h\left(x\right)c\left(\theta \right)\exp \left[{\displaystyle \underset{i=1}{\overset{k}{\sum }}{\omega }_i}\left(\theta \right)t_i\left(x\right)\right]$

其中 $h\left(x\right)\ge 0$ ， $t_1\left(x\right),\cdots ,t_i\left(x\right)$ 是观测值x的(不依赖 $\theta$ 的)实值函数， $c\left(\theta \right)\ge 0$ 且 ${\omega }_1\left(\theta \right),\cdots ,{\omega }_i\left(\theta \right)$ 是向量值参数 $\theta$ 的(不依赖x的)实值函数。那么就称它是指数族的 [5] 。

例1考察参数为 $\lambda$ 的泊松分布

参数为 $\lambda$ 的泊松分布的概率密度函数为：

$f\left(n|\lambda \right)=\frac{{\lambda }^n}{n!}\exp (\; -\; \lambda \; )$

其中 $\lambda >0$ ， $n=0,1,2,\cdots$

令

$h\left(n\right)=1$ $c\left(\lambda \right)=\frac{{\lambda }^n}{n!},\lambda >0$

${\omega }_1\left(\lambda \right)=-\lambda ,\lambda >0$ $t_1\left(n\right)=1$

于是

$f\left(n|\lambda \right)=h\left(n\right)c\left(\lambda \right)\exp \left[{\omega }_1\left(\lambda \right)t_1\left(n\right)\right]$

即泊松分布属于指数族分布。

3. 几何分布及其高阶零点矩

下面将介绍几何分布并利用微积分求其高阶零点矩的递归公式。

3.1. 几何分布

定义2

文字叙述：在伯努利试验中，试验n次才得到第一次成功的机率。即前n − 1次皆失败，第n次成功的概率。

数学语言描述：在伯努利试验中，记每次试验中事件A发生的概率为p，试验进行到事件A出现时停止，此时所进行的试验次数记为X，其分布列满足：

$P\left(X=n\right)={\left(1-p\right)}^{n-1}p,n=1,2,\cdots$

此分布列是几何数列的一般项，因此称X服从几何分布，记为 $X~Ge\left(p\right)$ 。

推论1

几何分布的期望和方差分别为

$E\left(X\right)=\frac{1}{p}$

$D\left(X\right)=\frac{1-p}{p^2}$

证根据期望的定义知

$E\left(X\right)={\displaystyle \underset{n=1}{\overset{\infty }{\sum }}n{\left(1-p\right)}^{n-1}p}=p{\displaystyle \underset{n=1}{\overset{\infty }{\sum }}n{\left(1-p\right)}^{n-1}}$

设 $f\left(x\right)={\displaystyle \underset{n=1}{\overset{\infty }{\sum }}n{x}^{n-1}}$ ，当 $0<x<1$ 时，可逐项积分得

${\displaystyle \underset{0}{\overset{x}{\int }}f\left(t\right)\text{d}t}={\displaystyle \underset{n=1}{\overset{\infty }{\sum }}{\displaystyle {\int }_0^{x}n{t}^{n-1}}\text{d}t}={\displaystyle \underset{n=1}{\overset{\infty }{\sum }}{x}^n}$ (1)

因为 ${\displaystyle \underset{n=1}{\overset{\infty }{\sum }}{x}^n}=\frac{1}{1-x}-1$ ，所以(1)式就可以化成

${\displaystyle \underset{0}{\overset{x}{\int }}f\left(t\right)\text{d}t}=\frac{1}{1-x}-1$

两边求导得

$f\left(x\right)=\frac{1}{{\left(1-x\right)}^2}$ (2)

把 $x=1-p$ 代入(2)式得

$f\left(1-p\right)=\frac{1}{p^2}$

进而得出

$E\left(X\right)=\frac{1}{p^2}$

随机变量的方差为

$D\left(X\right)=E\left(X^2\right)-{\left[E\left(X\right)\right]}^2=p{\displaystyle \underset{n=1}{\overset{\infty }{\sum }}{n}^2}{\left(1-p\right)}^{n-1}-\frac{1}{p^2}$

设 $g\left(x\right)={\displaystyle \underset{n=1}{\overset{\infty }{\sum }}{n}^2}{x}^{n-1}$ ，当 $0<x<1$ 时，可逐项积分得

${\displaystyle \underset{0}{\overset{x}{\int }}g\left(t\right)\text{d}t}={\displaystyle \underset{n=1}{\overset{\infty }{\sum }}{\displaystyle \underset{0}{\overset{x}{\int }}{n}^2{t}^{n-1}\text{d}t}}={\displaystyle \underset{n=1}{\overset{\infty }{\sum }}n{x}^n}=x{\displaystyle \underset{n=1}{\overset{\infty }{\sum }}n{x}^{n-1}}$ (3)

将(2)式代入(3)式得

${\displaystyle \underset{0}{\overset{x}{\int }}g\left(t\right)\text{d}t}=\frac{x}{{\left(1-x\right)}^2}$

两边求导得

$g\left(x\right)=\frac{1+x}{{\left(1-x\right)}^3}$ (4)

将 $x=1-p$ 代入(4)式得

$g\left(1-p\right)=\frac{2-p}{p^3}$

进而得出

$D\left(X\right)=p\frac{2-p}{p^3}-\frac{1}{p^2}=\frac{1-p}{p^2}$

综上，证毕 [6] 。

注：这里微积分的使用运用了幂级数的知识。

1) 幂级数 ${\displaystyle \underset{n=0}{\overset{\infty }{\sum }}{a}_n{x}^n}$ 的收敛半径为 $r\left(>0\right)$ ，其 $S\left(x\right)$ 对应的和函数为，则幂级数在收敛区间 $-r<x<r$ 内

部可以逐项微商与逐项积分。

2) 在1)的条件下， $S\left(x\right)$ 和函数在 $\left(-r,r\right)$ 内任意次可微，且 $S^{\left(k\right)}\left(x\right)$ 等于 ${\displaystyle \underset{n=0}{\overset{\infty }{\sum }}{a}_n{x}^n}$ 逐项微商k次所得的

幂级数。

以上性质就是微积分在求几何分布时具有运用合理性的理论基础 [7] 。

3.2. 几何分布的高阶零点矩

结论1

几何分布的k阶零点矩满足以下的递归公式：

设

$f_k\left(x\right)={\displaystyle \underset{n=1}{\overset{\infty }{\sum }}{n}^k{x}^{n-1}},k=1,2,\cdots$ (5)

$f_{k+1}\left(x\right)=\frac{\text{d}\left[x{f}_k\left(x\right)\right]}{\text{d}x},k=1,2,\cdots$ (6)

其中

$f_1\left(x\right)=\frac{1}{{\left(1-x\right)}^2}$

则

$E\left(X^k\right)=p{f}_k\left(1-p\right),k=1,2,\cdots$

证 根据高阶零点矩的定义知

$E\left(X^k\right)=p{\displaystyle \underset{n=1}{\overset{\infty }{\sum }}{n}^k}{\left(1-p\right)}^{n-1},k=1,2,\cdots$

设

$f_k\left(x\right)={\displaystyle \underset{n=1}{\overset{\infty }{\sum }}{n}^k{x}^{n-1}},k=1,2,\cdots$

显然

$E\left(X^k\right)=p{f}_k\left(1-p\right),k=1,2,\cdots$

下证(6)式成立

将(5)式代入(6)式得

对于(5)式左边： $f_{k+1}\left(x\right)={\displaystyle \underset{n=1}{\overset{\infty }{\sum }}{n}^{k+1}{x}^{n-1}}$

对于(6)式右边： $\frac{\text{d}\left[x{f}_k\left(x\right)\right]}{\text{d}x}={\displaystyle \underset{n=1}{\overset{\infty }{\sum }}{n}^{k+1}{x}^{n-1}}$

左边等于右边

综上，证毕。

注：

1) 对于结论的验证运用了推论1中注的知识。

2) 这里的结论的给出同样采用了微积分的方法，而上述证明是从结论出发的，并不涉及结论如何产生。结论的产生是采用了推论1的证明方法，是这种微积分方法低阶到高阶的延申，下面将简述结论的产生思路：

由推论1中的(2)式到(4)式的推导过程得

$g\left(x\right)=\frac{\text{d}\left[xf\left(x\right)\right]}{\text{d}x}$

这里已经检验了k = 1的时候结论成立。

同样的方法可以证明k = 2成立，即结论对于低阶成立。那么同样的思想考虑高阶的推广形式，进而得出结论，最后采用证1的方法进行验证。

4. Gamma分布及其高阶零点矩

下面将介绍Gamma分布并求其特征函数，利用特征函数求解Gamma分布。

4.1. Gamma分布

定义2

Gamma分布用来描述直到第 $\alpha$ 件事发生所需的等候时间。

其概率密度函数满足

$f\left(x\right)=\{\begin{array}{l}\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}{x}^{\alpha -1}{\text{e}}^{-\lambda x},x\ge 0\\ 0,x<0\end{array}$

其中 $\alpha >0,\lambda >0$ 。Gamma分布中的参数 $\alpha$ 称为形状参数， $\lambda$ 称为逆尺度参数。

注：

$\tau \left(\alpha \right)={\displaystyle {\int }_0^{+\infty }{t}^{\alpha -1}{\text{e}}^{-t}\text{d}t},\alpha >0$

为 $\Gamma$ 函数。

4.2. Gamma分布的特征函数

结论2

Gamma分布的特征函数表示形式如下：

$\phi \left(t\right)={\left(1-\frac{it}{\lambda }\right)}^{-\alpha }$

证

根据特征函数的定义，Gamma分布的特征函数表示形式为

$\phi \left(t\right)=E\left({\text{e}}^{itx}\right)={\displaystyle \underset{0}{\overset{+\infty }{\int }}{\text{e}}^{itx}\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}{x}^{\alpha -1}{\text{e}}^{-\lambda x}\text{d}x}$

将式子进一步处理得到

${\displaystyle \underset{0}{\overset{+\infty }{\int }}{\text{e}}^{itx}\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}{x}^{\alpha -1}{\text{e}}^{-\lambda x}\text{d}x}=\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}{\displaystyle \underset{0}{\overset{+\infty }{\int }}{x}^{\alpha -1}{\text{e}}^{-\left(\lambda -it\right)x}\text{d}x}$

令 $y=\left(\lambda -it\right)x$ ，则 $\text{d}y=\left(\lambda -it\right)\text{d}x$

$\begin{array}{c}\phi \left(t\right)=E\left({\text{e}}^{itx}\right)=\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}{\displaystyle \underset{0}{\overset{+\infty }{\int }}{x}^{\alpha -1}{\text{e}}^{-\left(\lambda -it\right)x}\text{d}x}\\ =\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}\frac{1}{{\left(\lambda -it\right)}^{\alpha }}{\displaystyle \underset{0}{\overset{+\infty }{\int }}{y}^{\alpha -1}{\text{e}}^{-y}\text{d}y}\\ =\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}\frac{1}{{\left(\lambda -it\right)}^{\alpha }}\Gamma \left(\alpha \right)\\ ={\left(1-\frac{it}{\lambda }\right)}^{-\alpha }\end{array}$

证毕。

4.3. Gamma分布的高阶零点矩

4.3.1. 高阶零点矩的存在性

要利用Gamma分布的特征函数求解，首先必须保证Gamma分布k阶矩存在，这样对应的特征函数就可以k阶微分，从而求出Gamma分布k阶矩。下面证明Gamma分布的k阶零点矩存在。

k阶零点矩表达式为

$E\left(x^k\right)={\displaystyle \underset{0}{\overset{+\infty }{\int }}{x}^k\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}{x}^{\alpha -1}{\text{e}}^{-\lambda x}\text{d}x}=\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}{\displaystyle \underset{0}{\overset{+\infty }{\int }}{x}^{\alpha +k-1}{\text{e}}^{-\lambda x}\text{d}x}$

这里因为 $\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}$ 为常数， $E\left(x^k\right)$ 对的收敛性没有影响，因此只考虑 ${\displaystyle \underset{0}{\overset{+\infty }{\int }}{x}^{\alpha +k-1}{\text{e}}^{-\lambda x}\text{d}x}$ 这一部分，即考虑 ${\displaystyle \underset{0}{\overset{+\infty }{\int }}{x}^{\alpha +k-1}{\text{e}}^{-\lambda x}\text{d}x}$ 的收敛性。

根据无穷限积分收敛性的p判别法和洛必达法则可以证明

$\underset{x\to +\infty }{\lim }\frac{x^{\alpha +k-1}{\text{e}}^{-\lambda x}}{\frac{1}{x^2}}=\underset{x\to +\infty }{\lim }{x}^{\alpha +k+1}{\text{e}}^{-\lambda x}=0$

其中 $\alpha +k+1\ge 0$ ， $\lambda >0$ 。这里根据 $l=0,p=2$ 知，积分收敛。

继而得出

$E\left(x^k\right)=\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}{\displaystyle \underset{0}{\overset{+\infty }{\int }}{x}^{\alpha +k-1}{\text{e}}^{-\lambda x}\text{d}x}$

存在，即Gamma分布k阶矩存在。

4.3.2. 高阶零点矩公式

结论3

Gamma分布的高阶零点矩的表示形式如下：

$m_k={\left(-\frac{1}{\beta }\right)}^k\left(-\alpha \right)\left(-\alpha -1\right)\cdots \left(-\alpha -k+1\right),k=1,2,\cdots$

证

由4.3.1知Gamma分布k阶矩存在，且特征函数k阶可微，即

$m_k=E\left(x^k\right)=i^{-k}{\phi }^{\left(k\right)}\left(0\right)=i^{-k}{\left[\frac{{\text{d}}^k}{\text{d}{t}^k}\phi \left(t\right)\right]}_{t=0}$

由4.1知Gamma分布的特征函数为

$\phi \left(t\right)={\left(1-\frac{it}{\lambda }\right)}^{-\alpha }$

代入上式得

$m_k={\left(-\frac{1}{\beta }\right)}^k\left(-\alpha \right)\left(-\alpha -1\right)\cdots \left(-\alpha -k+1\right),k=1,2,\cdots$

证毕。

注：

1) 特征函数法不仅适用于连续型随机变量，也同样适用于离散型。

2) 离散型随机变量的高阶零点矩一般使用递推公式表示，而连续型随机变量一般可以直接表示出结果。

文章引用

蔡正浩. 指数族分布的高阶矩
Higher Order Moments of Exponential Family Distribution[J]. 理论数学, 2023, 13(03): 437-444. https://doi.org/10.12677/PM.2023.133048

参考文献