ABSTRACT

In the case of statistical analysis and modeling of various problems, the error analysis is often used by least square method or its related methods. In this paper, these mathematical theories are described in detail on least squares, partial least squares and principal component analysis. We sketch the applications of these methods. In the meantime, the case for which they are not applicable is explained. We outline the correlation among them and their different phases. At last, the parameter test in the regression equations is simply explained.

Keywords:Least Squares Method, Partial Least Squares Method, The Principal Components, Regression

最小二乘法及其相关方法的 数学原理与类比分析

幸冬梅

南昌大学数学系，江西 南昌

收稿日期：2018年4月28日；录用日期：2018年5月4日；发布日期：2018年5月24日

摘 要

在对各种问题的统计分析和建模处理时，经常用到最小二乘法或其相关的方法进行误差分析处理。本文详细叙述了最小二乘法、偏最小二乘法与主成分分析法的数学原理，简述了这些方法的应用场合，对于它们不适用的情况作了说明。描述了它们之间的关联性，概述了它们的相异性。最后，简单说明了回归方程中的参数检验。

关键词 :最小二乘法，偏最小二乘法，主成分，回归

Copyright © 2018 by author and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

在对计量化学、生物信息学、食品研究、医学、药理学等方面的研究时，经常需要从海量的数据中寻找出内在的联系性。这些海量的数据或通过实验得到、或在实践中得到，然而从这些数据的表面上并不能得到很多的信息，必需对这些数据进行进一步的处理。数据通常可以分成两组向量：因变量的向量、自变量的向量，讨论它们之间的内在联系。最简单的情况是：每组向量中均只有一个元素。因变量的向量与自变量的向量可能存在一定的回归关系。这些回归关系一般是非线性的关系，如果不会引起很大的失真性，可以用线性回归的方式近似。最小二乘(Least Square (LS))回归是这些回归模型中常用的处理误差的方法。为了合理、快捷地搜寻数据中存在的内在关系，研究者对最小二乘回归进行了各种改进，较典型的方法有：主成分分析(Principal Component Analysis (PCA))法、核主成分分析(Kernel Principal Component Analysis (KPCA))法与偏最小二乘(Partial Least Squares (PLS))法。核主成分分析法是主成分分析法的变种；偏最小二乘方法是主成分分析法与最小二乘回归相结合得到的一种方法，常称为PLS方法。现有的文献比较多侧重于这些方法的使用，但分析它们的数学原理、类比这些方法的异同处，并通过事例进行讨论的不多见。下面介绍最小二乘法、主成分分析法和偏最小二乘方法的数学工作原理，讨论它们的联系性。

2. 最小二乘法、主成分分析法与偏最小二乘方法的数学原理

2.1. 最小二乘方法

最小二乘方法 [1] 能够对实际问题有比较好的解释，该方法的核心是所有估计值与被估计值之差的平方和达到最小。因变量向量用y表示，自变量向量为x。若只有一个因变量，则此时的最小二乘方法即为最简单形式的最小二乘的曲线拟合，给定m个合适的函数 $r_1\left(x\right),\cdots ,r_m\left(x\right)$ 及n组数据 ${\left\{y\left(i\right),x\left(i\right)\right\}}_{i=1}^n$ ，其中 $\left\{y\left(i\right),x\left(i\right)\right\}$ 表示因变量、自变量组 $\left(y,x\right)$ 的第i组值。为了方便，记 $y\left(i\right)$ 为 $y_i$ 。选定适当的参数，得到曲线

$y={\overline{\beta }}_0+{\overline{\beta }}_1{r}_1\left(x\right)+{\overline{\beta }}_2{r}_2\left(x\right)+\cdots +{\overline{\beta }}_n{r}_m\left(x\right)$ ，s.t.

$L\left({\overline{\beta }}_0,{\overline{\beta }}_1,\cdots ,{\overline{\beta }}_m\right)\triangleq \underset{{\beta }_i,0\le i\le m}{\min }{\displaystyle {\sum }_j{\left(y\left(j\right)-\left({\beta }_0+{\beta }_1{r}_1\left(x\left(j\right)\right)+{\beta }_2{r}_2\left(x\left(j\right)\right)+\cdots +{\beta }_m{r}_m\left(x\left(j\right)\right)\right)\right)}^2}$ .

在没有其他限制条件下， $L\left({\beta }_0,{\beta }_1,\cdots ,{\beta }_m\right)$ 关于 ${\beta }_i\left(i=1,2,\cdots ,m\right)$ 的一阶偏导为0是得到 $L\left({\beta }_0,{\beta }_1,\cdots ,{\beta }_m\right)$ 的极小值的必要条件。选取参数 ${\beta }_i={\overline{\beta }}_i\left(i=0,1,\cdots ,m\right)$ 的数学工作原理如下：

令 $Y={\left[y_1,y_2,\cdots ,y_n\right]}^{\text{T}}$ ， $L\left({\beta }_0,\cdots ,{\beta }_m\right)={\displaystyle {\sum }_j{\left(y_j-\left({\beta }_0+{\beta }_1{r}_1\left(x_j\right)+{\beta }_2{r}_2\left(x_j\right)+\cdots +{\beta }_m{r}_m\left(x_j\right)\right)\right)}^2}$ ，分别求L关于 ${\beta }_i\left(i=0,\cdots ,m\right)$ 的偏导数，并令其为0，即

$\begin{array}{l}\frac{\partial L}{\partial {\beta }_0}=-2{\displaystyle {\sum }_j\left(y_j-\left({\beta }_0+{\beta }_1{r}_1\left(x\left(j\right)\right)+\cdots +{\beta }_i{r}_i\left(x\left(j\right)\right)+\cdots +{\beta }_m{r}_m\left(x\left(j\right)\right)\right)\right)}=0\\ \frac{\partial L}{\partial {\beta }_i}=-2{\displaystyle {\sum }_j{r}_i\left(x\left(j\right)\right)\left(y_j-\left({\beta }_0+{\beta }_1{r}_1\left(x\left(j\right)\right)+\cdots +{\beta }_i{r}_i\left(x\left(j\right)\right)+\cdots +{\beta }_m{r}_m\left(x\left(j\right)\right)\right)\right)}=0\left(i=1,2,\cdots ,m\right)\end{array}$

计算可得

$\beta =\left({\overline{\beta }}_0,{\overline{\beta }}_1,\cdots ,{\overline{\beta }}_m\right)={\left(X^{\text{T}}X\right)}^{-1}\cdot X^{\text{T}}Y$ (1)

其中， $X=\left[1r_1\left(x\right)\cdots r_m\left(x\right)\right]=\left[\begin{array}{cccc}1& r_1\left(x\left(1\right)\right)& \cdots & r_m\left(x\left(1\right)\right)\\ 1& r_1\left(x\left(2\right)\right)& \cdots & r_m\left(x\left(2\right)\right)\\ ⋮& ⋮& \ddots & ⋮\\ 1& r_1\left(x\left(n\right)\right)& \cdots & r_m\left(x\left(n\right)\right)\end{array}\right]$ 。

选择合适的函数 $r_i\left(x\right)\left(i=1,2,\cdots ,m\right)$ 并不容易，常简化曲线拟合为线性拟合或多项式拟合，最简单的模型为线性回归模型，即因变量y是自变量 $x={\left(x_1,x_2,\cdots ,x_n\right)}^{\text{T}}$ 1的线性组合：

$m=n,y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_n{x}_n={\beta }^{\text{T}}\cdot \left(1,x^{\text{T}}\right)$ , 其中 $\beta ={\left({\beta }_0,{\beta }_1,\cdots ,{\beta }_n\right)}^{\text{T}}$ .

给定n组数据 ${\left\{y_i,x{\left(i\right)}^{\text{T}}\right\}}_{i=1}^n,x{\left(i\right)}^{\text{T}}=\left(x_{i1},\cdots ,x_{in}\right)$ ，待定的系数 ${\beta }_i\left(i=0,1,\cdots ,n\right)$ 使得误差平方的叠加和最小，易得出

当 $\beta ={\left(X^{\text{T}}X\right)}^{-1}\cdot X^{\text{T}}Y\triangleq \overline{\beta }$ 时， ${\displaystyle {\sum }_j{\left(y_j-\left({\beta }_0+{\beta }_1{x}_{j1}+{\beta }_2{x}_{j2}+\cdots +{\beta }_n{x}_{jn}\right)\right)}^2}$ 其达到最小值，此时

$y={\overline{\beta }}_0+{\overline{\beta }}_1{x}_1+{\overline{\beta }}_2{x}_2+\cdots +{\overline{\beta }}_n{x}_n$ ,

其中 $X=\left[\begin{array}{cccc}1& x_1& \cdots & x_n\end{array}\right]=\left[\begin{array}{cccc}1& x_{11}& \cdots & x_{1n}\\ 1& x_{21}& \cdots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ 1& x_{n1}& \cdots & x_{nn}\end{array}\right]$ ， $$ 。

线性回归模型 $y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_n{x}_n$ 是最简单的数据处理模型，不一定能够真正反映实际数据的内存规律；最小二乘方法涉及所有的变量，不同自变量数据之间可能存在全部或部分线性相关性关系，这时数据的有效信息可能不能直接体现出来。减少线性回归模型的变量的个数，但又不要丢弃太多的信息，主成分分析方法 [2] [3] 是可选方法之一。

2.2. 主成分分析法

针对不同自变量数据之间存在全部或部相关性关系，导致(1)式中 $X^{\text{T}}X$ 成为病态矩阵，不再适合用最小二乘方法，W.F. Massy [3] 提出了主成分回归(Principal Component Regression，简称PCR)方法。主成分分析的核心在于降维，将原有的多个性能指标(即多个自变量)减少为只含有少数几个综合性能指标。这些综合性能指标是原来的性能指标的线性组合，它们相互独立且集中反映出原始变量的较多信息，在选择综合性能指标时，一般通过信息量与原有信息量的百分比(如95%或更多、更少的百分比)来衡量。

设x是有n个随机变量组成的列向量2，研究它们所体现的信息，通常得计算出这n个随机变量的方差、协方差，找出这n个随机变量间有意义的相关性结构。然而若n较大，计算向量x的方差、协方差要花费比较多时间，除非n很小或者变量之间的相关性结构很简单，否则发现随机变量间的相关性结构比较困难。研究随机变量隐含的信息时，考虑研究一些维数远远低于n的派生变量，这些派生变量是原来变量的线性组合，它们保留了原来变量绝大部分信息，这样的派生变量称之为主成分。

主成分分析法中，寻找主成分的步骤如下3：

第一步：寻找第一个主成分，即找出x的一个线性组合 ${\beta }_1$ ，记为 ${\beta }_1\triangleq {\alpha }_1^{\text{T}}x$ ，其中 ${\alpha }_1$ 是一个n维列向量， ${\alpha }_1={\left({\alpha }_{11},{\alpha }_{12},\cdots ,{\alpha }_{1n}\right)}^{\text{T}}$ ， $x={\left(x_1,x_2,\cdots ,x_n\right)}^{\text{T}}$ ， $\mathrm{var}\left({\beta }_1\right)$ 为 ${\beta }_1$ 的方差。

${\beta }_1\triangleq {\alpha }_1^{\text{T}}x={\alpha }_{11}{x}_1+{\alpha }_{12}{x}_2+\cdots +{\alpha }_{1n}{x}_n$ ,

s.t. $\mathrm{var}\left({\beta }_1\right)$ 最大，且 ${\alpha }_1^{\text{T}}\cdot {\alpha }_1=1$ 。

第二步：寻找第二个主成分，也即寻找x的第二个线性组合 ${\beta }_2$ ，记为 ${\beta }_2\triangleq {\alpha }_2^{\text{T}}x$ ，其中 ${\alpha }_2$ 是一个n维列向量， ${\alpha }_2={\left({\alpha }_{21},{\alpha }_{22},\cdots ,{\alpha }_{2n}\right)}^{\text{T}}$ ， $$ ，

${\beta }_2\triangleq {\alpha }_2^{\text{T}}x={\alpha }_{21}{x}_1+{\alpha }_{22}{x}_2+\cdots +{\alpha }_{2n}{x}_n$ ,

s.t. $\mathrm{var}\left({\beta }_2\right)$ 最大，且 ${\alpha }_2^{\text{T}}\cdot {\alpha }_2=1$ ， ${\beta }_1$ 与 ${\beta }_1$ 线性无关。

以此类推，直至找到线性关系 ${\beta }_k$ ，使其与 ${\beta }_1,{\beta }_2,\cdots ,{\beta }_{k-1}$ 线性无关且具有最大方差。至此，k个主成分找到了。

第三步：建立因变量与主成分的回归方程，其中最简单的是线性回归方程。可依据最小二乘回归得到数学模型。

获得主成分的数学推导过程描述如下。

两个随机变量具有线性无关性，是指两个随机变量之间的协方差为0。在寻找主成分前，先对随机变量的数值进行规范化处理，使得随机变量的均值为0，方差为1。设随机变量的向量x的协方差矩阵为 $\sum$ 。

对于第一主成分 ${\beta }_1$ ：利用Lagrange乘子法，构造Lagrange函数

$L\left({\alpha }_1\right)\triangleq \mathrm{var}\left({\beta }_1\right)-\lambda \left({\alpha }_1^{\text{T}}{\alpha }_1-1\right)={\alpha }_1^{\text{T}}\cdot \sum \cdot {\alpha }_1-\lambda \left({\alpha }_1^{\text{T}}{\alpha }_1-1\right)$ ,

其中λ是Lagrange乘子，依据极值原理， $\frac{\partial L\left({\alpha }_1\right)}{\partial {\alpha }_1}=0$ 是在条件 ${\alpha }_1^{\text{T}}\cdot {\alpha }_1=1$ 时 $\mathrm{var}\left({\beta }_1\right)$ 的取得最大值的充要条件。上式两边对 ${\alpha }_1$ 求导，令其为0，即

$\frac{1}{2}\cdot \frac{\partial L\left({\alpha }_1\right)}{\partial {\alpha }_1}=\sum \cdot {\alpha }_1-\lambda {\alpha }_1=\left(\sum -\lambda \cdot I_n\right)\cdot {\alpha }_1=0\Rightarrow \sum \cdot {\alpha }_1=\lambda {\alpha }_1$

其中 $I_n$ 是n阶单位矩阵。显然λ是 $\sum$ 特征值， ${\alpha }_1$ 是相应的特征向量。由于 $\mathrm{var}\left({\beta }_1\right)={\alpha }_1^{\text{T}}\cdot \sum \cdot {\alpha }_1=\lambda {\alpha }_1^{\text{T}}{\alpha }_1=\lambda$ ，所以 $\max \mathrm{var}\left({\beta }_1\right)=\left(\max \lambda \right){\alpha }_1^{\text{T}}{\alpha }_1=\left(\max \lambda \right)\triangleq {\lambda }_1$ 。因此，第一主成分中出现的系数为协方差矩阵 $\sum$ 的最大特征值 ${\lambda }_1$ 的特征向量 ${\alpha }_1$ 。

对于第二主成分 ${\beta }_2$ ：由于 ${\beta }_1,{\beta }_2$ 线性无关，故 $\mathrm{cov}\left({\beta }_1,{\beta }_2\right)={\alpha }_1^{\text{T}}\cdot \sum \cdot {\alpha }_2=0$ ，而 ${\alpha }_1^{\text{T}}\cdot \sum \cdot {\alpha }_2={\alpha }_2^{\text{T}}\cdot \sum \cdot {\alpha }_1={\alpha }_2^{\text{T}}\cdot {\lambda }_1{\alpha }_1={\lambda }_1{\alpha }_2^{\text{T}}\cdot {\alpha }_1={\lambda }_1{\alpha }_1^{\text{T}}\cdot {\alpha }_2=0$ ，从而有

${\alpha }_1^{\text{T}}\cdot \sum \cdot {\alpha }_2={\alpha }_2^{\text{T}}\cdot \sum \cdot {\alpha }_1=0={\alpha }_2^{\text{T}}\cdot {\alpha }_1={\alpha }_1^{\text{T}}\cdot {\alpha }_2$

利用Lagrange乘子法，构造Lagrange函数

$L\left({\alpha }_2\right)\triangleq \mathrm{var}\left({\beta }_2\right)-\lambda \left({\alpha }_2^{\text{T}}{\alpha }_2-1\right)-\gamma \left({\alpha }_2^{\text{T}}{\alpha }_1-0\right)$ $={\alpha }_2^{\text{T}}\cdot \sum \cdot {\alpha }_2-\lambda \left({\alpha }_2^{\text{T}}{\alpha }_2-1\right)-\gamma \left({\alpha }_2^{\text{T}}{\alpha }_1-0\right)$

上式两边对 ${\alpha }_2$ 求导，令其为0，即

$\frac{1}{2}\cdot \frac{\partial L\left({\alpha }_2\right)}{\partial {\alpha }_2}=\sum \cdot {\alpha }_2-\lambda {\alpha }_2-\gamma {\alpha }_1=0$ (2)

两边左乘 ${\alpha }_1^{\text{T}}$ ，得

$\begin{array}{l}{\alpha }_1^{\text{T}}\cdot \sum \cdot {\alpha }_2-\lambda {\alpha }_1^{\text{T}}\cdot {\alpha }_2-\gamma {\alpha }_1^{\text{T}}\cdot {\alpha }_1=0\\ \Rightarrow \gamma {\alpha }_1^{\text{T}}\cdot {\alpha }_1=0\\ \Rightarrow \gamma =0\end{array}$

代入(2)，得 $\sum \cdot {\alpha }_2-\lambda {\alpha }_2=0\Rightarrow \sum \cdot {\alpha }_2=\lambda {\alpha }_2$ ，显然λ是 $\sum$ 的特征值， ${\alpha }_2$ 是相应的特征向量。由于 $$

$\mathrm{var}\left({\beta }_2\right)={\alpha }_2^{\text{T}}\cdot \sum \cdot {\alpha }_2=\lambda {\alpha }_2^{\text{T}}{\alpha }_2=\lambda$ ，所以 $\max \mathrm{var}\left({\beta }_2\right)=\left(\max \lambda \right){\alpha }_2^{\text{T}}{\alpha }_2=\left(\max \lambda \right)\triangleq {\lambda }_2$ 。假设 $\sum$ 没有重根，则 ${\lambda }_1>{\lambda }_2$ ， ${\lambda }_2$ 是 $\sum$ 的第二大特征根，相应的特征向量 ${\alpha }_2$ 是第二主成分中出现的系数4。

类似地，可以依次从大到小求出 $\sum$ 的其它特征根及特征向量，找出相应的主成分，通常依据 $\frac{{\displaystyle \sum _{i=1}^s\left|{\lambda }_i\right|}}{{\displaystyle \sum _{i=1}^t\left|{\lambda }_i\right|}}\ge 95\%\text{or}90\%$ 确定从 $\sum$ 所有t个特征值 ${\lambda }_i\left(i=1,\cdots ,t\right)$ 中选取s个特征值 ${\lambda }_i\left(i=1,\cdots ,s\right)$ 。

2.3. 偏最小二乘法

偏最小二乘方法 [4] [5] [6] [7] [8] 是20世纪80年代从应用中总结出来的一种降维技术。偏最小二乘回归方法的一大优点是：考虑样本总体对预测值的影响程度时，也充分考虑了单个因素间的综合作用对预测的影响。在回归速率上，偏最小二乘方法比一般的多元回归方法更快一些，对样本的要求更加宽松。偏最小二乘回归方法可以看成是最小二乘回归、主成分方法及典型相关分析方法的综合体。

偏最小二乘方法的原理如下：

设X5是含有n个随机变量 $x_1,x_2,\cdots ,x_n$ 组成的自变量的列向量，Y是含有一个或多个随机变量 $y_1,y_2,\cdots ,y_q\left(q\ge 1\right)$ 的因变量的列向量。找出X的k个线性组合 ${\beta }_i\left(i=1,2,\cdots ,k\right)$ ，这些线性组合满足主成分分析的要求；在Y中找出r个线性组合 ${\tau }_i\left(i=1,2,\cdots ,r\right)$ ，它们也满足主成分分析的要求。建立 ${\beta }_i$ 与 ${\tau }_i$ 的回归关系，使它们之间的相关程度达到最大；并构造 ${\beta }_i$ 与 $X,Y$ 的回归关系，建立Y与X的回归关系。

偏最小二乘回归分析的步骤：

第一步：分别找出X与Y的第一主成分 ${\beta }_1,{\tau }_1$ ，并且使 ${\beta }_1,{\tau }_1$ 的协方差 $\mathrm{cov}\left({\beta }_1,{\tau }_1\right)$ 达到最大。

${\beta }_1\triangleq X^{\text{T}}{\alpha }_1={\alpha }_{11}{x}_1+{\alpha }_{12}{x}_2+\cdots +{\alpha }_{1n}{x}_n$ ,

s.t. $\max \mathrm{var}\left({\beta }_1\right)$ , 且 ${\alpha }_1^{\text{T}}\cdot {\alpha }_1=1$ .

${\tau }_1\triangleq Y^{\text{T}}{\mu }_1={\mu }_{11}{y}_1+{\mu }_{12}{y}_2+\cdots +{\mu }_{1q}{y}_q$ ,

s.t. $\max \mathrm{var}\left({\tau }_1\right)$ , 且 ${\mu }_1^{\text{T}}\cdot {\mu }_1=1$ ;

$\max \mathrm{cov}\left({\beta }_1,{\tau }_1\right)$ .

上述的方法在推导过程中，作了如下假定：1) 各变量的特征维数不大；2) 过程不存在序列相关性；3) 过程是线性的。以上方法中要求X及Y均已经作了预处理，使X及Y中心化、均值化。

第二步：先建立 ${\beta }_1$ 与 ${\tau }_1$ 的回归关系： ${\tau }_1={\beta }_1{W}^{\text{T}}$ ，其中W为相应的权值；由 ${\beta }_1$ 与X的线性回归方程及τ与Y的线性回归方程，得到 ${\beta }_1$ 与Y的线性回归方程。

$\begin{array}{l}X={\beta }_1{P}^{\text{T}}+E_1,\\ Y={\tau }_1{Q}^{\text{T}}+F_1{}^{\left(0\right)},\\ Y={\beta }_1{R}_1^{\text{T}}+F_1\end{array}$

当 $E_1,F_1^{\left(0\right)},F_1$ 均为0时，显然有 $P=\frac{X^{\text{T}}\cdot {\beta }_1}{{\beta }_1^{\text{T}}\cdot {\beta }_1}=\frac{X^{\text{T}}\cdot {\beta }_1}{{\Vert {\beta }_1\Vert }^2}$ ， $Q=\frac{Y^{\text{T}}\cdot {\tau }_1}{{\tau }_1^{\text{T}}\cdot {\tau }_1}=\frac{X^{\text{T}}\cdot {\tau }_1}{{\Vert {\tau }_1\Vert }^2}$ ， $R_1=\frac{Y^{\text{T}}\cdot {\beta }_1}{{\beta }_1^{\text{T}}\cdot {\beta }_1}=\frac{Y^{\text{T}}\cdot {\beta }_1}{{\Vert {\beta }_1\Vert }^2}$ ；一般地， $E_1,F_1^{\left(0\right)},F_1$ 分别是这些回归方程的残差矩阵。

第三步：分别用 $E_1,F_1$ 替换 $X,Y$ ，重复第一步~第二步，依次寻找X的第二主成分 ${\beta }_2$ 。类似地，依次得到第三主成分 ${\beta }_3$ ，…，第d个主成分 ${\beta }_d$ 。

由第二步得到Y与X的主成分β的回归关系式： $Y={\beta }_1{R}_1^{\text{T}}+{\beta }_2{R}_2^{\text{T}}+{\beta }_3{R}_3^{\text{T}}+\cdots +{\beta }_d{R}_d^{\text{T}}+F_d$ ，利用第一步中的结果，容易得到Y与X的回归关系。

下面对第一步作详细分析，利用Lagrange乘子法求解 ${\beta }_1,{\tau }_1$ 。

令 $$ ，

由于 $\mathrm{cov}\left({\beta }_1,{\tau }_1\right)={\alpha }_1^{\text{T}}\mathrm{cov}\left(X,Y\right){\mu }_1={\alpha }_1^{\text{T}}\left(X^{\text{T}}\cdot Y\right){\mu }_1$ ，

所以，

依据极值原理， $L\left(\alpha ,\mu \right)$ 关于 $\alpha ,\mu$ 在边界上取得极大值的充要条件为相应的偏导数为0。下面分别对 $\alpha ,\mu$ 求偏导，得

$\frac{\partial L}{\partial {\alpha }_1}=X^{\text{T}}Y{\mu }_1-2{\lambda }_1{\alpha }_1=0\Rightarrow X^{\text{T}}Y{\mu }_1=2{\lambda }_1{\alpha }_1,$ (i)

$\frac{\partial L}{\partial {\mu }_1}=Y^{\text{T}}X{\alpha }_1-2{\lambda }_2{\mu }_1=0\Rightarrow Y^{\text{T}}X{\alpha }_1=2{\lambda }_2{\mu }_1,$ (ii)

所以由(i)，(ii)可得

$\left(X^{\text{T}}Y\right)\left(Y^{\text{T}}X\right){\alpha }_1=\left(X^{\text{T}}Y\right)\cdot \left(2{\lambda }_2{\mu }_1\right)=2{\lambda }_2\left(X^{\text{T}}Y\right)\cdot {\mu }_1=2{\lambda }_2\left(2{\lambda }_1{\alpha }_1\right)=2{\lambda }_2\cdot 2{\lambda }_1{\alpha }_1$

$\left(Y^{\text{T}}X\right)\left(X^{\text{T}}Y\right){\mu }_1=\left(Y^{\text{T}}X\right)\cdot \left(2{\lambda }_1{\alpha }_1\right)=2{\lambda }_1\left(Y^{\text{T}}X\right)\cdot {\alpha }_1=2{\lambda }_1\left(2{\lambda }_2{\mu }_1\right)=2{\lambda }_2\cdot 2{\lambda }_1{\mu }_1$

${\mu }_1^{\text{T}}\cdot \left(Y^{\text{T}}X\right){\alpha }_1={\alpha }_1^{\text{T}}\cdot \left(2{\lambda }_1{\alpha }_1\right)$ $=2{\lambda }_1\left({\alpha }_1^{\text{T}}\cdot {\alpha }_1\right)=2{\lambda }_1\cdot \left(Y^{\text{T}}X\right){\alpha }_1={\mu }_1^{\text{T}}\cdot \left(2{\lambda }_2{\mu }_1\right)=2{\lambda }_2{\mu }_1^{\text{T}}\cdot {\mu }_1=2{\lambda }_2$

${\alpha }_1^{\text{T}}\cdot \left(X^{\text{T}}Y\right){\mu }_1={\alpha }_1^{\text{T}}\cdot \left(2{\lambda }_1{\alpha }_1\right)=2{\lambda }_1\left({\alpha }_1^{\text{T}}\cdot {\alpha }_1\right)=2{\lambda }_1$

注意到 ${\mu }_1^{\text{T}}\cdot \left(Y^{\text{T}}X\right){\alpha }_1={\left({\alpha }_1^{\text{T}}\cdot \left(X^{\text{T}}Y\right){\mu }_1\right)}^{\text{T}}\Rightarrow 2{\lambda }_2={\left(2{\lambda }_1\right)}^{\text{T}}=2{\lambda }_1$ 。

由此可得出， ${\alpha }_1$ 是矩阵 $\left(X^{\text{T}}Y\right)\left(Y^{\text{T}}X\right)$ 的最大特征值所对应的特征向量，也是X的第一主成分 ${\beta }_1$ 的系数部分； ${\mu }_1$ 是矩阵 $\left(Y^{\text{T}}X\right)\left(X^{\text{T}}Y\right)$ 的最大的特征值所对应的特征向量，也是Y的第一主成分 ${\tau }_1$ 的系数。

采用PLS进行计算机处理数据时，常常通过迭代方式进行。在n维空间中任意选取一个非零列向量u (与列向量Y有相同的维数的向量)，PLS回归迭代过程包括6个步骤 [3] ：

$\begin{array}{l}1)w=X^{\text{T}}u/\left(u^{\text{T}}u\right)4)c=Y^{\text{T}}t/\left(t^{\text{T}}t\right)\\ 2)\Vert w\Vert \to 1\left(w=w/\Vert w\Vert \right)5)\Vert c\Vert \to 1\left(c=c/\Vert c\Vert \right)\\ 3)t=Xw6)u=Yc\end{array}$

如果Y是一维向量，我们用y表示Y，此时有 $u=y$ ；当满足精确度要求时，迭代步骤停止。可以证明w是 ${\alpha }_1$ 的近似值，c为 ${\mu }_1$ 的近似值，说明如下：

设最初选取的非零向量为 $u^{\left(0\right)}$ ，第一次利用PLS的6个步骤的1) 3) 4) 6)得到的为 $w^{\left(1\right)},t^{\left(1\right)},c^{\left(1\right)},u^{\left(1\right)}$ ；由 $u^{\left(k\right)}$ 利用PLS的6个步骤的1) 3) 4) 6)得到的为 $w^{\left(k+1\right)},t^{\left(k+1\right)},c^{\left(k+1\right)},u^{\left(k+1\right)}$

$\begin{array}{c}{w}^{\left(k+1\right)}=X^{\text{T}}{u}^{\left(k\right)}/\left(u^{\left(k\right)}{}^{\text{T}}{u}^{\left(k\right)}\right)\\ =X^{\text{T}}Y{c}^{\left(k\right)}/\left(\left(u^{\left(k\right)}{}^T{u}^{\left(k\right)}\right)\cdot \Vert c^{\left(k\right)}\Vert \right)\\ =X^{\text{T}}Y{Y}^{\text{T}}{t}^{\left(k\right)}/\left(\left(u^{\left(k\right)}{}^{\text{T}}{u}^{\left(k\right)}\right)\cdot \Vert c^{\left(k\right)}\Vert \cdot \left(t^{\left(k\right)}{}^{\text{T}}{t}^{\left(k\right)}\right)\right)\\ =X^{\text{T}}Y{Y}^{\text{T}}X{w}^{\left(k\right)}/\left(\left(u^{\left(k\right)}{}^{\text{T}}{u}^{\left(k\right)}\right)\cdot \Vert c^{\left(k\right)}\Vert \cdot \left(t^{\left(k\right)}{}^{\text{T}}{t}^{\left(k\right)}\right)\cdot \Vert w^{\left(k\right)}\Vert \right)\end{array}$

所以

$w^{\left(k+1\right)}=X^{\text{T}}Y{Y}^{\text{T}}X\cdot w^{\left(k\right)}/\left(\left(u^{\left(k\right)}{}^{\text{T}}{u}^{\left(k\right)}\right)\cdot \Vert c^{\left(k\right)}\Vert \cdot \left(t^{\left(k\right)}{}^{\text{T}}{t}^{\left(k\right)}\right)\cdot \Vert w^{\left(k\right)}\Vert \right)$

$\left(X^{\text{T}}Y{Y}^{\text{T}}X\right)\cdot w^{\left(k\right)}=\left(\left(u^{\left(k\right)}{}^{\text{T}}{u}^{\left(k\right)}\right)\cdot \Vert c^{\left(k\right)}\Vert \cdot \left(t^{\left(k\right)}{}^{\text{T}}{t}^{\left(k\right)}\right)\cdot \Vert w^{\left(k\right)}\Vert \right)\cdot w^{\left(k+1\right)}$

类似地，有以下式子成立

$\begin{array}{l}{c}^{\left(k+1\right)}=Y^{\text{T}}X{X}^{\text{T}}Y{c}^{\left(k\right)}/\left(\left(t^{\left(k+1\right)}{}^{\text{T}}{t}^{\left(k+1\right)}\right)\cdot \Vert w^{\left(k+1\right)}\Vert \cdot \left(u^{\left(k+1\right)}{}^{\text{T}}{u}^{\left(k+1\right)}\right)\cdot \Vert c^{\left(k\right)}\Vert \right)\\ \therefore c^{(k+1)}=Y^{\text{T}}X{X}^{\text{T}}Y{c}^{\left(k\right)}/\left(\left(t^{\left(k+1\right)}{}^{\text{T}}{t}^{\left(k+1\right)}\right)\cdot \Vert w^{\left(k+1\right)}\Vert \cdot \left(u^{\left(k\right)}{}^{\text{T}}{u}^{\left(k\right)}\right)\cdot \Vert c^{\left(k\right)}\Vert \right)\\ \left(Y^{\text{T}}X\cdot X^{\text{T}}Y\right)c^{\left(k\right)}=\left(\left(t^{\left(k+1\right)}{}^T{t}^{\left(k+1\right)}\right)\cdot \Vert w^{\left(k+1\right)}\Vert \cdot \left(u^{\left(k\right)}{}^{\text{T}}{u}^{\left(k\right)}\right)\cdot \Vert c^{\left(k\right)}\Vert \right)\cdot c^{\left(k+1\right)}\end{array}$

3. 比较最小二乘方法、主成分分析法及偏最小二乘法

最小二乘方法、主成分分析法与偏最小二乘方法，均是从误差最小化方面去寻找合适的参数。这些方法在处理误差时，都默认了误差分布是理想的 [1] ，即模型误差是独立同分布的且服从其均值为0、方差为 ${\sigma }^2$ 的正太分布。下面以最小二乘方法进行说明。

给定需要拟合的数据 $\left\{\left(x_{i1},x_{i2},\cdot \cdot \cdot ,x_{ik},y_i\right),i=1,2,\cdot \cdot \cdot ,n,n>k\right\}$ ，利用下面的多元回归模型(即因变量关于自变量的数学期望)进行数据拟合： ${\mu }_{y|x_1,x_2,\cdot \cdot \cdot ,x_k}={\beta }_0+{\beta }_1{r}_1\left(x\right)+{\beta }_2{r}_2\left(x\right)+\cdot \cdot \cdot +{\beta }_k{r}_k\left(x_k\right)$ ，利用最小二乘估计得到参数 ${\beta }_0,{\beta }_1,{\beta }_2,\cdot \cdot \cdot ,{\beta }_k$ ，每组拟合数据 $\left(x_{i1},x_{i2},\cdot \cdot \cdot ,x_{ik},y_i\right)$ 均满足方程

$y_i={\beta }_0+{\beta }_1{r}_1\left(x_{i1}\right)+{\beta }_2{r}_2\left(x_{i2}\right)+\cdot \cdot \cdot +{\beta }_k{r}_k\left(x_{ik}\right)+{\epsilon }_i$

其中 ${\epsilon }_i$ 是模型的随机误差，它独立同分布，服从均值为0，方差为 ${\sigma }^2$ 的正太分布。

这里考虑因变量是自变量的多元线性回归模型，且只有一个因变量。从上述描写可知，在利用最小二乘法时，要求 $X^{\text{T}}X$ 可逆。如果X的列之间存在多重共线，纵然 $X^{\text{T}}X$ 可逆，由(1)计算得 $\beta ={\left({\beta }_0,{\beta }_1,\cdots ,{\beta }_i,\cdots ,{\beta }_m\right)}^{\text{T}}$ 建立的数学模型，很可能不具有通用性。

X的列之间存在多重共线时，利用主成分分析法可消除这种共线性的不良影响。主成分分析法从原有的自变量向量中寻找它们的某些线性组合(即综合的指标或称之为综合自变量)，在信息损失最小的原则下，得到少数几个综合自变量。主成分分析法可以在一定程度上消除了原自变量之间的多重共线性，而且降低了待处理数据的维数。处理有周期性变化规律的数据时，如经济运行中的得到的各类经济数据，主成分分析法与谱分析方法相结合 [9] ，分析数据的变化趋势与规律。

主成分分析法对X进行主成分分析，没有考虑因变量Y，也没有考虑X对Y的解释作用。PLS方法解决了这种缺憾。PLS回归(Partial Least-Square Regression，简称PLSR)方法充分利用了PCR方法对信息(自变量数据)提取的思想。

PLSR方法是S. Wold和C. Albano [4] 在1983年提出的。许多研究工作者 [5] [6] [7] [8] 对PLSR进行了研究，他们还研究了利用迭代的方式计算主成分(参考上文中“PLS回归迭代过程”关内容)。PLSR是主成分分析法与最小二乘法的综合体，它对自变量和因变量均提取主成分，同时还考虑了因变量的作用以及自变量X对因变量的解释作用，一定程度上消除了基于主成分的回归模型的不可靠性。

如果响应变量类似于二值情况，回归模型的随机误差 ${\epsilon }_i$ 明显不是理想状态，即 ${\epsilon }_i$ 不服从均值为0、方差为 ${\sigma }^2$ 的正太分布。此时均值与方差均可能是随着自变量而发生改变，不可以利用多元回归方法中的最小二乘法来解决问题 [1] 。例如，Logistic回归模型是一种比较理想的对二值响应的拟合，可以利用梯度下降法得到Logistic回归函数中的待估参数。

4. 拟合回归模型优良性检验说明

对于已经给的数据分析研究得到相应的回归模型时，通常只需要作参数检验 [1] ，检查 $R^2$ 或 $R_{adj}^2$ ⁶。如果得到的多个自变量数据与正交性差距太大，即它们明显不具有正交性，那么得到的模型可能过度拟合，此时需要进行交互验证 [1] 。我们下一步要做的工作是针对具体问题，利用前述方法建立模型并进行参数检验与参数在实际情况的意义的解释。

文章引用

幸冬梅. 最小二乘法及其相关方法的数学原理与类比分析
Mathematical Theory and Analogy Analysis of Least Square Method and Its Related Methods[J]. 理论数学, 2018, 08(03): 230-238. https://doi.org/10.12677/PM.2018.83029

参考文献