内积空间与最小二乘法 Inner Product Space and the Least Square Method

doi:10.12677/PM.2013.31011

设为首页加入收藏期刊导航网站地图

期刊菜单

文章导航

Pure Mathematics 理论数学, 2013, 3, 68-71

http://dx.doi.org/10.12677/pm.2013.31011 Published Online January 2013 (http://www.hanspub.org/journal/pm.html)

Inner Product Space and the Least Square Method

Fei Li

Department of Mathematics and System Science, College of Science, National University of Defense Technology, Changsha

Email: ping1guo@163.com.cn

Received: Oct. 13th, 2012; revised: Oct. 27th, 2012; accepted: Nov. 16th, 2012

Abstract: The least square method has a standard method in most of books about linear algebra. In this paper

we introduce the element definitions of inner product space and the standard least square method. And in this

document we also give a fast calculation for the least square method in inner product space. In the least part

we give a method for calculating the smallest distance of the sum of finite points to a subspace. This is an ex-

tension for the least square method.

Keywords: Least Square Method; Inner Product Space; Linear Approximation

内积空间与最小二乘法

李非

国防科学技术大学理学院数学与系统科学系，长沙

Email: ping1guo@163.com.cn

收稿日期：2012 年10 月13 日；修回日期：2012 年10 月27 日；录用日期：2012 年11 月16 日

摘要：最小二乘法在一般的线性代数中存在标准的推导过程。本文从内积空间的结构出发去发现最

小二乘法的本质问题，并且给出了最小二乘法取值的快速算法。同时我们给出了在内积空间中多个点

到子空间的最小距离的求法，这是对一般最小二乘的延托。

关键词：最小二乘法；内积空间；线性逼近

1. 引言

在一般有限维线性空间中，我们定义距离为传统的欧氏距离，由此我们可以求出一个向量到子空间的距离，

即最小二乘法原理[1]。最小二乘法的理论在广义逆矩阵[2]计算中起重要作用，本文从内积空间出发去研究这个问

题，得到更快的距离的算法[3-6]。

2. 最小二乘法的一般推导

令K为实数或者复数域，是 n维向量空间，我们可以在 V上定义距离为一般的欧氏距离，即假定

VK



12 12

,,, ,,,



xxx yyyy V。定义



dxyx y













为V上距离。显然如果我们首先在 V上定义内积





y

李非  内积空间与最小二乘法

则我们可以将 V看作一完备内积空间，距离可以由内积导出，与我们原先定义的欧氏距离相协调。

考虑线性方程组

11 112211

21 122222

1122

nn nss

ax axaxb

axaxaxb

ax axaxb









 









 









(1)

可能无解，即任何一组数



,,,

xx都可能使



112 2

ii issi

axa xaxb









(2)

等于零。于是我们设法找到这样的



00 0

,,,

xx使上述(2)值最小，这样的





00 0

,,,

xx称为方程组的最小二乘

解。这种问题称为最小二乘问题。

最小二乘法取值



00 0

,,,



xx的一般推导方法可以在标准的线性代数教课书中看到，我们在这里不再进行

具体推导。

我们利用欧氏空间的概念来表达最小二乘法，并给出最小二乘解所满足的代数条件。令

11 121

21 222

nn ns

aa a













 



，，























，YAX



应用距离的概念，(2)就是 2

YB。最小二乘法就是找





00 0

,,,

xx使Y与B的距离最短。把 A的各列记为

,,,







，记他们生成的子空间为L。最小二乘法的实质就是寻找X使(2)的值最小，就是在L中找一向量 Y

使它到 B的距离比 L中其他向量到 B的距离都小。

3. 完备内积空间上点到子空间的距离

我们考虑完备内积空间上点到子空间的距离。

3.1 定理假定K为实数或复数域，E为K上之希尔伯特空间，





yE is



 有







112

,,,,

min ,,,

Gxyyy

xcy

Gyy y







 (3)

其中，













 

11 1

21 2

,,,

yy yy

Gyy y

yy yy









证明：令

,,,1,2,

iii

yycy cKis





 







为有限为空间，则 M为E的闭子空间，且 EMM



 (



为M

的正交补空间)。当

M时，上述公式显然成立。下面假定



，欲使 x与y有最短距离的充分必要条件

是x – y与M垂直。

故由正交分解定理。我们不妨假定x = y + z，其中



，zxyM



 。此时，有

min s

yxc



 

y (4)

李非  内积空间与最小二乘法

由条件

M，我们假定 112 2

ycycy cy 。由 –



得到

















111 2121

121 2222

112 2

,, ,

ss sss

cyy cyycyy

cyycyycyy

cyy cyycyy

0



 





 









 









(5)

令2



 ，则













2,,,

yx yxxyx



 

即















11 22

,, ,,

cyx cyxcyxxx





 (6)

联立方程(5)和(6)，看作(s+1)个系数的方程，有非零解





,,,,1

cc c，故必有













 

11 2111

,, ,,

,, ,

ss sss

yyyyyy xy

yyyyyyx y

yx yxxx











 



即











2121212

,,,,,,, ,,,,

GyyyGyyyxGxyyy



 



我们考虑希尔伯特空间上的最小二乘法，即考虑



之最小值，由上述定理可知，如果最小值存在，

其必定为

YB



,,,,

,,,















(7)

在可分希尔伯特空间中，我们利用此最小距离反推x所满足的条件。







 



,,,, 1,1,

,,,

sii

GB BB AAB

GAA

 



















C

其中为一

s矩阵，如果，k行j列元素为,kji







，i行元素为







，i列元素为故我们可

以得到









 



,,,, 1,,,

,,,

GB B BAAABAAABBBBAAAAB

GAA

 







 







由于



,,,





在K中可逆，假定 2

YB AXB 

在x处取得极小值，故有



2,,,



xBAxBAxBBBAxB BBBAAAAB





 

  

此时我们显然有



AAA B





 (8)

4. 希尔伯特空间上有限点到子空间的距离

考虑希尔伯特空间上 m个点到由点

,,,

BB B12

,,,

yy y生成的子空间M的距离的最小和，即

李非  内积空间与最小二乘法

min ,

Bx M





 (9)

我们将 12

,,,

yy y变为一组标准正交基，即







12 12

,,, ,,,

yyyyyC







令112 2

cy cycy



 

，对任意





iii

BBB im ，12

BMBM





故(11)式的值为

min







我们需求

min m





 (10)

由于

1111 1211

2121 222

112

mmm ms

Bdddy

Bdd dy



























 





 

111 11

mms ms

ijij jjij

iij ij

Bcdyc

 

 

 

此时我们不妨假定

min ,

jjijj

Ccdc





K

，由于

C之间彼此没有影响，故我们求得(9)式的最小值为



,,,,

GBy yyC









j



(11)

同时，假定按照绝对值的顺序递增，当 m为基数时，



mi j









；当 m为偶数时，

(1)

mi j

Ccc







j i

。

5. 结论

本文在内积空间中看待最小二乘法，并把有限点到子空间距离的一般算法推广到一般希尔伯特空间上。

6. 致谢

感谢教研室的全体同志在讨论班上对该文题的贡献，尤其感谢冯良贵老师及杨涌老师。

参考文献 (References)

[1] 黄有度, 狄成恩, 朱士信. 矩阵论及其应用[M]. 合肥: 中国科学技术大学出版社, 1995.

[2] 张贤达. 矩阵分析与应用[M]. 北京: 清华大学出版社, 2004.

[3] 王萼芳, 石生明. 高等代数(第三版)[M]. 北京: 高等教育出版社, 2010.

[4] 王声望, 郑维行. 实变函数与泛函分析概要(第三版)[M]. 北京: 高等教育出版社, 2006.