基于单元配方约束的无监督学习系统 Unsupervised Learning System with Prescription Constraint for Each Unit

doi:10.12677/CSA.2013.34038

设为首页加入收藏期刊导航网站地图

期刊菜单

文章导航

Computer Science and Application 计算机科学与应用, 2013, 3, 222-227

doi:10.12677/csa.2013.34038 Published Online July 2013 (http://www.hanspub.org/journal/csa.html)

Unsupervised Learning System with Prescription Constraint

for Each Unit*

Jin Zhou1, Hui Lin2#, Hengqing Tong2

1College of Mathematics and Quantitative Economics, Hubei University of Education, Wuhan

2Department of Mathematics, College of Science, Wuhan University of Technology, Wuhan

Email: #463600152@qq.com

Received: May 4th, 2013; revised: May 23rd, 2013; accepted: Jun. 2nd, 2013

stricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract: An unsupervised learning system with prescription condition (the weight coefficients are nonnegative and

their sum is 1) is constructed, and its definite linear algorithms, the constraint least squares solutions, are proposed. This

is the kernel content of this paper. The unsupervised learning system composed of some basic units is similar to a struc-

tural equation model (SEM), and is a kind of indeterminate equations. The traditional algorithms of SEM including par-

tial least squares (PLS) and linear structure relationship (LISREL) are indefinite iterative algorithms, and may be non-

convergent and non-unique. This paper constructed the inverse equations according to the idea of factor analysis, and

obtained a middle solution based on modular length constraint (the length of latent variable is temporarily assumed as

1). Then the definite linear algorithm of the model making use of the latent regression with prescription constraints is

constructed and to substitute traditional iterative algorithms. Data examples, including the index summarizing model for

the Diffusion Indexes of Income and Price, and the model of Army Moral Index, show the analysis abilities and classi-

fication functions of the learning systems for economic or psychological problems, and extend the application scope of

unsupervised learning systems. A kind of index summarizing modular with a latent variable and unknown weight coef-

ficients are the basic units in the systems.

Keywords: Unsupervised Learning System; Prescription Condition; Constraint Least Squares; Definite Linear Algorithms

基于单元配方约束的无监督学习系统*

周瑾1，林卉2#，童恒庆 2

1湖北第二师范学院数学与数量经济学院，武汉

2武汉理工大学理学院数学系，武汉

Email: #463600152@qq.com

收稿日期：2013 年5月4日；修回日期：2013年5月23 日；录用日期：2013年6月2日

摘要：本文核心内容是提出了一种基于单元配方约束条件(所有权系数非负而其和为 1)的无监督学习系统，以

及基于约束最小二乘解的确定性算法。系统本身类似于结构方程模型(SEM)，属于不定方程组，传统的算法包

括偏最小二乘(PLS)与协方差拟合(LISREL)算法都是不确定的迭代算法，存在计算可能不收敛、结果可能不唯一

的问题。本文则根据因子分析思想构造逆向影响方程，利用模长约束(潜变量的长度假设为 1)作为中间技巧求得

过渡解，最后添加合理的配方约束进行潜变量回归，成功构造了系统的确定性线性算法，从而替代了传统的迭

代算法。两个数据例子，包括收入和价格扩散指数的汇总问题和军队士气模型，演示了系统在经济和心理领域

的分析和分类功能，也是对无监督学习系统应用范围的极好扩充。

*资助信息：国家自然科学基金项目(81271513)。

#通信作者。

222

基于单元配方约束的无监督学习系统

关键词：无监督学习系统；配方条件；约束最小二乘；确定性线性算法







1. 引言

无监督学习模式里虽然有输入变量和输出变量，

但是没有已知的输出，无法进行监督学习，因而是神

经网络和学习系统研究领域里极具挑战的困难问题

[1]。典型的无监督学习系统如约束玻尔兹曼机(RBMs)

[2]、深信念网络(DBNs)[3]、稀疏代码算法(SC)[4]等，已

经得到学术界认同，并且在计算机视觉、网络反馈、

文本分类等领域获得应用。但是迄今为止，还少有文

献讨论社会经济指标的评估和分类问题[5]。

本文讨论一种新的无监督学习系统，它由若干基

本单元组成。每个单元的输入变量通过线性加权汇总

成一个输出变量，汇总过程受配方约束，即所有加权

系数都非负，其和为1。单元之间有互相影响的路径，

类似于路径分析里的结构方程模型(SEM)[6]。这种系

统产生于社会经济指标评估和分类问题，也可以被表

示为自组织路径约束的神经网络[7]，在顾客满意度测

评等领域有广泛的应用[8]。

结构方程模型属于不定方程，已有的算法主要有

偏最小二乘法(Partial least squares, PLS)和线性协方差

拟合法(Linear structure relationship, LISREL)[9]，它们

属于不确定的迭代算法。本文的主要工作在于发现了

模型的基本单元，虽然也是不确定方程，但是结合实

际问题普遍需要的配方约束，可以实现基于约束回归

的确定性算法。在此基础上，本文提出了基于结构方

程模型的无监督学习系统的确定性算法。

2. 基于结构方程模型的无监督学习系统

本文讨论的无监督学习系统包含两级变量：潜变

量与观测变量；包含两个方程组：由潜变量与观测变

量组成的观测方程组，以及潜变量之间的结构方程

组，如图 1所示。

图1所示的系统包含 6个潜变量。 1



和2



分别表

示“信念”和“领导”，它们是自变量； 1



分别

表示“团结”、“自豪感”、“信心”和“团队精神”，

它们是因变量。在潜变量之间有 14 条路径系数，从

自变量到因变量之间的路径系数记为 ij



，以虚线箭头

表示；在因变量之间的路径系数记为 ij



，以实线箭

头表示。























Figure 1. A learn system containing 6 latent variables

图1. 含有6个潜变量的学习系统

图1所示系统的结构方程组是：

31 32

41 4243

11 121

21 2212

31 3223

41 424

0000

000















 

 

 



 



 



 



 



 

 































(1)

可以采用向量表示一般的结构方程组。令





TT T

1,,

 

，





TT T

1,,

 

。因变量



的系数

矩阵是 mm



的矩阵







B，



的系数矩阵是 mk



矩阵







Γ，残差向量是









T





。于是结

构方程组(1)可以扩展为：









  (2)

潜变量不能直接度量，它的下层包含有若干观测

变量，如图 1。设系统总共有

个观测变量，每个观

测变量都进行了次观测，形成一个的观测数

据矩阵，作为系统的输入。

NNM

潜变量中设有个自变量和个因变量。和kmt



对

应的观测变量记为 tj

，1, ,tk



，





Kt1, ,j，这

里





t是t



包含的观测变量个数。和 i



对应的观测

变量记为，im

y1, ,



，j，这里



Li1,,





Li是



包含的观测变量个数。图 1中，k = 2，m = 4，K(t)

= 3，4，而 L(i) = 3，3，4，3。

观测方程表达了潜变量与观测变量之间的关系。

基于单元配方约束的无监督学习系统

图1中的观测方程是：



,1,,

ttjtjxt







k

(3)



,1,,

iijijyi







, (4)

这里 tj



和ij



是汇总变量的权系数，



是随机误差。

3. 基本单元的约束最小二乘解

可以从图 1的系统里看到 6个基本单元，将一个

基本单元水平放置如图 2所示。一般的，每个基本单

元里含有输入变量1,,

x，它们是独立观察变量；

还有输出变量



，它们是未知的因变量即潜变量；汇

总系数是待定的权系数 1,,



，满足方程：





 (5)

这个方程是不定方程，不能使用普通的回归方

法。如果采用合理的配方约束和一定的数学技巧，那

么可以得到基本单元的配方约束解。

基于路径分析的思想，可以认为不仅潜变量受到

观测变量的影响，而且观测变量也是受到潜变量的影

响。相对于方程(5)，我们可以构造一种逆向影响方程：

11 1

pp p







 



 





 



 





 

 

(6)

这里是维随机误差向量。由于潜

变量

T,1,,



pN



和载荷系数 ,1,i,



都是未知，所以(6) 也

是不定方程。注意(6)式左边，每一个 T

是一个维

行向量，而右边每一行是一个数



乘以行向量 T



。

由于一个 T



要满足多个方程，所以(6)还是矛盾方程

组。

解矛盾方程组可以利用最小二乘法，还可以添加

合理的约束。令



1,,

xx，



1,,





，



1,,





 

，则

和



都是矩阵，方程(6)

成为

Np

xx ,,

1



1



Figure 2. A basic unit of unsupervised learning

图2. 无监督学习的基本单元









(7)

假设



和



都是独立的，则









TTT

EXXEE



 





。进一步如果假设



是单位向量，即 T1





，则有



TTT

XX E







 (8)

于是可以得到模长约束最小二乘解(MCLS)[10,11]。

一般的，可以假定







是一个对角矩阵，即









22T

1,,

Ediag









。于是(8)可以展开为：

TT22

1111 11

TT 2

pppp p

xx xx

 

















 





 









(9)

注意左边矩阵元素是两个向量的点积，右边矩阵

的元素是两个数的乘积。取对角线的元素相等，得到

T22

,1,,

ii ii



 p (10)

如果能够估计出 2



，那么就可以估计出 2



。设

协方差矩阵





xEX TX，T

ˆx

X ，假定 1





的

对角线元素是，根据因子分析的方法，

ˆ,1,



,

ip2



的估计是 21

ˆii







1,i，,p



，这里



ˆi



是矩阵





的对角线元素。于是由(10)可得：

2T2

ˆˆ,1,,

iiii



 p (11)

有了 i



的估计，就容易计算



各个分量的估计

了。由于(11)式里i



的估计已经包含随机误差项



的

影响，所以(7)可以近似表达为 TT





。使用向量





1,,







左乘 T





的两边得到：

 

x

(12)

这里 2





。于是潜变量



的估计是：

ˆp





 (13)

得到潜变量的估计，回到(5)式就容易得到权系数i



，

1, ,ip



的估计。这只需要使用普通的最小二乘法。

上述算法的合理性是明显的。方程(6)是不定方

程，如果 ,





是一组解，那么 ,





也是一组解，这

里是任一非零常数。也就是说，



的方向不变，但

是模长可以拉伸或压缩，于是可以假定



是单位向量，

从而得到模长压缩最小二乘解MCLS。同时，正是因

为不定方程的解不唯一，需要添加新的适当约束来求

224

基于单元配方约束的无监督学习系统

得合理的唯一解，而 MCLS 只是过渡解。

既然解的模长可以拉伸或压缩，于是可以采用新

的配方约束条件，要求指标汇总的所有权系数都非

负，其和为 1，就是

1,0,1, ,







p

(14)

配方约束条件在指标汇总这一类极为广泛的应

用问题里的合理性是明显的，它可以保证潜变量与观

测变量的同质性，即它们分数值范围相同。例如顾客

满意度的测量通常是从1分到10分，那么汇总后的分

数也应该是从1分到10分。此外，当观测变量的分值

越高，对应的潜变量分值也应该越高。如果所有观测

变量的某一个分值相等，那么对应的潜变量分值也应

该等于这个分值。配方条件可以很好的满足这些要

求。

普通的配方约束回归的算法非常复杂[12]。当初步

的回归系数计算出来有分量为负数时，其配方约束解

应该为 0。这样相应的自变量就实际被删除了，这显

然是一个缺点。现在面临的回归是潜变量回归，因变

量是未知的，这给计算带来极大方便，不仅计算简便，

而且避免删除自变量。

事实上，(14)和(5)是类似的，系数 1,,





就是系数 1,,



。可以根据(14)完成计算，这只需

要拉伸压缩系数 1,,



使其满足配方条件即

可。令 1p

bA A



，以除以(14)两边，则系

数

1,,

bA bA



满足配方条件：非负，其和为 1。

于是(5)系数的估计值就是：



ˆˆ

,, ,,

pbA bA

















(15)

在上述算法里，模长约束只是一个过渡性数学技

巧，配方约束才是根本性要求。

下面选择一个实例来计算，了解潜变量配方回归

与普通算术平均的区别。表1的数据来自

http://www.pbc.gov.cn/publish/html/kuangjia.htm?id=20

12s15.htm，是中国人民银行的官方网站。

有各种不同的方法计算加权指数



。最简单的方

法是普通算术平均，就是对于各列取各个加权系数为

14，计算结果为。也可

以采用本文的方法计算加权指数。计算结果加权系数



51.0,54.55, 20.66.35





Table 1. Diffuse index of income and price of urban depositors

表1. 城镇储户收入与物价扩散指数表(2012)

指数满分为 100

2012.

Q4 算术平均指数



指数Ⅰ 51.9 50.1 50.2 51.8 51.0

指数Ⅱ 54.9 53.2 53.8 56.3 54.55

指数Ⅲ 19.7 18.2 21.0 22.0 20.225

指数Ⅳ 62.1 65.5 67.6 70.2 66.35

Ⅰ 当期收入感受指数

Ⅱ 未来收入信心指数

Ⅲ 当期物价满意指数

Ⅳ 未来物价预期指数



分别是(0.2474，0.2474，0.2501，0.2550)，其和为

1；而潜变量



计算结果是(51.0040，54.561 3 ，20.2407，

66.3827)，这和算术平均略有不同。

计算由数据分析与统计计算软件DASC 完成[13]。

DASC 软件可以从“数据分析与统计计算园地”网站

自由下载，无需注册，免费使用，网址是：

http://public.whut.edu.cn/slx/English/index.HTM。

下载到压缩文件包DASC-Chinese.rar (中文版)或

者DASC-English.r ar (英文版)，解压它，形成了一个文

件夹。进入文件夹点击可执行文件DASC.exe，主菜单

屏幕出现了。点击主菜单“路径分析→单总体指标汇

总模型(单层SEM)”，例子文件数据出现在屏幕A区。

修改A区行数为 4，列数为4(注意回车执行)，将本例

中的 4 × 4 原始数据拷贝，鼠标指向A区左上角点击右

键，在弹出的POP菜单选择“黏贴数据”，原始数据

即黏贴到A区。再修改B区的行数和列数各为 4，点击

“计算”按钮，计算过程就立即自动完成。计算结果

可以在C区看到。

4. 学习系统的配方约束最小二乘解



225,

本文讨论的无监督学习系统由若干基本单元组

成。基于上节的约束最小二乘算法，可以给出整个学

习系统的配方约束最小二乘解。本文的算法也适合一

般的结构方程模型。

和(3)，(4)式对应，图1所示的观测方程组也可以

被表示为潜变量对于观测变量的影响，即逆向影响方

基于单元配方约束的无监督学习系统

程组：



,,,,, 1,,

ttK t

ttxt

tK txtK t

 

 







(16)



,,,,, 1,,

iiL i

iiyi

iL iyiLiim

 









yy (17)

这里 tj



和ij



是载荷系数，



是随机误差。

为简单计，舍去随机误差项，等号变成约等于号：



,, ,,

ttt

tK ttK t

xx t





 (18)

左乘转置矩阵得到：





,, ,,

itt

ttt

tK ttK t

iK ttK t











 

 



 

 

 (19)

上述矩阵的对角元素为T2T

tjtjtjtt







，

。如果假定潜变量



1, ,jKt



是单位向量，即

，那么载荷系数



t



的解可以获得：



ˆ,1,,

t jtjtj

xj Kt



 (20)

有了载荷系数的估计，就可以估计潜变量 t



。将

(18)转置，然后左乘可得：



1,,

ttK t





 



11 1ttt

tK ttK ttK t

xx 2T









令，则



1ttK t







ˆtK t

tt tK t







xx (21)

和(3)比较，权系数的解是



Ω,, ,,

tK t

ttK taa





















。但是现在 Ω还不

满足配方条件，而方程(3)是不定方程， t



也不一定要

是单位向量，于是可以对向量拉伸压缩。令

Ω





个分

量的和为



1ˆ

ˆtK t

baa



，则(3)权系数的估计值为



ˆˆ

Ω,, ,,

tK t

ttK tab ab



















，它的各分量非负，

其和为1。最后，可以获得潜变量 t



的估计为：



ˆ,1,,

tK t

tt tK t

ab ab

类似地可以在(4) 中获得ij



和i



的估计，

1, ,im



，





1, ,jLi。一旦得到潜变量 t



，

1, ,tk



和i



，1, ,im





的估计，就可以从结构方

程组(1)里求得参数



和ij



的估计，或者从一般表达

式(2)里求得参数矩阵和 Γ的估计。注意此时是联立

方程组求解，需要使用二阶段最小二乘法，以使估计

值满足统计学上的一致性[14]。

图1显示的士气模型已经有较长的研究历史[15]，

一般包含6个潜变量[16]。模型的原始数据来自战士们

对问卷的回答，这和顾客满意度测评是类似的。在图

1里，各个潜变量所包含的观测变量个数分别为3，4，

3，3，4，3，观测数据矩阵的列数是这些列数之和，

为20。为简单计，只列出10个战士的问卷分数，原始

数据矩阵行数是N = 10，见表2。

根据本节描述的确定性算法，可以获得权系数的

估计如表3，路径系数ij



和ij



的估计如表4。

Table 2. The original data of moral measurement

表2. 士气测评的原始数据





5 5 5 5 5 5 5 5 5 4 5 5 4 5 5 5 5 4 5 5

5 5 5 5 4 4 5 5 4 4 4 5 4 5 5 5 4 4 4 4

4 5 5 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 3 4

2 3 5 4 4 4 3 4 3 4 2 3 2 4 3 4 5 4 2 4

5 5 5 4 5 4 5 4 5 4 4 5 5 5 5 5 5 5 5 5

5 5 5 4 5 5 5 5 5 5 5 4 4 3 5 5 5 4 4 5

5 5 5 5 5 4 5 4 1 1 4 3 4 5 5 4 4 4 4 4

5 5 5 4 3 4 3 4 3 2 2 4 2 3 3 4 4 4 3 5

5 5 4 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5

5 5 5 5 5 4 4 5 5 4 4 5 5 5 4 4 5 4 4 4

Table 3. The estimation of weight coefficients with prescription

表3. 满足配方条件的权系数的估计

j 1 2 3 4

和



0.3227 0.3387 0.3387 1



0.2509 0.2491 0.2509 0.2491 1



0.3272 0.3364 0.3364 1



0.3210 0.3516 0.3274 1



0.2318 0.2553 0.2422 0.2707 1



0.3140 0.3550 0.3310 1





  (22)

226

基于单元配方约束的无监督学习系统

[2] D. LeLy, P. Chow. High-performance reconfigurable hardware

architecture for restricted Boltzmann machines. IEEE Transac-

tions on Neural Networks, 2010, 21(11): 1780-1792.

Table 4. The estimation of path coefficients

表4. 路径系数的估计

[3] W. K. Wong, M. Sun. Deep learning regularized Fisher map-

pings. IEEE Transactions on Neural Networks, 2011, 22(10):

1668-1675.





0.0000 0.0000 0.0000 0.000 −0.1002 1.0238

0.3380 0.0000 0.0000 0.000 0.1046 0.4975

0.1051 −0.0032 0.0000 0.000 0.0191 0.8966

0.0346 0.0890 0.7701 0.000 0.2949 −0.2620

[4] K. Labusch, E. Barth and T. Martinetz. Simple method for high-

performance digit recognition based on sparse coding. IEEE

Transactions on Neural Networks, 2008, 19(11): 1985-1989.

[5] R. Gençay, R. Gibson. Model risk for European-style stock

index options. IEEE Transactions on Neural Networks, 2007,

18(1): 193-202.

[6] H. J. Ader, I. Bramsen. Computer modeling of social processes,

Chapter 7: Representation of a structural equation model as a

neural network. London: SAGE Publications, 1998: 126-138.

一旦得到这些系数的估计值，系统的学习过程就

完成了。更多的路径计算分析结果这里省略，可以参

看专门的士气分析文献[15,16]。

[7] H. Tong, L. Xiong and H. Peng. Self-organized path constraint

neural network structure and algorithm. 13th International Con-

ference on Neural Information Processing, Hong Kong, 3-6 Oc-

tober 2006, 457-466.

[8] C. Fornell, M. D. Johnson, E. W. Anderson, J. Cha and B. E.

Bryant. The American customer satisfaction index: Nature, pur-

pose, and findings. Journal of Marketing, 1996, 60(4): 7-18.

本例计算过程也可以使用软件DASC自动完成，

只需选择主菜单“路径分析→军队士气评估模型”，

然后调整参数，将A区第一个页面调整为3，4，3，3，

4，3；第四个页面的行数调为10，列数调为20；B区

行数也调为10，列数也调为20，然后按“计算”按钮

即可完成计算。

[9] S. Hsua, W. Chenb and M. Hsiehc. Robustness testing of PLS,

LISREL, EQS and ANN-based SEM for measuring customer

satisfaction. Total Quality Management & Business Excellence,

2006, 17(3): 355-372.

[10] C. Wang, H. Tong. Best iterative initial values for PLS in a CSI

model. Mathematical and Computer Modelling, 2007, 46(3-4):

439-444.

[11] Q. Tong, X. Zou, C. Wang and H. Tong. A definite linear algo-

rithm for structural equation model. Mathematical and Computer

Modelling, 2010, 52(5-6): 744-751.

5. 结论

[12] 方开泰, 王东谦, 吴国富. 一类带约束的回归——配方回归

[M]. 计算数学, 1982, 4: 57-69.

本文研究了基于单元配方约束的学习系统及其

算法。这个系统在处理社会、经济、心理等领域的指

标汇总问题有非常广泛的应用。

[13] 童恒庆. 数据分析与统计计算软件 DASC[M]. 北京: 科学出

版社, 2005.

[14] H. Tong, T. K. Kumar and Y. Huang. Developing econometrics

—Statistical inference for simultaneous equations model; Defi-

nite linear algorithm for SEM. Chichester: John Wiley & Sons,

2011.

本文使用基于配方约束的确定性算法取代传统

的偏最小二乘(PLS)和协方差拟合法(LISREL)。使用

单位模长约束作为一种中间技巧，然后利用潜变量回

归的特点极大改进了传统的配方回归算法，是本文算

法的两个亮点。

[15] M. Artelli, R. Deckro, D. Zalewski, S. Leach and M. Perry. A

control theory model of deployed soldiers’ morale. International

Journal of Operational Research, 2010, 7(1): 31-53.

[16] C. Li. Review of morale research. Advances in Psychological

Science, 2006, 14(2): 193-198.

[17] 郭树行, 李妍. 基于投影寻踪方法的模糊综合估计与聚类的

工程项目风险评估[J]. Computer Science and Application(计算

机科学与应用), 2011, 1(2): 63-68.

相对于指标汇总的其它方法如模糊数学法[17]、灰

色系统法[18]、变异系数法[19]、层次分析法[20]、算术平

均法等，本文的确定性算法是一种新方法。这种算法

基于最小二乘、因子分析、配方约束，是科学而合理

的。相对于结构方程模型传统的偏最小二乘算法和协

方差拟合算法，本文算法是确定性算法，优点在于不

必讨论迭代收敛的存在性与唯一性问题，计算简便而

快捷。

[18] T. L. Tien. A new grey prediction model FGM(1, 1). Mathe-

matical and Computer Modelling, 2009, 49(7-8): 1416-1426.

[19] H. Arabshahi. Modeling low field electron mobility in group III

nitride materials. Computer Science and Application(计算机科

学与应用), 2012, 1(1): 4-8.

[20] T. L. Saaty. Decision making with the analytic hierarchy process.

International Journal of Services Sciences, 2008, 1: 83-98.

参考文献 (References)

[1] R. I. Chang, P. Y. Hsiao. Unsupervised query-based learning of

neural networks using selective-attention and self-regulation.

IEEE Transactions on Neural Networks, 1997, 8(2): 205-217.