Statistics and Application
Vol.04 No.02(2015), Article ID:15547,14 pages
10.12677/SA.2015.42008

Local Polynomial Coefficient AR Prediction Model for Chaotic Time Series

Xiangwu Peng, Liyun Su*, Chenlong Li, Yong Yin, Huanhuan Sun

School of Mathematics and Statistics, Chongqing University of Technology, Chongqing

Email: *cloudhopping@163.com

Received: Jun. 6th, 2015; accepted: Jun. 23rd, 2015; published: Jun. 29th, 2015

Copyright © 2015 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

ABSTRACT

The local linear model, being widely studied and used to predict chaotic time series, has a history of over thirty years. Because of its simple structure, it is easy to implement. However, the local linear method cannot effectively fit nonlinear characteristics of chaotic time series. According to the local and nonlinear characteristics of chaotic time series, a local polynomial coefficient autoregressive prediction model is proposed, namely, local nonlinear prediction model, based on local linear model. Compared to the local linear model, local nonlinear prediction model can approximate many effectively nonlinear properties of chaotic time series. The simulation results of three typical chaotic time series (Logistic mapping, Henon mapping and Lorenz system) show that prediction performance and stability of local nonlinear multi-step model are better than the local linear model. Moreover, the presented model has higher prediction accuracy, even under the circumstances of less sample data.

Keywords:Chaotic Time Series, Local Linear Model, The Phase Space Reconstruction, Local Nonlinear Model

混沌时间序列的局域多项式系数建模及预测

彭相武,苏理云*,李晨龙,殷勇,孙唤唤

重庆理工大学数学与统计学院,重庆

Email: *cloudhopping@163.com

收稿日期:2015年6月6日;录用日期:2015年6月23日;发布日期:2015年6月29日

摘 要

由于局域线性模型的简洁、易于实现,在过去的三十年里,它被广泛的研究并用来预测混沌时间序列。本文依据混沌时序的局部特性和非线性特性,在局域线性模型的基础上,提出基于多项式系数自回归模型的局域非线性混沌时间序列预测方法(简称局域非线性模型)。相比于局域线性模型,该模型能够有效地逼近混沌时间序列的非线性特性。三种典型的混沌时间序列(Logistic映射、Henon映射和Lorenz系统)的仿真结果表明,局域非线性模型的多步预测性能及预测稳定性均好于局域线性模型,且在样本数据较少的情况下也有较高的预测精度。

关键词 :混沌时间序列,局域线性模型,相空间重构,局域非线性模型

1. 引言

混沌是动力系统的一种复杂表现,已经在水文、医学、经济等众多领域中发现混沌现象 [1] - [4] 。对混沌时间序列的建模和预测已经成为研究具有混沌现象的各类时间序列的热点 [5] - [7] 。应用混沌理论结合其他方法对其进行预测,其效果更好,如水文预测 [8] 、风电池功率预测 [9] 、交通流预测 [10] - [13] 等。

混沌时间序列预测的早期方法可归纳为 [7] :全局法,最大Lyapunov指数法,局域法以及自适应预测法。现今方法则可总结为:人工神经网络模型 [14] - [19] ,支持向量机(Support Vector Machine,简记为SVM)模型 [20] - [26] ,复合模型 [9] [27] 和改进的自适应预测模型 [13] 。但这些模型和方法较为复杂,实现繁琐,且有过拟合、局部极小和易受主观经验的影响等问题。线性模型已经有几十年的应用历史。由线性模型构建的针对混沌时间序列的局域线性模型十分简单可行,文献 [8] 和 [28] 对局域线性预测模型又进行了改进,提出了两种新的局域预测方法NLLP1 [28] 和NLLP2 [8] ,使得局域线性预测模型的预测精度和预测长度有了很大提升。然而,局域线性模型的线性化过程掩盖了混沌时间序列的非线性特性,限制了局域线性模型的适用范围。

为了克服这些方法的缺点,本文依据混沌时间序列的局部特性和非线性特性,结合相空间重构的思想和多项式系数模型(Polynomial Coefficient Model) [29] 提出局域多项式系数自回归混沌时间序列预测模型(Local Polynomial-coefficient Prediction,简记为LPP),并根据时域和状态域定阶给出了两种不同的LPP方法。LPP是一种局域非线性方法,可将其看成对局域线性法的改进。LPP模型可以很好的描述混沌时序的非线性特性,能够在不增加较大计算量的前提下提高预测精度,同神经网络模型和SVM模型相比,结构简洁且易于实现。通过对三种典型混沌时间序列(Logistic映射、Henon映射和Lorenz系统)的仿真实验表明,本文方法是有效的。

2. LPP预测模型

2.1. 混沌时间序列的相空间重构

利用Takens嵌入定理 [30] 即可重构混沌时间序列,提升预测效果。设单变量混沌时间序列为,进行相空间重构可得,

(1)

式中,为嵌入维数,为延迟时间,是重构相空间中相点的个数,这个相点的连线构成了维相空间中的轨线。对重构后的相空间,存在光滑映射,即

(2)

分离出,即有

(3)

如果能够求出或找到的一个逼近模型,就能对未来值进行预测。

2.2. LPP模型

局域线性模型(简称LPP模型)是一个局域线性回归模型,混沌时间序列的嵌入维数和延迟时间可根据文献 [31] 确定,有如下形式

(4)

式中,为系数矩阵,是预测步长。

这里,将重构相空间的嵌入维数看成预测阶数。为了估计,要从相空间中找到当前状态(以相点为例)的个邻近点 [8] ,邻近点的选取通过欧式距离来确定。距离越近,当前状态与其他点状态演化相似程度越大,模型的预测精度越高。将个邻近点代入(4)式中,可求得的一个最小二乘估计,将代入(4)式中,可求得的一个估计,每次所得新值都加入训练数据集中,然后进行下一步预测,即将看作,则可求得

将线性模型的系数改为Taylor级数展开

(5)

式中,为由指定的模型依赖变量。将(5)式代入(4)式得

(6)

式中,为系数矩阵,为数据重构后相空间的嵌入维数,为延迟时间。(6)式是一种非线性模型,是局域线性模型的一个改进,利用重构相空间的局域相点对(6)式的参数进行估计,就得到了LPP模型。

2.3. LPP模型参数的估计

为了使LPP模型有效的逼近,采用最小二乘估计方法,使得到的LPP模型是误差平方和最小意义下的一个逼近。将(5)代入(6)中,可得LPP模型的求和形式

(7)

设有个邻近点为,若记

(8)

则(7)式有如下矩阵表达式

(9)

式中,运算

表示矩阵的kronecker积。进而根据最小二乘原理可求得表达式为

(10)

式中,表示对求广义逆,当可逆时,有

2.4. LPP模型阶次的选择

一般的,LPP模型的阶次可通过比较不同值时模型的性能来确定,同时,模型的阶数也不一定要取,因为最优嵌入维数不一定是模型的最优阶数 [28] ,这在嵌入维数较大时尤其需要注意。由于没有对模型误差进行正态假定,传统的AIC准则和BIC准则不再适用。有鉴于此,使用如下两种方案确定模型的阶次:

方案1:取使得一步预测误差平方最小的作为估计点的LPP模型的阶数;

方案2:利用文献 [8] 提供的做法。定义

(11)

式中,为邻近点个数,为广义自由度,定义为。选取使得最小的作为模型的阶次。

第一种方案是利用重构后混沌时间序列的时域特性进行定阶,第二种方案是利用混沌时间序列的状态域特性定阶。若使用第一种方案定阶,将此时的LPP模型记为LPP1模型,若使用第二种方案定阶,将此时的LPP模型记为LPP2模型。

基于以上分析,现给出LPP预测模型的建模步骤。

步骤1:使用相空间重构理论对实验数据进行相空间重构,求得嵌入维数和延迟时间

步骤2:利用(10)式来估计系数矩阵,对不同的阶次和邻域点个数计算,为了控制模型复杂度,减少计算量,限制

步骤3:选取使得最小的和邻域点个数作为模型的阶次,对混沌时间序列进行一步预测;

步骤4:将一步预测结果加入训练数据集中,重复步骤2和步骤3,进行下一步预测。

LPP模型的算法流程图如图1所示。

3. 仿真结果及讨论

下面就LPP1和LPP2预测方法同改进的局域线性模型NLLP1、NLLP2和传统局域线性模型TLLP对三种典型的非线性系统(Logistic映射、Henon映射和Lorenz系统)产生的混沌时间序列的多步预测性能进行仿真研究。以平均绝对误差MAE来评价模型预测值与真值的偏离程度,以相对误差perr来评价模型拟合的准确度,以相关系数CC来定义模型的有效预测步长。一般的,相关系数CC越接近1,则说明两组数据越接近,就时间序列的预测而言,若预测值与真实值的相关系数在1附近,则认为预测准确;若预测值与真实值相关系数接近0,甚至小于0,则认为预测效果很差。同时,本文选取0.99作为一个由相关系数CC定义模型有效预测长度的阈值,即将此阈值对应的预测长度定义为模型的有效预测长度,作为度量模型性能的指标。

Figure 1. The process of LPP modeling and algorithm

图1. LPP建模算法流程

若以分别表示仿真实验的真实值和预测值,则这三种评价标准的定义表达式如下

(12)

式中,表示时间序列预测值的个数,分别表示真实值和预测值的平均值。

3.1. Logistic映射

Logistic映射表达式如下

(13)

式中,取,此时系统具有混沌特性。取初始值,直接迭代10000步,去除前面1000个数据后选取不同训练样本进行仿真实验,实验结果见表1

表1可以看出,LPP2模型能够有效的预测Logistic混沌时间序列,不同样本量的预测效果一致优于局域线性模型以及LPP1模型,尤其是在样本量为500、2000、4000以及8000时的MAE和perr的数量级相差十分的大。对样本量为4000的预测结果做进一步分析,图2是样本量为4000时不同模型真实值和预测值的图像以及其相应的绝对误差的图像,图3为相关系数CC随预测个数增加而变化的图像。

图2可以看出,LPP2模型能够有效的预测Logistic混沌时间序列,预测精度高。而线性模型的预测值与真实值有较大偏差。从图3可以看出,线性模型预测值与真实值的相关系数同LPP2模型相比低很多,且随着预测步数的增加出现了负值,其多步预测性能随着预测步数的增加越来越差。表2给出了在0.99阈值下各模型预测Logistic混沌时间序列的有效预测长度。从表2可以看出,LPP2模型的有效预测长度最大。

3.2. Henon映射

Henon映射表达式如下

(14)

式中,取,此时系统具有混沌特性。取初始值,直接迭代10,000步,去除前面1000个数据后选取不同训练样本进行仿真实验,实验结果见表3

表3表1结果是一致的,即采用方案2定阶的LPP2模型能够有效的预测Henon混沌时间序列,预测效果一致的优于线性模型以及LPP1模型。这表明LPP2模型能够很好的估计Henon映射的变化趋势并对其将来值进行预测。

同样,对样本量为4000时的Henon混沌时间序列的预测性能做进一步分析。结果见图4图5

图4可以看出,LPP2模型能够有效的预测Henon混沌时间序列,预测精度高。而线性模型的预测值与真实值有较大偏差。从图5可以看出,线性模型预测值与真实值的相关系数CC同LPP2模型相比低很多,且随着预测个数的增加出现了负值,故认为线性模型的预测性能比LPP2模型差的多。表4给出了各模型预测Henon混沌时间序列的有效预测长度。从表4可知,LPP2模型具有最好的预测效果。

3.3. Lorenz系统

Lorenz系统表达式如下

Table 1. The comparative results of different samples of Logistic time series

表1. Logistic映射混沌时间序列不同数量训练样本的预测误差

注:记号“--”表示数值大于10。

Table 2. The effective length of forecasting in different training samples of Logistic time series

表2. Logistic混沌时间序列不同数量训练样本的有效预测长度

Table 3. The comparative prediction error of different samples of Henon time series

表3. Henon映射混沌时间序列不同数量训练样本的预测误差

注:记号“--”表示数值大于10。

(a) 线性模型50步预测的真实值和预测值 (b) 线性模型30步预测的绝对误差 (c) LPP模型50步预测的真实值和预测值(d) LPP模型30步预测的绝对误差

Figure 2. Results of Logistic time series multi-step prediction

图2. Logistic映射混沌序列的多步预测结果

Figure 3. Trends in the correlation coefficient of different models of Logistic time series

图3. Logistic映射混沌序列在不同模型下的相关系数变化趋势

(a) 线性模型50步预测的真实值和预测值 (b) 线性模型30步预测的绝对误差 (c) LPP模型50步预测的真实值和预测值(d) LPP模型30步预测的绝对误差

Figure 4. Results of Henon time series multi-step prediction

图4. Henon映射混沌序列的多步预测结果

(15)

式中,取,此时系统具有混沌特性。式(15)的Lorenz模型,只考察分量的预测。假定初值条件,取步长,利用四阶Runge-Kutta产生长度为10,000的时间序列,去除前面1000个数据后选取不同训练样本进行仿真实验,实验结果见表5

Figure 5. Trends in the correlation coefficient of different models of Henon time series

图5. Henon映射混沌序列在不同模型下的相关系数变化趋势

Table 4. The effective length of forecasting in different training samples of Henon time series

表4. Henon混沌时间序列不同数量训练样本的有效预测长度

Table 5. The comparative prediction error of different samples of Lorenz time series

表5. Lorenz系统混沌时间序列不同数量训练样本的预测误差

表5可以看到,在样本量为1000时,TLLP模型的预测效果最好,而其它复杂方法效果不好。为了分析原因,做出的图像,见图6。从图6可以看出,要预测的点周围基本没有邻域点,这是导致预测效果差的主要原因。这也是局域法的一大缺点,即无法对相空间中没有出现过的点进行有效的预测。在样本量为2000、4000和8000时的预测效果LPP1模型的预测效果优于LPP2模型,也优于局域线性模型,但效果相差不大。再次观察图6,可以看出对Lorenz混沌时间序列重构后,具有很强的局域线性特性,这也是局域线性模型预测效果好的原因。尽管如此,LPP模型仍能有效的估计Lorenz系统的变化趋势。图7图8是样本量为4000时不同模型的预测结果。

图7可以看出,线性模型和LPP模型均能够有效的预测Lorenz混沌时间序列。从图8可以看出,各模型预测值与真实值的相关系数CC均接近于1,故认为各个模型的预测性能差不多。表6给出了各模型预测Lorenz混沌时间序列的有效预测长度。从表6可以看出,LPP2模型的有效预测长度是最长的,可以对Lorenz混沌时间序列进行长期预测,而局域线性模型和LPP1模型的有效预测长度相比就小很多。表7给出了对3种典型混沌时间序列不同样本量的不同模型的有效预测长度的均值±标准差。从表7可以看出,LPP2模型的预测效果是最好的,有最长的平均有效预测长度和小的标准差。

Figure 6. The resulting curve of standard test systems of Lorenz model point image

图6. Lorenz模型点图像标准试验系统结果曲线

(a) 线性模型50步预测的真实值和预测值 (b) 线性模型50步预测的绝对误差 (c) LPP模型50步预测的真实值和预测值(d) LPP模型50步预测的绝对误差

Figure 7. Results of Lorenz time series multi-step prediction

图7. Lorenz系统混沌序列的多步预测结果

Figure 8. Trends in the correlation coefficient of different models of Lorenz time series

图8. Lorenz系统混沌序列在不同模型下的相关系数变化趋势

Table 6. The effective length of forecasting in different training samples of Lorenz time series

表6. Lorenz混沌时间序列不同数量训练样本的有效预测长度

Table 7. Means and standard of the effective length of forecasting in three typical chaotic time series

表7. 三种典型混沌时间序列有效预测长度的均值与标准差

4. 结论

本文提出的LPP混沌时间序列预测模型,通过使用局域非线性方法,很好地逼近了混沌时间序列的非线性特性。仿真结果表明该方法是非常有效的,尤其是LPP2模型,对混沌时间序列的预测精度较高,有较长的有效预测长度,预测性能稳定,在小样本量的情况下,LPP2模型的预测效果显著优于局域线性模型。同时结果表明,LPP2模型将3种典型混沌时间序列的有效预测长度提升了一倍以上。LPP模型综合了局域法与线性模型的优点,算法简单高效,可以在不增加较大计算量的前提下大幅度提高预测精度,是预测混沌时间序列的一种新的有效尝试。

基金项目

国家自然科学基金(11471060);重庆市科委基础与前沿研究计划项目(cstc2014jcyjA40003);重庆市教委研究生教育教学改革研究项目(Yjg133029);重庆理工大学研究生教育教学改革研究一般项目(yjg2012208)。

文章引用

彭相武,苏理云,李晨龙,殷 勇,孙唤唤. 混沌时间序列的局域多项式系数建模及预测
Local Polynomial Coefficient AR Prediction Model for Chaotic Time Series[J]. 统计学与应用, 2015, 04(02): 56-69. http://dx.doi.org/10.12677/SA.2015.42008

参考文献 (References)

  1. 1. 张家树, 肖先赐 (2000) 混沌时间序列的自适应高阶非线性滤波预测. 物理学报, 7, 1221-1227.

  2. 2. 张森, 肖先赐 (2005) 混沌时间序列全局预测新方法——连分式法. 物理学报, 11, 5062-5068.

  3. 3. Li, H.C., Zhang, J.S. and Xiao, X.C. (2005) Neural Volterra filter for chaotic time series prediction. Chinese Physics, 14, 2181.

  4. 4. Su, L.Y. (2010) Prediction of multivariate chaotic time series with local polynomial fitting. Computers & Mathematics with Ap-plications, 59, 737-744.

  5. 5. Su, L.Y., Ma, Y.J. and Li, J.J. (2012) Application of local polynomial estimation in sup-pressing strong chaotic noise. Chinese Physics B, 21, Article ID: 020508.

  6. 6. 周永道, 马洪, 吕王勇, 王会琦 (2007) 基于多元局部多项式方法的混沌时间序列预测. 物理学报, 56, 6809- 6814.

  7. 7. 韩敏 (2007) 混沌时间序列预测理论与方法(第1卷). 中国水利水电出版社, 北京, 1.

  8. 8. She, D.X. and Yang, X.H. (2010) A new adaptive local linear prediction method and its application in hydrological time series. Mathematical Problems in Engineering, 2010, Article ID: 205438.

  9. 9. 张学清, 梁军 (2013) 基于 EEMD-近似熵和储备池的风电功率混沌时间序列预测模型.物理学报, 62, 1-10.

  10. 10. 张玉梅, 吴晓军, 白树林 (2013) 交通流量序列混沌特性分析及DFPSOVF预测模型.物理学报, 62, Article ID: 190509.

  11. 11. 张玉梅, 曲仕茹, 秦小娜 (2013) 基于DFP的自适应算法及其在短时交通流预测中的应用. 西北工业大学学报, 3, 482-486.

  12. 12. 张玉梅, 白树林 (2012) 基于乘积耦合Volterra模型的短时交通流预测. 计算机应用, 3, 843-846.

  13. 13. 张玉梅, 吴晓军, 白树林 (2013) 基于DFP的二阶Volterra滤波器及其在混沌序列预测中的应用. 中国科学: 物理学 力学 天文学, 4, 530-537.

  14. 14. Jaeger, H. and Haas, H. (2004) Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless telecommunication. Science, 308, 78-80.

  15. 15. 史志伟, 韩敏 (2007) ESN 岭回归学习算法及混沌时间序列预测. 控制与决策, 3, 258-262.

  16. 16. 韩敏, 史志伟, 郭伟 (2007) 储备池状态空间重构与混沌时间序列预测. 物理学报, 1, 43-50.

  17. 17. 宋彤, 李菡 (2012) 基于小波回声状态网络的混沌时间序列预测. 物理学报, 8, Article ID: 080506.

  18. 18. 王新迎, 韩敏 (2012) 基于极端学习机的多变量混沌时间序列预测. 物理学报, 8, Article ID: 080507.

  19. 19. 韩敏, 王新迎 (2013) 多元混沌时间序列的加权极端学习机预测. 控制理论与应用, 11, 1467-1472.

  20. 20. Suykens, J.A.K. and Vandewalle, J. (1999) Least squares support vector machine classifiers. Neural Processing Letters, 9, 293-300.

  21. 21. 韩敏, 许美玲 (2013) 一种基于误差补偿的多元混沌时间序列混合预测模型. 物理学报, 12, Article ID: 120510.

  22. 22. 叶美盈, 汪晓东, 张浩然 (2005) 基于最小二乘支持向量机建模的混沌系统控制. 物理学报, 6, 2568-2573.

  23. 23. 肖支才, 王杰, 王永生 (2010) 基于在线 LSSVM算法的变参数混沌时间序列预测. 航空计算技术, 3, 29-33.

  24. 24. 温祥西, 孟相如, 李明迅 (2013) 基于最优样本子集的在线模糊LSSVM混沌时间序列预测. 应用科学学报, 4, 411.

  25. 25. 赵永平, 张丽艳, 李德才, 王立峰, 蒋洪章 (2013) 过滤窗最小二乘支持向量机的混沌时间序列预测. 物理学报, 12, Article ID: 120511.

  26. 26. 唐舟进, 任峰, 彭涛, 王文博 (2013) 基于迭代误差补偿的混沌时间序列最小二乘支持向量机预测算法. 物理学报, 5, Article ID: 050505.

  27. 27. 席剑辉, 韩敏 (2007) 主成分分析与神经网络的结合在多变量序列预测中的应用. 控制理论与应用, 5, 719-724.

  28. 28. Meng, Q. and Peng, Y. (2007) A new local linear prediction model for chaotic time series. Physics Letters A, 370, 465-470.

  29. 29. 吕永乐 (2012) 一种新的统计预测模型——多项式系数自回归模型. 计算机工程与应用, 3, 237-241.

  30. 30. Takens, F. (1981) Detecting strange attractors in turbulence. In: Rand, D.A. and Young, L.-S., Eds., Dynamical Systems and Turbulence, Lecture Notes in Mathematics, Volume 898, Springer-Verlag, Berlin, 366-381.

  31. 31. Cao, L.Y. (1997) Practical method for determining the minimum embedding dimension of a scalar time series. Physica D: Nonlinear Phenomena, 110, 43-50.

期刊菜单