Modern Management 现代管理, 2012, 2, 45-49 http://dx.doi.org/10.12677/mm.2012.21009 Published Online January 2012 (http://www.hanspub.org/journal/mm) Estimation of GM(1,1) Model Parameter Based on LS-SVM Algorithm and Application in Load Forecasting Deqiang Zhou School of Information and Mathematics, Yang tze University, Jingzhou Email: zdqm f k@yahoo.c om.cn Received: Jun. 28th, 2011; revised: Jul. 20th, 2011; accepted: Aug. 15th, 2011 Abstract: In order to overcome the d efects of traditional parameters estimation method in GM(1,1) mo del by means of least square procedure and enhance the forecasting accuracy of GM(1,1) in medium and long-term load forecasting precision, an improvement GM(1,1) model based on LS-SVM algorithm is presented. This method constructs the grey LS-SVM with background value and raw data series as the training sample ac- cording to the character of grey difference equation, converts the GM(1,1) mode l parameter estimation prob- lem into a grey LS-SVM parameter estimation problem, then the regression parameters in the grey LS-SVM are solved based on the LS-SVM algorithm and the GM(1,1) model parameters estimation are also obtained. Using this method in this paper to estimate the GM(1,1) model, the method follows structural risk minimiza- tion principles, algorithm has the advantage of fast speed, strong robustness, suitable for GM(1,1) model of small samples. This method is applied to long-term load forecasting, compared with forecasting effect analy- sis of traditional GM(1,1) model to prove the validity and the superiority of the model. Keywords: Load Forecasting; Parameter Estimation; GM(1,1) Model; Least Square Support Vector Machines Method 估计 GM(1,1)模型中参数的 LS-SVM 方法及其在负荷 预测中的应用 周德强 长江大学信息与数学学院,荆州 Email: zdqm f k@yahoo.c om.cn 收稿日期:2011 年6月28日;修回日期:2011 年7月20 日;录用日期:2011 年8月15 日 摘 要:为克服利用传统最小二乘法估计 GM(1,1)模型参数的缺陷,改善 GM(1,1)模型在中长期负荷 预测中的精度,提出了基于 LS-SVM 算法估计 GM(1,1)模型中参数的方法。该方法根据 GM(1,1)灰色 差分方程的特点,构造以背景值序列和原始序列为训练样本的灰色 LS-SVM,将 GM(1,1)模型参数的 估计问题转化为灰色 LS-SVM 的参数估计问题,依据 LS-SVM 算法求得灰色 LS-SVM 的参数,进而 得到 GM(1,1)模型的参数估计。利用本文方法估计 GM(1,1)模型的参数,方法上遵循了结构风险最小 化原则,算法实现上具有速度快,稳健性强的优点,适合 GM(1,1)小样本建模的特点。将本文方法应 用于中长期负荷预测,通过与传统的 GM(1,1)模型预测效果的对比分析,验证了该模型的有效性和优 越性。 关键词:负荷预测;参数估计;GM(1,1)模型;LS-SVM 算法 Copyright © 2012 Hanspub 45 估计 GM(1,1)模型中参数的 LS-SVM 方法及其在负荷预测中的应用 46 Copyright © 2012 Hanspub 1. 引言 电力负荷预测对电力系统的安全生产、经济运 行、控制和规划非常重要。电力负荷预测的关键问题 是预测技术和方法。众多学者提出了短期和中长期负 荷预测的方法[1-6]。灰色 GM(1,1)模型适合处理少数 据、小样本、信息不全的不确定性问题,计算简便。 电力负荷系统是一种典型的灰色系统,因此灰色理论 在负荷预测中得到了广泛应用[7-9]。在 应用GM(1,1)模 型进行负荷预测时,首先要确定模型中的参数, GM(1,1)建模过程中的参数估计是非常重要的。因为 其参数估计将直接影响预测的精度。一般地,估计修 正和改进的 GM(1,1)模型中的参数,采用的是最小二 乘法[7,8,10,11]。但最小二乘法首先需假设数据总体为正 态分布,并且建立在残差平方和最小基础上,最小化 的目标依据的是经验风险最小化(ERM)[12]原则,灰色 预测模型所用统计数据一般较少、信息不完全,然而 在参数估计的过程中采用ERM 这种以大样本理论为 基础的原则,往往无法保证在样本有限时仍能得到好 的结果[12],这也是传统 GM(1,1)模型精度不高的一个 重要原因。其次,基于残差平方和最小寻优,很容易 陷入局部最小,对于非线性较强的负荷,应用最小二 乘法得到的结果会产生很大的偏差[9,13]。另一方 面最 小二乘法稳健性较差,若中长期负荷存在奇异点,应 用最小二乘法会导致异常数据产生过分不恰当的影 响,从而影响到GM(1,1)模型的预测精度[9,13]。 统计学习理论[12]是专门针对小样本情况下的学 习问题建立的一套新的理论体系.它建立在结构风险 最小化原则(SRM)[12]基础上,对总体的分布不需做特 殊要求,而由 Vapnik 等人 所创立的支持向量机 (SVM)[12]学习算法,以及 Suykens 等人在此基础上提 出的最小二乘支持向量机(LS-SV M)[14] 则是实现这一 新原则的实际方法。这些算法是在模型的复杂性与推 广性之间寻求折中,保证模型具有较强的推广性能和 稳健性,适合 GM(1,1)模型小样本建模的特点。因此, 本文将 LS-SVM 算法与GM(1,1)模型相结合,提出了 基于 LS-SVM 算法估计GM(1,1)模型中的参数,克服 传统 GM(1,1)建模存在的上述缺陷。该方通过构造以 背景值序列和原始序列为训练样本的灰色 LS-SVM, 将GM(1,1)模型参数的估计问题转化为灰色 LS-SVM 的参数估计问题,依据 LS-SVM 算法求得灰色 LS- SVM 的参数,进而得到 GM(1,1)模型的参数估计。将 模型应用于中长期负荷预测,表明本文的方法是可行 的且有效的,比传统方法预测精度高。 2. 传统 GM(1,1)模型建模机理 建立 GM(1,1)模型的一般步骤如下[12]: 1) 设 000 12 ,,, n 0 X xx x 表示原始电力负荷 数据序列。 2) 作累加生成: 10 1 ,1,23, k kj j x xk ,,n , 得到 1 , n 111 12 ,, X xx x。 3) 模型建立: 1 X 的白化方程为 1 1 d d xax b t , (1) 其中 为参数,t为时间。用原始数据序列,ab 0 k x 近似 代替微分方程中的 1 d d x t,并利用 11 1 0.5 , kkk zxx 1 2,3, ,k n ,作紧邻均值生 成 111 23 ,,, n 1 Z zz z,代换 1 x ,则式(1)变为 01 X aZ b , (2) 4) 模型求解:对应 个时间序列,(2)式可构成一 方程组: n YB , (3) 其中: 00 0 23 ,, T n Yxx x, 11 1 23 11 1 T n zzz B ,ab,对参数 做最小二 乘估计 2 01 ,2 min n kk ab k x az b , (4) 解得 1 ˆ ˆ,= TTT abB BBY ,解微分方程(1),并进行累 加,得到预测模型 1ˆ (0) 1 ˆˆ ˆ1ˆˆ ak b xkx e aa b , (5) 从而可得原始数据的拟合值为 011 ˆˆˆ 11 1, 2,,1 , x kxkxk kn (6) 估计 GM(1,1)模型中参数的 LS-SVM 方法及其在负荷预测中的应用 3. 基于 LS-SVM 算法估计 GM(1,1)的 参数估计 3.1. 传统GM(1,1)模型参数估计的缺陷 首先,从式(4)可见,在传统 GM(1,1)模型中,参 数估计采用最小二乘法,可归结为对经验风险泛函[12] 2 01 emp 2 n k Rxkazk b, (7) 最小化的问题。灰色预测模型所用统计数据一般较 少,式(7)依据的却是基于大样本统计理论的ERM 原 则最小化经验风险,往往无法保证在样本有限时仍能 得到好的结果,即模型的推广性未必很好。 其次,基于残差平方和最小寻优,很容易陷入局 部最小,对于非线性较强的负荷,应用最小二乘法得 到的结果会产生很大的偏差。 另一方面,最小二乘法利用 2 01 kk x az b 刻画真实值 0 k x 与模型值 的偏差,主要考虑 到计算简便,参数估计易于用公式求解,但当原始数 据存在奇异点时,平方会放大奇异点对可信度的影 响,导致 GM(1,1)模型的预测效果不好,即最小二乘 法的稳健性不好[9,13]。在中长期负荷预测中 ,经常 会 出现异常点,而异常点恰好在某些方面反映了一些特 殊的信息,不应随意剔除。 1 k az b 综上所述,利用 GM(1,1)模型进行中长期负荷预 测时,不宜用最小二乘法估计模型参数,需要修正传 统GM(1,1)模型中参数的估计原则,采用针对小样本 的估计原则更适合 GM(1,1)建模。 Suykens 等人提出的 LS-SVM 算法,建立在SRM 原则下,具备非线性拟合性好、泛化能力强,运算速 度快[7]、不依赖样本的分布类型、小样本等特点。因 此,用LS-SVM 算法估计 GM(1,1)模型的参数,符合 GM(1,1)模型的小样本建模特点,不仅可将两种小样 预测技术进行结合,而且可有效克服传统 GM(1,1)模 型中参数估计的缺陷。 3.2. LS-SVM算法下的 GM(1,1)的参数估计 假定训练样本 ,用非线 性映射 n 1 ,, , l ii iii xyxR yR x 将样本从原空间映射到一个维数为 的 高维特征空间 k Z 中,在该空间中构造最优线性回归函 数 T f xw xb , (8) 式中 为权向量, k wRbR 为偏移量。 为使实际风险最小,根据 SRM 原则,LS-SVM 算法可表述为优化问题[14]: 22 ,, 1 n s.t. wb 1 mi 22 , 1,2, l i i T iii w ywxbil (9) 其中 i 为误差项, 是一个调节因子,当 为无 穷大时,所得的解为最小二乘解。在GM(1,1)模型的 参数估计中,通常所用的最小二乘方法可视为该方法 的特例,此时相当于仅考虑模型的复杂性。目标函数 中2 1 2w这一项,是为了保证模型的推广性,LS-SVM 算法在模型的复杂性与推广性之间寻求折中,更适合 解决有限样本集的 GM(1,1)预测问题。 根据 LS-SVM 算法的特点,设计 LS-SVM 算法下 的GM(1,1)模型中参数的估计方法如下: 1) 将式(2)变形为 01 X aZ b ,进一步令 其中 01 ,,YX XZ 00 0 23 n Yxx x,, T, 111 1 23 ,,, n Z zz z, 则估计 GM(1,1)模型中参数 的问题,可描述为利 用训练样本 ,ab 10 2 ,, , n kkkkk kk xyxyz x , (10) 在样本空间中构造最优线性回归函数 yaxb , (11) 其回归系数是 GM(1,1)模型中的灰色参数,考虑到这 是一个一元回归问题,利用 LS-SVM 算法,等价于求 解优化问题 22 ,, 1 min t. ab 2 22 s. ,2,3, , l k k kk k a yaxb kn (12) 将所得到的回归函数称为灰色LS-SVM。 2) 求解优化问题(11),引入如下拉格朗日函数 22 22 1 ,,, 22 nn ikkk kk Labaax by k Copyright © 2012 Hanspub 47 估计 GM(1,1)模型中参数的 LS-SVM 方法及其在负荷预测中的应用 式中 为拉格朗日乘子。根据库恩–图 克优化条件有 2,3,, kk n 0, 0,0, 0 k LL L L b aα , , 得到如下等式约束条件 22 ,0, 0 nn kkkk k kk kkk ax ax by , (13) 3) 对于样本集(9),消 去和 a ,问题归结为求解 如下线性方程组 00 T nn b e Iαy e (14) 式中为元素为 1的向量, 为 的单位阵, e n 11n I 1n 1 23 23 ,,,,,,, TT nn yy y αy 11 ij nn xx , 。 根据 Mercer 条件[12],定义线性(多项式)核函数 , ij ij K xx xx,带入方程组(14),利用最小二乘法求 出拉格朗日乘子以及参数 。根据式(13)中的关系 * α* b 式,可得最优线性回归函数的系数,即 2 n kk k a x * b 6 GM(1,1)模型的参数估计为 * 2 ˆ ˆ, n kk k axb , (15) 比较式(12)和式(7)结构上的变化,可见本文方法 是将 GM(1,1)模型参数的估计问题转化为灰色 LS- SVM 的参数估计问题,方法上遵循了结构风险最小化 原则,这一变化不仅适应了GM(1,1)模型小样本建模 的特点,而且增强了模型的鲁棒性,提高了模型的推 广性。LS-SVM 算法与模型的调节因子和核参数有较 大关系[12,14],然而,在利用 LS-SVM 算法估计 GM(1,1) 模型参数的过程中,只需利用线性核,避免了支持向 量机算法中核函数参数选择[3]上的困难。 4. 实例分析 为了说明本文所提出的改进模型的有效性,以文 献[9]中1990 年到 1997年京津塘历年最大电力负荷为 例进行验证,负荷数据见表1。 根据文[9]的计算结果,历史负荷的年增长率最大 为10.56%,最小为 1.97%,极差达到 8.59%,而且每 一年负荷与上一年相比,波动较大,负荷有奇异值。 将1990年到 1995年的据作为样本集,对1996 年、 1997 年的负荷进行预测,利用本文预测方法,在基于 LS-SVM 算法求GM(1,1)的模型参数时,分别取调节 因子 5 110,110 ,将结果与传统方法进行 对比,不同方法的预测结果见表 2。 对于城市电网中长期规划,当年用电量预测相对 误差小于10%时,该年的预测结果可视为高精度预测 [8],由表 2可见,基于本文模型得到的 1996 和1997 年该市用电量预测相对误差均在 5%以内,预测精度 较好。从以上数据可得,若中长期负荷存在奇异点, 利用本文方法估计 GM(1,1)模型的参数可以使模型的 预测精度相对于传统方法得到显著改善。但在实验中 发现当 取得较大时,本文方法的估计效果与传统方 法相当,这恰好说明通常所用的最小二乘方法可视为 LS-SVM方法的特例。 5. 结论 1) 最小二乘法具有良好的解析性,易于求解,使 得该方法在 GM(1,1)模型中成为普遍采用的参数估计 方法,但是它基于大样本理论的 ERM 原则估计参数, 容易陷入局部最小、稳健性较差,使得在处理存在奇 异负荷的预测问题时,不能很好地拟合。GM(1,1)模 型具有小样本建模的特点,利用GM(1,1)模型进行中 长期负荷预测时,不宜用最小二乘法估计模型参数, Table 1. Beijing and Tianjin pond all previous years maximum load from 1990 to 1997 表1. 1990年~1997 年京津塘历年最大负荷 年份 1990 1991 1992 1993 实际值/万KW538.99 548.66 602.21 654.05 年份 1994 1995 1996 1997 实际值/万KW723.12 753.84 803.35 877.22 Table 2. The forecasting results and relative errors based on dif- ferent models 表2. 基于不同模型得到的预测结果及其相对误差 预测结果/万KW 相对误差/% 本文方法 本文方法 年份 GM(1,1) 模型 1 × 10–5 1 × 10–6 GM(1,1) 模型 1 × 10–5 1 × 10–6 1996829.60825.65796.69 3.26 2.77 0.83 1997899.05893.14850.48 2.48 1.81 3.04 平均值 2.87 2.29 1.94 48 Copyright © 2012 Hanspub 估计 GM(1,1)模型中参数的 LS-SVM 方法及其在负荷预测中的应用 Copyright © 2012 Hanspub 49 需要修正传统 GM(1,1)模型中参数的估计原则,采用 针对小样本的 SRM 估计原则估计参数更适合 GM(1,1) 建模。 2) 本文提出利用 LS-SVM算法估计GM(1,1)模型 的参数,理论上可以克服最小二乘法估计 GM(1,1)模 型参数的缺陷,对实例进行预测,在负荷有突变的情 况下,本文方法的预测精度高于传统模型的推算结 果,这进一步说明其合理性。 3) LS-SVM算法与模型的调节因子和核参数有较 大关系,本文方法在利用 LS-SVM 算法估计 GM(1,1) 模型参数时,虽不用考虑核参数的选取,但如何准确、 快速地选取模型的调节因子是需要进一步研究的问 题。 参考文献 (References) [1] 徐军华, 刘天琪. 基于小波分解和人工神经网络的短期负荷 预测[J]. 电网技术, 2004, 28(8): 30-33. [2] 李元诚, 方廷健, 于尔铿. 短期负荷预测的支持向量机方法 研究[J]. 中国电机工程学报, 2003, 23(6): 55-59. [3] 吴景龙, 杨淑霞, 刘承水. 基于遗传算法优化参数的支持向 量机短期负荷预测方法[J]. 中南大学学报: 自然科学版, 2009, 40(1): 180-184. [4] 杨延西, 刘丁. 基于小波变换和最小二乘支持向量机的短期 电力负荷预测[J]. 电网技术, 2005, 29(13): 60-64. [5] 马文晓, 白晓民, 沐连顺. 基于人工神经网络和模糊推理的 短期负荷预测方法[J]. 电网技术, 2003, 27(5): 29-32. [6] 俞明生, 冯桂宏, 杨祥. 组合优化灰色模型在中长期电力负 荷预测中的应用[J]. 沈阳工业大学学报, 2007, 29(2): 450- 453. [7] 牛东晓, 贾建荣. 改进 GM(1,1)模型在电力负荷预测中的应 用[J]. 电力科学与工程, 2008, 24(4): 28-30. [8] 王成山, 杨军, 张崇见. 灰色系统理论在城市年用电量预测 中的应用——不同预测方法的分析比较[J]. 电网技术, 1999, 23(2): 15-18. [9] 苗增强, 李婷, 陈芳等. 基于最小一乘法的组合赋权法在中 长期负荷预测中的应用[J]. 电力系统保护与控制, 2009, 37(2): 28-31. [10] 陈超英. 累加生成的改进和GM(1,1,t)灰色模型[J]. 数学的实 践与认识, 2007, 37(2): 105-109. [11] 何文章, 宋国乡. 基于遗传算法估计灰色模型中的参数[J]. 系统工程学报, 2005, 20(4): 432-436. [12] V. N. Vapnik. The nature of statistical learning theory. Heidell- berg: Springer Verlag, 1995. [13] 安德洪, 韩文秀, 岳毅宏. 组合预测法的改进及其在负荷预 测中的应用[J]. 系统工程与电子技术, 2006, 26(6): 842-844. [14] J. A. K. Suykens, J. Vandewalle. Least squares support vector machine classfiers. Neural Processing Letters, 1999, 9(3): 293- 300. |