 Modern Management 现代管理, 2012, 2, 45-49 http://dx.doi.org/10.12677/mm.2012.21009 Published Online January 2012 (http://www.hanspub.org/journal/mm) Estimation of GM(1,1) Model Parameter Based on LS-SVM Algorithm and Application in Load Forecasting Deqiang Zhou School of Information and Mathematics, Yang tze University, Jingzhou Email: zdqm f k@yahoo.c om.cn Received: Jun. 28th, 2011; revised: Jul. 20th, 2011; accepted: Aug. 15th, 2011 Abstract: In order to overcome the d efects of traditional parameters estimation method in GM(1,1) mo del by means of least square procedure and enhance the forecasting accuracy of GM(1,1) in medium and long-term load forecasting precision, an improvement GM(1,1) model based on LS-SVM algorithm is presented. This method constructs the grey LS-SVM with background value and raw data series as the training sample ac- cording to the character of grey difference equation, converts the GM(1,1) mode l parameter estimation prob- lem into a grey LS-SVM parameter estimation problem, then the regression parameters in the grey LS-SVM are solved based on the LS-SVM algorithm and the GM(1,1) model parameters estimation are also obtained. Using this method in this paper to estimate the GM(1,1) model, the method follows structural risk minimiza- tion principles, algorithm has the advantage of fast speed, strong robustness, suitable for GM(1,1) model of small samples. This method is applied to long-term load forecasting, compared with forecasting effect analy- sis of traditional GM(1,1) model to prove the validity and the superiority of the model. Keywords: Load Forecasting; Parameter Estimation; GM(1,1) Model; Least Square Support Vector Machines Method 估计 GM(1,1)模型中参数的 LS-SVM 方法及其在负荷 预测中的应用 周德强 长江大学信息与数学学院，荆州 Email: zdqm f k@yahoo.c om.cn 收稿日期：2011 年6月28日；修回日期：2011 年7月20 日；录用日期：2011 年8月15 日 摘 要：为克服利用传统最小二乘法估计 GM(1,1)模型参数的缺陷，改善 GM(1,1)模型在中长期负荷 预测中的精度，提出了基于 LS-SVM 算法估计 GM(1,1)模型中参数的方法。该方法根据 GM(1,1)灰色 差分方程的特点，构造以背景值序列和原始序列为训练样本的灰色 LS-SVM，将 GM(1,1)模型参数的 估计问题转化为灰色 LS-SVM 的参数估计问题，依据 LS-SVM 算法求得灰色 LS-SVM 的参数，进而 得到 GM(1,1)模型的参数估计。利用本文方法估计 GM(1,1)模型的参数，方法上遵循了结构风险最小 化原则，算法实现上具有速度快，稳健性强的优点，适合 GM(1,1)小样本建模的特点。将本文方法应 用于中长期负荷预测，通过与传统的 GM(1,1)模型预测效果的对比分析，验证了该模型的有效性和优 越性。 关键词：负荷预测；参数估计；GM(1,1)模型；LS-SVM 算法 Copyright © 2012 Hanspub 45  估计 GM(1,1)模型中参数的 LS-SVM 方法及其在负荷预测中的应用 46 Copyright © 2012 Hanspub 1. 引言 电力负荷预测对电力系统的安全生产、经济运 行、控制和规划非常重要。电力负荷预测的关键问题 是预测技术和方法。众多学者提出了短期和中长期负 荷预测的方法[1-6]。灰色 GM(1,1)模型适合处理少数 据、小样本、信息不全的不确定性问题，计算简便。 电力负荷系统是一种典型的灰色系统，因此灰色理论 在负荷预测中得到了广泛应用[7-9]。在 应用GM(1,1)模 型进行负荷预测时，首先要确定模型中的参数， GM(1,1)建模过程中的参数估计是非常重要的。因为 其参数估计将直接影响预测的精度。一般地，估计修 正和改进的 GM(1,1)模型中的参数，采用的是最小二 乘法[7,8,10,11]。但最小二乘法首先需假设数据总体为正 态分布，并且建立在残差平方和最小基础上，最小化 的目标依据的是经验风险最小化(ERM)[12]原则，灰色 预测模型所用统计数据一般较少、信息不完全，然而 在参数估计的过程中采用ERM 这种以大样本理论为 基础的原则，往往无法保证在样本有限时仍能得到好 的结果[12]，这也是传统 GM(1,1)模型精度不高的一个 重要原因。其次，基于残差平方和最小寻优，很容易 陷入局部最小，对于非线性较强的负荷，应用最小二 乘法得到的结果会产生很大的偏差[9,13]。另一方 面最 小二乘法稳健性较差，若中长期负荷存在奇异点，应 用最小二乘法会导致异常数据产生过分不恰当的影 响，从而影响到GM(1,1)模型的预测精度[9,13]。 统计学习理论[12]是专门针对小样本情况下的学 习问题建立的一套新的理论体系．它建立在结构风险 最小化原则(SRM)[12]基础上，对总体的分布不需做特 殊要求，而由 Vapnik 等人 所创立的支持向量机 (SVM)[12]学习算法，以及 Suykens 等人在此基础上提 出的最小二乘支持向量机(LS-SV M)[14] 则是实现这一 新原则的实际方法。这些算法是在模型的复杂性与推 广性之间寻求折中，保证模型具有较强的推广性能和 稳健性，适合 GM(1,1)模型小样本建模的特点。因此， 本文将 LS-SVM 算法与GM(1,1)模型相结合，提出了 基于 LS-SVM 算法估计GM(1,1)模型中的参数，克服 传统 GM(1,1)建模存在的上述缺陷。该方通过构造以 背景值序列和原始序列为训练样本的灰色 LS-SVM， 将GM(1,1)模型参数的估计问题转化为灰色 LS-SVM 的参数估计问题，依据 LS-SVM 算法求得灰色 LS- SVM 的参数，进而得到 GM(1,1)模型的参数估计。将 模型应用于中长期负荷预测，表明本文的方法是可行 的且有效的，比传统方法预测精度高。 2. 传统 GM(1,1)模型建模机理 建立 GM(1,1)模型的一般步骤如下[12]： 1) 设 000 12 ,,, n 0 X xx x 表示原始电力负荷 数据序列。 2) 作累加生成： 10 1 ,1,23, k kj j x xk ,,n ， 得到 1 , n 111 12 ,, X xx x。 3) 模型建立： 1 X 的白化方程为 1 1 d d xax b t ， (1) 其中 为参数，t为时间。用原始数据序列,ab 0 k x 近似 代替微分方程中的 1 d d x t，并利用 11 1 0.5 , kkk zxx 1 2,3, ,k n ，作紧邻均值生 成 111 23 ,,, n 1 Z zz z，代换 1 x ，则式(1)变为 01 X aZ b ， (2) 4) 模型求解：对应 个时间序列，(2)式可构成一 方程组： n YB ， (3) 其中： 00 0 23 ,, T n Yxx x， 11 1 23 11 1 T n zzz B ,ab，对参数 做最小二 乘估计 2 01 ,2 min n kk ab k x az b ， (4) 解得 1 ˆ ˆ,= TTT abB BBY ，解微分方程(1)，并进行累 加，得到预测模型 1ˆ (0) 1 ˆˆ ˆ1ˆˆ ak b xkx e aa b , (5) 从而可得原始数据的拟合值为 011 ˆˆˆ 11 1, 2,,1 , x kxkxk kn (6)  估计 GM(1,1)模型中参数的 LS-SVM 方法及其在负荷预测中的应用 3. 基于 LS-SVM 算法估计 GM(1,1)的 参数估计 3.1. 传统GM(1,1)模型参数估计的缺陷 首先，从式(4)可见，在传统 GM(1,1)模型中，参 数估计采用最小二乘法，可归结为对经验风险泛函[12] 2 01 emp 2 n k Rxkazk b， (7) 最小化的问题。灰色预测模型所用统计数据一般较 少，式(7)依据的却是基于大样本统计理论的ERM 原 则最小化经验风险,往往无法保证在样本有限时仍能 得到好的结果，即模型的推广性未必很好。 其次，基于残差平方和最小寻优，很容易陷入局 部最小，对于非线性较强的负荷，应用最小二乘法得 到的结果会产生很大的偏差。 另一方面，最小二乘法利用 2 01 kk x az b 刻画真实值 0 k x 与模型值 的偏差，主要考虑 到计算简便，参数估计易于用公式求解，但当原始数 据存在奇异点时，平方会放大奇异点对可信度的影 响，导致 GM(1,1)模型的预测效果不好，即最小二乘 法的稳健性不好[9,13]。在中长期负荷预测中 ，经常 会 出现异常点，而异常点恰好在某些方面反映了一些特 殊的信息，不应随意剔除。 1 k az b 综上所述，利用 GM(1,1)模型进行中长期负荷预 测时，不宜用最小二乘法估计模型参数，需要修正传 统GM(1,1)模型中参数的估计原则，采用针对小样本 的估计原则更适合 GM(1,1)建模。 Suykens 等人提出的 LS-SVM 算法，建立在SRM 原则下，具备非线性拟合性好、泛化能力强，运算速 度快[7]、不依赖样本的分布类型、小样本等特点。因 此，用LS-SVM 算法估计 GM(1,1)模型的参数，符合 GM(1,1)模型的小样本建模特点，不仅可将两种小样 预测技术进行结合，而且可有效克服传统 GM(1,1)模 型中参数估计的缺陷。 3.2. LS-SVM算法下的 GM(1,1)的参数估计 假定训练样本 ，用非线 性映射 n 1 ,, , l ii iii xyxR yR x 将样本从原空间映射到一个维数为 的 高维特征空间 k Z 中，在该空间中构造最优线性回归函 数 T f xw xb ， (8) 式中 为权向量， k wRbR 为偏移量。 为使实际风险最小，根据 SRM 原则，LS-SVM 算法可表述为优化问题[14]： 22 ,, 1 n s.t. wb 1 mi 22 , 1,2, l i i T iii w ywxbil (9) 其中 i 为误差项， 是一个调节因子，当 为无 穷大时，所得的解为最小二乘解。在GM(1,1)模型的 参数估计中，通常所用的最小二乘方法可视为该方法 的特例，此时相当于仅考虑模型的复杂性。目标函数 中2 1 2w这一项，是为了保证模型的推广性，LS-SVM 算法在模型的复杂性与推广性之间寻求折中，更适合 解决有限样本集的 GM(1,1)预测问题。 根据 LS-SVM 算法的特点，设计 LS-SVM 算法下 的GM(1,1)模型中参数的估计方法如下： 1) 将式(2)变形为 01 X aZ b ，进一步令 其中 01 ,,YX XZ 00 0 23 n Yxx x,, T， 111 1 23 ,,, n Z zz z， 则估计 GM(1,1)模型中参数 的问题，可描述为利 用训练样本 ,ab 10 2 ,, , n kkkkk kk xyxyz x ， (10) 在样本空间中构造最优线性回归函数 yaxb ， (11) 其回归系数是 GM(1,1)模型中的灰色参数，考虑到这 是一个一元回归问题，利用 LS-SVM 算法，等价于求 解优化问题 22 ,, 1 min t. ab 2 22 s. ,2,3, , l k k kk k a yaxb kn (12) 将所得到的回归函数称为灰色LS-SVM。 2) 求解优化问题(11)，引入如下拉格朗日函数 22 22 1 ,,, 22 nn ikkk kk Labaax by k Copyright © 2012 Hanspub 47  估计 GM(1,1)模型中参数的 LS-SVM 方法及其在负荷预测中的应用 式中 为拉格朗日乘子。根据库恩–图 克优化条件有 2,3,, kk n 0, 0,0, 0 k LL L L b aα , ， 得到如下等式约束条件 22 ,0, 0 nn kkkk k kk kkk ax ax by ， (13) 3) 对于样本集(9)，消 去和 a ，问题归结为求解 如下线性方程组 00 T nn b e Iαy e (14) 式中为元素为 1的向量， 为 的单位阵， e n 11n I 1n 1 23 23 ,,,,,,, TT nn yy y αy 11 ij nn xx ， 。 根据 Mercer 条件[12]，定义线性(多项式)核函数 , ij ij K xx xx，带入方程组(14)，利用最小二乘法求 出拉格朗日乘子以及参数 。根据式(13)中的关系 * α* b 式，可得最优线性回归函数的系数，即 2 n kk k a x * b 6 GM(1,1)模型的参数估计为 * 2 ˆ ˆ, n kk k axb ， (15) 比较式(12)和式(7)结构上的变化，可见本文方法 是将 GM(1,1)模型参数的估计问题转化为灰色 LS- SVM 的参数估计问题，方法上遵循了结构风险最小化 原则，这一变化不仅适应了GM(1,1)模型小样本建模 的特点，而且增强了模型的鲁棒性，提高了模型的推 广性。LS-SVM 算法与模型的调节因子和核参数有较 大关系[12,14]，然而，在利用 LS-SVM 算法估计 GM(1,1) 模型参数的过程中，只需利用线性核，避免了支持向 量机算法中核函数参数选择[3]上的困难。 4. 实例分析 为了说明本文所提出的改进模型的有效性，以文 献[9]中1990 年到 1997年京津塘历年最大电力负荷为 例进行验证，负荷数据见表1。 根据文[9]的计算结果，历史负荷的年增长率最大 为10.56%，最小为 1.97%，极差达到 8.59%，而且每 一年负荷与上一年相比，波动较大，负荷有奇异值。 将1990年到 1995年的据作为样本集，对1996 年、 1997 年的负荷进行预测，利用本文预测方法，在基于 LS-SVM 算法求GM(1,1)的模型参数时，分别取调节 因子 5 110,110 ，将结果与传统方法进行 对比，不同方法的预测结果见表 2。 对于城市电网中长期规划，当年用电量预测相对 误差小于10%时，该年的预测结果可视为高精度预测 [8]，由表 2可见，基于本文模型得到的 1996 和1997 年该市用电量预测相对误差均在 5%以内，预测精度 较好。从以上数据可得，若中长期负荷存在奇异点， 利用本文方法估计 GM(1,1)模型的参数可以使模型的 预测精度相对于传统方法得到显著改善。但在实验中 发现当 取得较大时，本文方法的估计效果与传统方 法相当，这恰好说明通常所用的最小二乘方法可视为 LS-SVM方法的特例。 5. 结论 1) 最小二乘法具有良好的解析性，易于求解，使 得该方法在 GM(1,1)模型中成为普遍采用的参数估计 方法，但是它基于大样本理论的 ERM 原则估计参数， 容易陷入局部最小、稳健性较差，使得在处理存在奇 异负荷的预测问题时，不能很好地拟合。GM(1,1)模 型具有小样本建模的特点，利用GM(1,1)模型进行中 长期负荷预测时，不宜用最小二乘法估计模型参数， Table 1. Beijing and Tianjin pond all previous years maximum load from 1990 to 1997 表1. 1990年~1997 年京津塘历年最大负荷 年份 1990 1991 1992 1993 实际值/万KW538.99 548.66 602.21 654.05 年份 1994 1995 1996 1997 实际值/万KW723.12 753.84 803.35 877.22 Table 2. The forecasting results and relative errors based on dif- ferent models 表2. 基于不同模型得到的预测结果及其相对误差 预测结果/万KW 相对误差/% 本文方法 本文方法 年份 GM(1,1) 模型 1 × 10–5 1 × 10–6 GM(1,1) 模型 1 × 10–5 1 × 10–6 1996829.60825.65796.69 3.26 2.77 0.83 1997899.05893.14850.48 2.48 1.81 3.04 平均值 2.87 2.29 1.94 48 Copyright © 2012 Hanspub  估计 GM(1,1)模型中参数的 LS-SVM 方法及其在负荷预测中的应用 Copyright © 2012 Hanspub 49 需要修正传统 GM(1,1)模型中参数的估计原则，采用 针对小样本的 SRM 估计原则估计参数更适合 GM(1,1) 建模。 2) 本文提出利用 LS-SVM算法估计GM(1,1)模型 的参数，理论上可以克服最小二乘法估计 GM(1,1)模 型参数的缺陷，对实例进行预测，在负荷有突变的情 况下，本文方法的预测精度高于传统模型的推算结 果，这进一步说明其合理性。 3) LS-SVM算法与模型的调节因子和核参数有较 大关系，本文方法在利用 LS-SVM 算法估计 GM(1,1) 模型参数时，虽不用考虑核参数的选取，但如何准确、 快速地选取模型的调节因子是需要进一步研究的问 题。 参考文献 (References) [1] 徐军华, 刘天琪. 基于小波分解和人工神经网络的短期负荷 预测[J]. 电网技术, 2004, 28(8): 30-33. [2] 李元诚, 方廷健, 于尔铿. 短期负荷预测的支持向量机方法 研究[J]. 中国电机工程学报, 2003, 23(6): 55-59. [3] 吴景龙, 杨淑霞, 刘承水. 基于遗传算法优化参数的支持向 量机短期负荷预测方法[J]. 中南大学学报: 自然科学版, 2009, 40(1): 180-184. [4] 杨延西, 刘丁. 基于小波变换和最小二乘支持向量机的短期 电力负荷预测[J]. 电网技术, 2005, 29(13): 60-64. [5] 马文晓, 白晓民, 沐连顺. 基于人工神经网络和模糊推理的 短期负荷预测方法[J]. 电网技术, 2003, 27(5): 29-32. [6] 俞明生, 冯桂宏, 杨祥. 组合优化灰色模型在中长期电力负 荷预测中的应用[J]. 沈阳工业大学学报, 2007, 29(2): 450- 453. [7] 牛东晓, 贾建荣. 改进 GM(1,1)模型在电力负荷预测中的应 用[J]. 电力科学与工程, 2008, 24(4): 28-30. [8] 王成山, 杨军, 张崇见. 灰色系统理论在城市年用电量预测 中的应用——不同预测方法的分析比较[J]. 电网技术, 1999, 23(2): 15-18. [9] 苗增强, 李婷, 陈芳等. 基于最小一乘法的组合赋权法在中 长期负荷预测中的应用[J]. 电力系统保护与控制, 2009, 37(2): 28-31. [10] 陈超英. 累加生成的改进和GM(1,1,t)灰色模型[J]. 数学的实 践与认识, 2007, 37(2): 105-109. [11] 何文章, 宋国乡. 基于遗传算法估计灰色模型中的参数[J]. 系统工程学报, 2005, 20(4): 432-436. [12] V. N. Vapnik. The nature of statistical learning theory. Heidell- berg: Springer Verlag, 1995. [13] 安德洪, 韩文秀, 岳毅宏. 组合预测法的改进及其在负荷预 测中的应用[J]. 系统工程与电子技术, 2006, 26(6): 842-844. [14] J. A. K. Suykens, J. Vandewalle. Least squares support vector machine classfiers. Neural Processing Letters, 1999, 9(3): 293- 300. |