在线模糊最小二乘支持向量机的时间序列预测

发布时间:2021-11-30 15:56:29

Computer Engineering and Applications 计算机工程与应用

2010,46(9) 215

在线模糊最小二乘支持向量机的时间序列预测
王晓兰 1,2,康 蕾 1 WANG Xiao-lan1,2,KANG Lei1
1.兰州理工大学 电气工程与信息工程学院,兰州 730050 2.兰州理工大学 甘肃省有色金属新材料省部共建国家重点实验室,兰州 730050 1.School of Electrical and Information Engineering,Lanzhou University of Technology,Lanzhou 730050,China 2.State Key Lab of Gansu Advanced Non-ferrous Metal Materials,Lanzhou University of Technology,Lanzhou 730050,China E-mail:kanglei1218@mail2.lut.cn
WANG Xiao-lan,Kang Lei.Time series prediction based on online fuzzy least square support vector machine.Computer Engineering and Applications,2010,46(9):215-216.
Abstract:On the base of fuzzy least square support vector machine and the online learning algorithm,an incremental fuzzy least square support vector machine is proposed.The fuzzy weighting parameters are introduced into incremental least square support vector machine,which effectively increases the noise immunity.And the online learning ability of this algorithm is increased by the incremental kernel function algorithm.Experimental results on voltage deviations and wind speed show that this method is much better than the traditional LSSVM algorithm in accuracy and learning speed. Key words:fuzzy least squares support vector machine;incremental algorithm;voltage deviations;wind speed forecasting;time se- ries forecasting
摘 要:基于模糊最小二乘支持向量机和在线学*算法,提出了一种模糊最小二乘支持向量机的增量式算法。传统最小二乘支持 向量机引入模糊加权系数后,有效地提高了其抗噪性能。同时利用递推的核函数计算方法增强了该算法的在线学*能力。仿真结 果表明,这一算法在运算精度和运算速度上都优于传统的支持向量机算法。 关键词:模糊最小二乘支持向量机;增量式算法;电压偏离值;风速预测;时间序列预测 DOI:10.3778/j.issn.1002-8331.2010.09.061 文章编号:1002-8331(2010)09-0215-02 文献标识码:A 中图分类号:TP181

1 前言
时间序列预测在工业控制、经济和财政数据处理、生物医 学工程等领域中有着重要的应用,对于自然和社会经济现象中 大量存在的非线性、非*稳的复杂动力学问题,传统的预测方 法,如指数*滑法、Box Jenkins 法等,难以得到满意的结果。神经 网络因其较好的学*和函数*芰Χ隙嗟赜τ糜谑奔湫 列预测,但存在过拟合、估计参数多、易陷入局部极小等问题。
基于统计学*理论的支持向量机(SVM),利用最优划分* 面,将回归问题转化为二次寻优问题,较好地解决了小样本、过 学*、高维数、局部极小等实际难题,而且具有很强的泛化能力[1]。 *年来有一些学者针对在线采集学*样本的动态特性提出了 不同的支持向量机增量式或在线式学*算法[2-4],但这些算法都 要在线求解一个受约束的二次型规划问题,计算复杂。为此, Suykens[5]提出了最小二乘支持向量机(LSSVM),它把支持向量 机的学*问题转化为解线性方程组的问题,具有较快的运算速 度。文献[6]提出了一种基于最小二乘支持向量机的增量式学*

算法,这种算法将核函数矩阵求逆的运算转化为递推运算,减小 了算法的复杂度。但此类算法将所有的样本点同等对待,没有 考虑不同的样本点对结果的不同贡献,为此,Lin 等[7]在 LSSVM 中引入模糊隶属度,根据样本点偏离数据域的程度赋予不同隶 属度,提高了 LSSVM 的抗噪能力。
结合在线学*的要求,在增量式最小二乘支持向量机的基 础上,将模糊隶属度引入到增量式最小二乘支持向量机中,提 出了增量式模糊最小二乘支持向量机算法,给出了算法的推导 过程,并以电站电压偏离时间序列数据和短期风速时间序列数 据为例进行了建模和预测试验,结果表明,算法在运算精度和 运算速度上好于标准支持向量机,具有一定的应用前景。
2 增量式模糊最小二乘支持向量机原理
在最小二乘支持向量中,偏离回归间隔的样本被赋予相同 的惩罚因子 γ,即表示每个输入样本被等同看待。但由于偏离 回归间隔程度不同的样本其损失函数值也不同,对结构风险的

基金项目:甘肃省自然科学基金(the Natural Science Foundation of Gansu Province of China under Grant No.0710RJZA054);甘肃省有色金属新材料省 部共建国家重点实验室开放基金(the State Key Laboratory of Gansu Advanced Non-ferrous Metal Materials Opening Foundation of China)。
作者简介:王晓兰(1963-),女,教授,硕士生导师,主要研究领域为:复杂系统建模与控制,计算机应用等;康蕾(1982-),女,硕士研究生,主要研究 领域为:时间序列预测控制等。
收稿日期:2008-09-19 修回日期:2008-12-01

216 2010,46(9)

Computer Engineering and Applications 计算机工程与应用

… … …
风速/(m·s-1)

贡献值也不同,偏离回归间隔越远的样本,它对回归函数的影

响也越大,因此固定惩罚因子 γ,会使得回归函数对孤立点非

常敏感,进而使得回归间隔向靠*孤立点的方向移动,从而产

生误差。为了解决增量式 LSSVM 对于孤立点过分敏感并由此

带来的过拟合问题,在增量式最小二乘支持向量机的基础上,

引入模糊隶属度的概念,即对于重要程度不同的样本赋予不同

的隶属度值,通过隶属度函数模糊化输入样本集。模糊化后的

输入样本集为(xi,yi,μ)i (i=1,2,…,L)。则回归问题根据结构风 险最小化原理可表示为如下的最小化问题。

L

Σ min J(w,e)= 1

w,b,ei

2

T
w

w+

1

2

γ
i=1

2
μi ei

(1)

对于增量式学*来讲,样本集是递增的。即样本集(xi,yi, μ)i (i=1,2,…,L)随着时刻 t 的递进而每次新增一个样本。此时 模糊最小二乘支持向量机的输出可表示为式(2)。

L
Σ y(x,t)= α(i t)k(x,x)i +b(t) i=1

(2)

根据由式(1)建立的 Lagrange 函数及其 KKT 条件,并且令

2

-1

ui =μi ,Kt +(ut γ) I=Ht ,可得到式(3)。

0 00 00 0 0

T
Ie

bt

0 =

(3)

Ie Ht α(t) y(t)

T

T

T

其中 y=[y1,y2,…,yL] ,Ie=[1,1,…,1] ,α=[α1,α2,…,αL] ,K(i,j)=

T
k(xi,x)j =φ(x)i φ(x)j 。

求解上式,可以得到:

T -1

bt =

Ie

Ht
T

y(t)
-1

Ie Ht Ie

(4)

0 0 T -1

-1
α(t)=Ht

y(t)-

Ie

Ie
T

Ht
-1

y(t)

Ie Ht Ie

(5)

在 t+1 时刻,新的样本数据(xt+1,yt+1,μt+1)会增加进来,此时

矩阵 Ht+1 可表示为式(6)。

γ
γγγk(x1
γ

,x1)+

1 u1 γ

γ

γ

γ

γ

H =γ

t+1

γ γ

γ

k(x1 ,xt)

γ

γ

γ

γ γ γ

k(x1 ,xt+1)

γ

… k(xt ,x1)



k(xt

,xt)+

1 ut γ

… k(xt ,xt+1)

γ

k(xt+1 ,x1)

γ γ γ

γ

γ

γ

γ

γ

k(xt+1 ,xt)


γ γ γ

γ

γ

k(xt+1

,xt+1)+

1 ut+1

γ

γ γ γ γ
γ

0 0 Ht Vt+1 T Vt+1 vt+1

(6)

T
其中 Vt+1=[k(x1,xt+1),k(x2,xt+1),…,k(xt,xt+1)] vt+1=k(xt+1,xt+1)+

1。 ut+1γ
根据分块矩阵计算公式[8]可得式(7)。

0-1 Ht
Ht+1 = T Vt+1

-1

0 0 Vt+1

-1
= Ht

vt+1

0

00

T

+rt+1 rt+1 zt+1

0

(7)

-1
其中 rt+1 =[Vt+1 Ht

T
-1] zt+1 =

1



T -1

vt+1 -Vt+1 Ht Vt+1

由以上可以看出,增量式模糊最小二乘支持向量机不仅具

有很强的抗噪能力,而且可以用递推的方法得到下一步的预测

值,提高了计算速度。

3 增量式模糊最小二乘支持向量机的仿真研究
根据上述增量式模糊最小二乘支持向量机的原理,可以得 到其学*算法如下。
(1)初始化训练样本; (2)设定计算中涉及到的各参数值; (3)利用公式预测下一时刻输出值;
(4)利用 e(t)=y(t)-y赞(t)计算预测误差,其中 y(t)表示 t 时
刻的真实值,y赞(t)是该时刻的预测值。如果 e(t)大于预定值 ε, 则转到步骤(3),否则进行下一步;
-1
(5)利用式(12)计算 Ht+1 ,并转到步骤(3)。 某电站电压偏离值数据为一时间序列,为了对该数据建模 并进行预测,按时间顺序选取前 60 个数据作为训练样本,后30 个记录数据作为测试样本。分别采用增量式模糊最小二乘支持 向量机和标准最小二乘支持向量机进行一步前向预测,得到如 图 1 所示的结果。

电压偏离值

两种方法预测电压偏离值结果比较 -1.8

实际值

-1.9

增量模糊 LSSVM 预测值

-2.0

标准 LSSVM 预测值

-2.1

-2.2

-2.3

-2.4

-2.5 0 10 20 30 40 50 60 70 80 90 采样点 图 1 电压偏离值预测结果图

风力发电机的输出功率主要取决于风速值,对风速进行短 期预测,对含有风电的电力系统调度和机组控制具有重要意 义。选取某地区 100 个每小时风速观测数据作为测试数据, 取前 70 个观测数据作为训练样本,后 30 个观测数据作为测 试样本。分别采用增量式模糊最小二乘支持向量机和标准最小二 乘支持向量机进行一步超前预测,得到如图 2 所示的结果。

两种方法预测风速结果比较

11

10

实际值 增量式预测值

9

标准式预测值

8

7

6

5

4

3

2 0 10 20 30 40 50 60 70 80 90 100

时间/h

图 2 短期风速预测结果图

为了评价模型的预测性能,采用预测均方根误差为性能指
M
姨 Σ 标,即 MSE= 1 [y(k)-y赞(k)]2 其中:M 为预测样本数,y(k) M k=1
为序列的真实值,y赞(k)为预测结果。 从以上分析可以看出,与标准最小二乘支持向量机算法比
较,增量式模糊最小二乘支持向量机算法精度更高,速度更快, 加上其自身的递推式特点,更便于实际应用。
(下转 240 页)

240 2010,46(9)

Computer Engineering and Applications 计算机工程与应用

柏木 长白落叶松
红松 马尾松 长白松

面积范围 627.19~456.75 1 952.50~1 070.64 1 484.39~906.00 1 448.62~953.00 636.60~503.212

表 1 5 种树种参数范围

周长范围 96.59~79.72 177.15~143.80 143.15~118.46 142.56~114.69 96.10~84.89

类圆度范围 1.094 236~1.049 104 1.131 402~1.096 025 1.091 896~1.030 209 1.072 524~1.049 365 1.076 025~1.045 103

弦向直径宽度范围 32.19~27.88 59.05~47.93 47.71~38.81 47.52~38.23 32.03~28.29

弦向直径厚度范围 27.13~23.50 51.13~41.51 41.32~33.62 41.153~33.10 27.74~24.50

得到板材细胞的 5 种参数的标准阈值范围,如表 1 所示(表中 除类圆度外,其余参数的单位均为像素)。
通过实验,将细胞面积、细胞周长、细胞类圆度、弦向直径 宽度、弦向直径厚度 5 种特征向量作为重要的分类依据。实验 结果表明,此方法识别效率较高,实验中 5 种树种识别结果的 可信度均在 90%以上。见表 2 所示。

表 2 实验结果表

柏木 长白落叶松
红松 马尾松 长白松

实验样 本数 400 400 400 400 400

正确识别 样本数 364 372 368 384 380

识别结果可 信度(/ %)
91 93 92 96 95

5 结论
作为对板材细胞图像的研究,提出了基于数学模拟理论的 识别算法,把板材细胞的轮廓抽象成数学模型,提取数学模拟 参数。提出的基于数学模拟理论的树种识别方法大幅度加快了

识别及比较计算的速度,减少了传统依赖图像像素特征识别比 较的不确定性,而且算法的稳定性和鲁棒性较好[5]。这种方法打 破了板材材种识别过程中对操作人员技术方面的制约,研究板 材的微观领域,大大提高了板材识别的准确性,对板材识别技 术的发展具有重要意义。但是由于板材细胞的形状受温度、湿度 多方面的影响,而且实验样本数不够丰富,因此随着实验的进 行,需要实时更新样本参数库,这将是下一步研究工作的重点。
参考文献:
[1] 任洪娥,徐海涛.细胞特征参数计算机的提取理论[J].林业科学, 2007,43(9):68-73.
[2] 马岩.木材横断面六棱规则细胞数学描述理论研究[J].生物数学学 报,2002(1).
[3] 胡小锋,叶庆泰,戴星.一种精确检测细胞真实边缘的算法[J].光学 技术,2003,29(5):595-598.
[4] 娄联堂.目标轮廓提取方法研究[D].武汉:华中科技大学,2005. [5] 高洁,任洪娥,马岩.基于细胞数字特征的木材树种识别技术[J].林
业机械和木工设备,2006(1):39-41.

(上接 216 页)

表 1 两种方法预测的均方根误差及运行时间

电压偏离值 电压偏离值的程 短期风速 短期风速的程

的 MSE

序运行时间/s 的 MSE 序运行时间/s

标准最小二乘支持 向量机预测

0.057 0

0.721 0

0.326 5

0.835 0

增量式模糊最小二 乘支持向量机预测

0.046 9

0.407 0

0.182 3

0.418 0

4 结论
介绍了增量式模糊最小二乘支持向量机,它既具有模糊最 小二乘支持向量机抗噪性能良好的优点,又具有很强的在线学 *能力。仿真试验表明这一方法在运算速度和预测精度上都具 有优越性,可以很好地应用于建模和预测领域。

参考文献:
[1] Vapnik V N.The nature of statistical learning theory[M].New York: Springer-Verlag,1995.
[2] 李祥纳,艾青,秦玉*,等.支持向量机增量学*算法综述[J].渤海大 学学报:自然科学版,2007,28(2):187-189.
[3] 增绍华,魏延,段廷才,等.一种支持向量逐步回归机算法研究[J].计

算机工程与应用,2007,43(8):78-81. [4] 杜树新,吴铁军.用于回归估计的支持向量机方法[J].系统仿真学报,
2003,15(11):1580-1585. [5] Suykens J A K,Vandewale J.Least squares support vector machine
classifiers[J].Neural Processing Letters,1999,9(3):293-300. [6] 张浩然,汪晓东.回归最小二乘支持向量机的增量和在线式学*算
法[J].计算机学报,2006,29(3):400-406. [7] Lin Chun-fu,Wan Sheng-de.Training algorithm for fuzzy support vector
machine with noisy data[J].Pattern Recognition Letters,2004,25(14): 1647-1656. [8] 张金槐.线性模型参数估计及其改进[M].长沙:国防科技大学出版 社,1992. [9] 邓乃扬,田英杰.数据挖掘中的新方法:支持向量机[M].北京:科学 出版社,2004. [10] 阎威武,邵惠鹤.支持向量机和最小二乘支持向量机的比较及应用 研究[J].控制与决策,2003,18(3):358-360. [11] 李方方,赵英凯,颜昕.基于 Matlab 的最小二乘支持向量机的工具
箱及其应用[J].计算机应用,2006,26(12):358-360. [12] 王晓兰,张万宏,王慧中.基于小波变换和 AR2LSSVM 的非*稳时
间序列预测[J].控制与决策,2008,23(3):357-360. [13] 张英,苏宏业,褚健.基于模糊最小二乘支持向量机的软测量建
模[J].控制与决策,2005,20(6):621-624.


相关文档

  • 混沌时间序列的最小二乘支持向量机预测
  • 基于最小二乘支持向量机的非线性时间序列预测
  • 基于最小二乘支持向量机的复杂金融时间序列预测
  • 状态时间序列预测的贝叶斯最小二乘支持向量机方法
  • 基于最小二乘支持向量机时间序列瓦斯预测研究
  • 多变量混沌时间序列的最小二乘支持向量机预测
  • 最小二乘回归支持向量机对非线性时间序列预测的试验分析
  • 基于支持向量机的金融时间序列预测
  • 猜你喜欢

  • 航海英语关联题
  • 隧道土方开挖工程技术交底单
  • 步进电机的plc直接控知樯
  • 古蔺县家家宜蔬菜配送有限公司企业信用报告-天眼查
  • 高考数学大一轮复*第二章函数2.2函数的单调性与最值课件文新人教A
  • 关于教师读书活动总结汇编6篇
  • XX县认真学*宣传贯彻落实党的十九大精神
  • 地球美容计划_小学作文
  • 初中体育开展篮球教学的几点看法
  • 4、现场说课——G71固定复合循环指令——梁自成
  • 【2018最新】劳动竞赛口号大全-竞赛口号【精选】-实用word文档 (2页)
  • 陕西省有多少帝王陵墓和皇帝
  • 初一作文议论文《君子爱财取之有道》800字(共11页PPT)
  • 急性ST段抬高型心肌梗死诊断和治疗指南X
  • 大学新生军训总结报告
  • 彩色胶卷冲洗
  • 2020年经典美好的早安QQ祝福语大汇总62句
  • 蒙阴中誉仓储物流有限公司企业信用报告-天眼查
  • 2018春苏教版语文二年级语文二下期中综合测试卷
  • 《指导课外阅读 提高写作能力》课题研究
  • 厦门尚品沃教育咨询有限公司企业信用报告-天眼查
  • 阿甘正传读后感700字
  • 班主任工作艺术浅探
  • 关于120T转炉炉体安装细节分析
  • 追星现象的哲学的探讨
  • unix socket编程API
  • mysql查询去重最大值筛选
  • 地域文化(本)-论文要求
  • 纪录片《大国崛起》观后感作文
  • (含2套中考模拟题)名校中考物理基础过关:第十六章生活用电复*练*册
  • 本科毕业论文答辩陈述模板参考
  • [选修3-2]6.1 传感器及其工作原理2
  • 新祥旭考研辅导-2015北京城市学院社会工作硕士拟录取名单
  • 剪映如何局部打马赛克?
  • 大丰市兴丰糖烟经销有限责任公司企业信用报告-天眼查
  • Book5 Unit5 First Aid 导学案
  • 小学3年级作文-挑战大龙虾
  • 太阳能路灯的设计和应用
  • 广州市荔湾区西城坊美发廊企业信息报告-天眼查
  • 电商激战大佬谋动争权夺“市”
  • 最新-2018年上海卷高考地理真题及答案 精品
  • 镇江市在校大学生体质健康的调查研究
  • 电脑版