宝玛科技网
您的当前位置:首页基于主成分分析_RBF神经网络模型的备件预测研究

基于主成分分析_RBF神经网络模型的备件预测研究

来源:宝玛科技网
物流科技2009年第4期LogisticsSci-TechNo.4,2009

文章编号:1002-3100(2009)04-0122-05

基于主成分分析—RBF神经网络模型的

备件预测研究

TheForcastingResearchforSparePartsBasedonPrincipalComponentAnalysisand

RBFArtificialNeuralNetwork

关子明,常文兵

GUANZi-ming,CHANGWen-bing

(北京航空航天大学,北京100191)

(BeijingUniversityofAeronautiesandAstronautics,Beijing100191,China)

要:备件预测在产品物流保障中占有极其重要的地位,针对现有各种航空备件预测方法精度较低,无法满足实际需求

的现状,文章提出了基于主成分分析—RBF神经网络模型的备件预测方法。首先利用主成分分析方法去除原始输入层数据的相关性,以解决RBF神经网络模拟预测备件需求时输入变量过多,网络规模过大导致效率下降的问题,最后选择合适的径向基函数密度训练神经网络。通过结合实例进行分析,取得了较好的效果。

关键词:备件预测;主成分分析;RBF神经网络中图分类号:F251.2

文献标识码:A

Abstract:Sparepartspredictionstandsaveryimportantstatusinproductionlogisticguarantee.Existingaviationmaterialpredictionapproachhasalowprecisionwhichcan'tmeettheactualneed.Accordingtotheproblem,theforecastingapproachforsparepartsbasedonprincipalcomponentanalysisandartificialneuralnetworkwasgiven.Firstlytheapproachcanwipeoffthecorrelationoftheinitialinputdata,inordertosolvetheproblemthatRBFnetworkhastoomanyinputfactorwhenpredictingandthentheefficiencyoftheneuralnetworkdescendsbecauseofbiggersize,atthelastwechoosetheproperRBFdensitytotrainthenetwork.Theeffectivenessoftheproposedalgorithmwasverifiedbyusinganinstance.Keywords:sparepartsprediction;principalcomponentanalysis;RBFartificialneuralnetworks

0引言

备件物流是对维修保养、售后产品和物资所涉及的库存、设施和劳动力进行的完整端到端的物流管理。在飞机制造商的备件保障体系中,备件预测占有非常重要的地位。作为一项基础性工作,若无科学和严密的预测,盲目凭经验去生产或购买备件,会造成备件的短缺或浪费,进而严重影响盈利能力。包括空客、波音在内的国际各大飞机制造商都很重视备件预测,进行定性定量的科学计算,使得备件预测成为了他们参与市场竞争的技术优势[1]。通常飞机备件可分为可修复件和不可修复件。可修复件数量不多,但价格昂贵,占总费用的85%,可修件需求分析的效果将直接影响到飞机能否取得合理有效的航材保障[2]。

由于影响备件需求的因素种类众多且复杂多变,准确预测备件需求比较困难。国内飞机制造企业在长期的备件预测实践过程中主要是依据一些经验公式或者参考国外飞机制造企业的方法,简单地将众多的复杂因素简化或合并为几个主要因素,常造成大量有用信息的丢失,因此造成备件预测精度不高,而传统神经网络的预测方法把所有因素都作为神经网络的输入,显然会增加网络的复杂度,降低网络性能,大大增加计算运行的时间,影响计算的精度。

针对上述现象,本文提出了基于主成分分析—RBF神经网络的备件预测模型。该模型首先利用主成分分析技术将影响备件预测的众多因素变量进行分析变换,有效消除原训练样本空间的信息重叠和噪声,尽可能多地保留原有数据的有用信息,降低数据维度,减小网络规模,得到一组彼此不相关的新输入变量,然后将重构的训练样

收稿日期:2008-11-06

作者简介:关子明(1984-),男,河北秦皇岛人,北京航空航天大学工程系统工程系硕士研究生,研究方向:可靠性信息工程、系统工程。

122LogisticsSci-Tech2009.4

基于主成分分析—RBF神经网络模型的备件预测研究

本空间作为RBF神经网络的输入,进行备件预测,通过实例明取得较好的预测效果。

1主成分分析—神经网络模型原理

本文之所以采用主成分分析—RBF神经网络模型,是由主成分分析和RBF神经网络各自的特点所决定的。主

成分分析处在原始因素变量集和RBF神经网络之间,它的作用是对将要输入RBF神经网络的变量进行筛选,接下来把累计贡献率大的变量集作为网络的输入,然后利用RBF神经网络对样本进行训练、测试,从而得到精度更高、稳定性更好的预测值。图1给出了这个模型的流程图,下文将详细介绍此模型的原理。

1.1主成分分析

主成分分析(PrincipalComponentAnalysis,PCA)是一种数据压缩和特征提取的多变量统计分析技术,对变

量系统中的信息重新进行综合筛选,从中选出若干对系统具有最佳解释能力的新综合变量即主成分,用它原有效去除数据间的相关性,在力保

始们进行回归建模。主成分分析能够变量降维主成分权值W径向m×1基函数1权值W′n×11dist×阈值σ×阈值σ′输出层

数据信息损失最少的原则下,对高分析的步骤如下:

XX'线性函1×1数输出Y维变量空间进行降维处理[3]。主成分主成分分析输入层

基于RBF神经元的隐层图1

主成分分析—RBF神经网络模型

T

n

,=,x1,x2,…,xp,x1j,x2j,…,xnj,记X是一个有n个样本点和p个变量的数据表,即X=,,其中xj=,∈R对应第n*p

j个变量。

(1)对数据进行标准化处理,即

軃xij-xj,∈x=i=1,2,…,n;j=1,2,…,p

sj

軃是xj的样本均值,sj是xj的样本标准差。式中,xj

,(2)计算标准化数据矩阵X的协方差矩阵V。这时V又是X的相互关系矩阵。

(3)求V的前m个特征值λ1≥λ2≥…λm,以及对应的特征向量a1,a2,…,am,要求它们是标准正交的。(4)求第h个主成分Xh,有Xh=Xah=Σahjxj,式中,ahj是组合系数ah的第j个分量。

j=1m

p

(5)求m个主成分的累计贡献率Qm=

ΣλΣs

j=1h=1

p

h

2j

,当Qm≥85%时,主成分分析结束。

经过主成分分析可以在保留主要信息的基础上降低输入维数,这将缩小下一步神经网络的规模,同时神经网络输入元素相关性的消除可以增强网络的泛化性能。

1.2RBF神经网络

BP神经网络和RBF神经网络已成为整个神经网络体系中应用最广泛的网络结构。相比较而言,RBF神经网络在训练速度、逼近能力等方面则更具优势。RBF神经网络具有收敛速度快、不易陷入局部极小点、鲁棒性好和易于实现等优点。已经证明,RBF神经网络可以在任意精度下逼近任意的非线性函数[4]。因此本文选取RBF神经网络。

RBF(RadialBasisFunction)神经网络即径向基函数神经网络,是1998年提出的一种典型的三层前馈网络,由输入层、隐层和输出层组成。

经过主成分分析后,RBF神经网络的输入为m维向量X′=X1,X2,…,Xm,即影响备件需求预测的m个主成

Σ′′′

ΣR1,R2,…,RlΣ分。隐层为l维向量R=Σ,隐层节点个数的确定至今没有理论上完善的计算公式,本文在经验公式的基础上遍历尝试,直到达到误差满意为止。网络的输出为一维向量Y,对应着神经网络的最终预测值。隐层作用函数采用径向基函数,实现对输入层信息的非线性变换,本文采用高斯核函数(GaussianKernelFunction)如下:

LogisticsSci-Tech2009.4123

基于主成分分析—RBF神经网络模型的备件预测研究

Rii=exp-1X′i2敏度;

2iX′-ciσi

i22

li=1

其中ci为第i个径向基函数的中心(ci∈Rm,i=1,2…,l);σi是径向基函数的均方差或宽度,用来调节网络的灵

X′-ci是向量X′-ci的范数,表示X′与ci的欧几里德距离;Rii在cj处有一个唯一的最大值,随着X′iX′-ci

的增大,Rii迅速衰减到零。RBF神经网络的输出形式为线性函数:fi,其中Wi表=ΣWiRiiX′iX′iX′i示第i个隐层单元到输出单元Y的权值。

RBF神经网络的训练过程就是对两组网络参数的学习:

(1)径向基函数中心ci、隐层结点数m、均方差σi。

(2)隐层到输出层的连接权值Wi。其中径向基函数中心ci的计算采用最近邻聚类学习算法,不需要事先确定隐单元的个数,而且依据样本的输入信息进行聚类迭代,以确定RBF神经网络中心[5]。利用最小二乘法进行参数估计,得到隐含层到输出层的权值Wi。

22.1

实例研究

数据收集和因素集选取

本文以我国某航空制造企业有寿命要求的可维修初始备件的预测为实例,根据国内外备件预测的实际工程经

验和考虑到统计数据的可获得性,选取共因素作为模型的指标变量,它们分别是:产品单机安装数X1(件)、飞机架数X2(架)、单机在计算时间间隔内的平均飞行时间X3(小时)、产品送修平均周转时间X4(天)、产品平均更换间隔时间X5(天)、产品平均拆毁率X6(%)、产品平均订货周期X7(天)、保障率X8(%),以该备件需求数量Y(件)为神经网络的输出。收集该企业1992年至2007年备件需求历史数据,共4类30组历史数据样本。本文将前28组数据作为主成分分析—RBF神经网络模型的训练样本,将最后2组数据作为测试样本,利用计算机进行数据仿真实验。

2.2基于SPSS的主成分分析

SPSS软件作为世界知名的统计软件,具有强大的数据处理、统计挖掘和分析制图的能力,其中的因子分析模块功能,可以进行主成分分析,整个样本数据的标准化处理、相互关系矩阵计算、特征值计算和主成分提取均通过该模块实现。本文将收集的28组训练样本(不含备件需求数量Y)数据输入SPSS软件,进行主成分分析,分析结果如下:

表1所示的是总方差解释表,左半部分给出了特征值、特征值占总方差的比例、特征值占总方差累积贡献率,可以看到当主成分(Component)提取到第4个时,主成分对信息累积贡献率达到

12345678Component

Total2.9202.0041.2790.7030.5450.3410.1760.032

表1

主成分方差解释表

InitialEigenvalues%ofVariance

36.49425.07415.9938.7886.8144.2662.2000.398

Cumulative%

36.49461.54177.53486.32293.13697.40299.602100.000

ExtractionSumsofSquaredLoadingsTotal2.9202.0041.2790.703

%ofVariance36.49425.04715.9938.788

Cumulative%

36.49461.54177.53486.322

86.322%≥85%,涵盖了原始指标变量85%以上的信息,符合主成分提取的要求。由表1可知前四个

主成分的特征值分别是:λ1=2.920,λ2=2.004,λ3=1.279,λ4=0.703,表1右半部分仅给出了我们所要提取的主成分信息。经过最大迭代次数25次之后生成的主成分碎石图(ScreePlot)如图2所示。

提取得到主成分后,我们关心的是原始变量与主成分之间的关系,由于我们采用的最小二乘回归算法,表2主成分得分系数矩阵(ComponentScoreCoefficientMatrix)给出了原始变量与主成分之间的线性关系,根据该矩阵以及原始变量的观测值可以计算主成分的得分,例如:X′1=-0.298X1+0.014X2+0.074X3+0.291X4+0.096X5+0.284X6+0.215X7+0.163X8。

2.3基于Matlab的RBF神经网络仿真分析

经过主成分分析后,接下来利用Matlab软件进行神经网络仿真。首先需要确定神经网络的输入和目标样本,

124LogisticsSci-Tech2009.4

基于主成分分析—RBF神经网络模型的备件预测研究

将训练样本经过主成分分析后得到的数据X′作为输入样本,将原始训练样本的备件需求数量Y作为目标样本,由此可以确定该网络的结构:输入层有4个神经元,输出层有1个神经元。首先要对输入和目标样本进行归一化处理,这样可以避免某些变量的大幅度波动给网络训练带来的影响,防治部分神经元达到过饱和状态。利用newrb命令创建一

[6]

表2主成分得分系数矩阵

Component

1

产品单机安装数×1飞机架数×2

单机平均飞行小时×3产品送修平均周转时间×4产品平均更换间歇时间×5产品平均拆毁率×6产品平均订货周期×7保障率×8

2-0.2310.3980.344-0.0130.243-0.131-0.223-0.207

30.0340.162-0.4-0.0630.507-0.1210.428-0.283

40.0650.296-0.168-0.4520.4130.051-0.2220.936

-0.2980.0140.0740.2910.0960.2840.2150.163

个RBF网络,该命令在创建RBF网络时可以自动选择隐含层的神经元数目,省去人工尝试隐层神经元的麻烦[7],直到平方和误差

SSE满足要求为止,此处设MSE=0.001,并简称该网络为PCA—RBF网络。

与其他神经网络不同,RBF神经网络中的径向基函数分布密度Spread是网络设计过程中非常重要的参数,它将严重影响RBF网络的性能和精度[8]。本文将分别创建Spread为

0.1,0.2,0.3,0.4,0.5的5个RBF网络,通过与真实值的误差分析对比来选择一个最优值,如图3所示。

由图3可以看到,当径向基函数的分布密度为0.1时,RBF网络的误差最小,逼近效果最好;当径向基函数的分布密度为0.5时,网络的误差最大,逼近效果最差。下面用

Spread=0.1来训练RBF网络,网络训练效果如图4所示,训练到第25步,网络的均方误差

MSE达到要求。将训练样本和PCA—RBF网络训练值同时绘入图4,可见PCA—RBF网络非常完美的拟合了原训练样本。

下面证明基于主成分分析的RBF神经网络在训练性能和时间上的优越性:首先我们将未经过主成分分析的训练样本数据输入RBF神经网络,在保持Spread=0.1和MSE=0.001不变的前提下,创建一个输入层有8个,输出层有1个神经元的RBF神经网络,利用Matlab训练该网络,训练效果如图5所示。由此可见,当未经过主成分分析的RBF神经网络训练到第25时,网络误差约为0.01,没有达到

SSE的要求。

除了误差训练效果以外,我们还关心两个

网络在计算精度上存在的差异。接下来将测试样本归一化处理后,输入到两个已经训练完成的神经网络中,通过网络计算分别得到输出值,将该值与测试样本中的真实值比较,如表3所示PCA—RBF神经网络在计算精度上也优于RBF网络。

LogisticsSci-Tech2009.4125

基于主成分分析—RBF神经网络模型的备件预测研究

表3

主成分得分系数矩阵

两组测试样本实际备件需求数量

13232.0370.12%32.5801.8%

24544.8090.42%45.7111.58%

PCA—RBF网络

预测值相对误差预测值相对误差

RBF网络

3结论

本文研究基于主成分分析—RBF神经网络模型的备件预测,通过实例证明具有很好的预测效果。对比于传统的RBF神经网络,该模型优化了网络结构,减少了输入维数,降低了训练样本的相关性,具有更高的精度和更好的性能。由于利用主成分分析—RBF神经网络模型进行备件预测不需要建立复杂的数学方程,具有自适应和学习的功能,可以作为今后航空备件预测的有效方法。

但是,如何找到最佳的径向基函数密度以及借鉴其他类型神经网络算法优化提高模型的预测精度都是今后研究的重点。随着研究的深入,基于主成分分析—RBF神经网络模型的备件预测方法将会获得更加广泛的应用。

参考文献:

[1][2][3][4][5]

原石中.民用飞机备件需求量预测方法研究[J].航空工程与维修,2002,2:47-49.

WilliamC.Ahandbookofsupplyinventorymodels[R].AD-A187269,1987.

王惠文,吴载斌,等.偏最小二乘回归的线性与非线性算法[M].北京:国防工业出版社,2006.

周开利.神经网络模型及其Matlab仿真程序设计[M].北京:清华大学出版社,2005.

朱明星.RBF网络基函数中心选取算法的研究[J].安徽大学学报:自然科学版,2000,24(1):73-78.

[6]WangYaonan.ANeuralFuzzyLogicSelf-OrganizingCo-ntrollerForNonlinearSystemControl[J].ControlTheoryAndApplications,1997;14(5):748-753.

[7]DemuthH,BealeM.NeuralNetworkToolboxUser'sGui-de—NeuralNetworkToolboxForUsewithMatlab[M].TheMathWorks,Inc.,2002.

[8]HaganT,DemuthH,BealeM.NeuralNetworkDesign

[M].Boston,MA:PWSPublishing,1996.

126LogisticsSci-Tech2009.4

因篇幅问题不能全部显示,请点此查看更多更全内容