人工神经智能网络

关键词： 神经网络 智能 网络

人工神经智能网络（精选十篇）

人工神经智能网络 篇1

1 BP网络的拓扑结构

BP神经网络模型拓扑结构包括输入层 (input layer) 、隐层 (hide layer) 和输出层 (output layer) 。BP网络是阶层型神经网络, 隐层可扩展为多层。相邻层之间各神经元进行全连接, 而每层各神经元之间无连接。

BP网络按有教师示教的方式进行学习, 当一对学习模式提供给网络后, 各神经元获得网络的输入响应产生连接权值 (Weight) 。然后按减小希望输出与实际输出误差的方向, 从输出层经各中间层逐层修正各连接权, 回到输入层。此过程反复交替进行, 直至网络的全局误差趋向给定的极小值, 即完成学习的过程。

2 BP网络算法

BP算法由数据流的前向计算 (正向传播) 和误差信号的反向传播两个过程构成。正向传播时, 传播方向为输入层→隐层→输出层, 每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出, 则转向误差信号的反向传播流程。通过这两个过程的交替进行, 在权向量空间执行误差函数梯度下降策略, 动态迭代搜索一组权向量, 使网络误差函数达到最小值, 从而完成信息提取和记忆过程。

3 BP算法的改进

BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点, 但标准BP算法存在以下缺点:收敛速度缓慢;容易陷入局部极小值;难以确定隐层数和隐层节点个数。在实际应用中, BP算法很难胜任, 因此出现了很多改进算法。

3.1 利用动量法改进BP算法

标准BP算法实质上是一种简单的最速下降静态寻优方法, 在修正W (K) 时, 只按照第K步的负梯度方向进行修正, 而没有考虑到以前积累的经验, 即以前时刻的梯度方向, 从而常常使学习过程发生振荡, 收敛缓慢。动量法权值调整算法的具体做法是:将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上, 作为本次的实际权值调整量, 即:

其中:α为动量系数, 通常0<α<0.9;η-学习率, 范围在0.001~10之间。这种方法所加的动量因子实际上相当于阻尼项, 它减小了学习过程中的振荡趋势, 从而改善了收敛性。动量法降低了网络对于误差曲面局部细节的敏感性, 有效的抑制了网络陷入局部极小。

3.2 自适应调整学习速率

标准BP算法收敛速度缓慢的一个重要原因是学习率选择不当, 学习率选得太小, 收敛太慢;学习率选得太大, 则有可能修正过头, 导致振荡甚至发散。

3.3 动量-自适应学习速率调整算法

采用动量法时, BP算法可以找到更优的解;采用自适应学习速率法时, BP算法可以缩短训练时间。将以上两种方法结合起来, 就得到动量-自适应学习速率调整算法。

3.4 L-M学习规则

L-M (Levenberg-Marquardt) 算法比前述几种使用梯度下降法的BP算法要快得多, 但对于复杂问题, 这种方法需要相当大的存储空间。L-M (Levenberg-Marquardt) 优化方法的权值调整率选为:

其中:e-误差向量;J-网络误差对权值导数的雅可比 (Jacobian) 矩阵;μ-标量, 当μ很大时上式接近于梯度法, 当μ很小时上式变成了Gauss-Newton法, 在这种方法中, μ也是自适应调整的。

综合考虑, 拟采用L-M学习规则和动量法分别作为神经网络的训练函数和学习函数。

4 BP神经网络的训练策略及结果

借助于MATLAB神经网络工具箱来实现多层前馈BP网络 (Multi-layer feed-forward backpropagation network) 的颜色空间转换, 免去了许多编写计算机程序的烦恼。神经网络的实际输出值与输入值以及各权值和阈值有关, 为了使实际输出值与网络期望输出值相吻合, 可用含有一定数量学习样本的样本集和相应期望输出值的集合来训练网络。训练时仍然使用本章5.2节中所述的实测样本数据。

另外, 目前尚未找到较好的网络构造方法。确定神经网络的结构和权系数来描述给定的映射或逼近一个未知的映射, 只能通过学习方式得到满足要求的网络模型。神经网络的学习可以理解为:对确定的网络结构, 寻找一组满足要求的权系数, 使给定的误差函数最小。设计多层前馈网络时, 主要侧重试验、探讨多种模型方案, 在实验中改进, 直到选取一个满意方案为止, 可按下列步骤进行:对任何实际问题先都只选用一个隐层;使用很少的隐层节点数;不断增加隐层节点数, 直到获得满意性能为止;否则再采用两个隐层重复上述过程。

训练过程实际上是根据目标值与网络输出值之间误差的大小反复调整权值和阈值, 直到此误差达到预定值为止。

5 确定BP网络的结构

确定了网络层数、每层节点数、传递函数、初始权系数、学习算法等也就确定了BP网络。确定这些选项时有一定的指导原则, 但更多的是靠经验和试凑。

5.1 隐层数的确定

1998年Robert Hecht-Nielson证明了对任何在闭区间内的连续函数, 都可以用一个隐层的BP网络来逼近, 因而一个三层的BP网络可以完成任意的n维到m维的映照。因此我们从含有一个隐层的网络开始进行训练。

5.2 BP网络常用传递函数

BP网络的传递函数有多种。Log-sigmoid型函数的输入值可取任意值, 输出值在0和1之间;tan-sigmod型传递函数tansig的输入值可取任意值, 输出值在-1到+1之间;线性传递函数purelin的输入与输出值可取任意值。BP网络通常有一个或多个隐层, 该层中的神经元均采用sigmoid型传递函数, 输出层的神经元则采用线性传递函数, 整个网络的输出可以取任意值。

只改变传递函数而其余参数均固定, 用本章5.2节所述的样本集训练BP网络时发现, 传递函数使用tansig函数时要比logsig函数的误差小。于是在以后的训练中隐层传递函数改用tansig函数, 输出层传递函数仍选用purelin函数。

5.3 每层节点数的确定

使用神经网络的目的是实现摄像机输出RGB颜色空间与CIE-XYZ色空间转换, 因此BP网络的输入层和输出层的节点个数分别为3。下面主要介绍隐层节点数量的确定。

对于多层前馈网络来说, 隐层节点数的确定是成败的关键。若数量太少, 则网络所能获取的用以解决问题的信息太少;若数量太多, 不仅增加训练时间, 更重要的是隐层节点过多还可能出现所谓“过渡吻合” (Overfitting) 问题, 即测试误差增大导致泛化能力下降, 因此合理选择隐层节点数非常重要。关于隐层数及其节点数的选择比较复杂, 一般原则是:在能正确反映输入输出关系的基础上, 应选用较少的隐层节点数, 以使网络结构尽量简单。本论文中采用网络结构增长型方法, 即先设置较少的节点数, 对网络进行训练, 并测试学习误差, 然后逐渐增加节点数, 直到学习误差不再有明显减少为止。

6 结论

BP神经网络具有很强的学习、联想和容错功能, 具有高度非线性函数映射功能, BP网络广泛应用于函数逼近、模式识别/分类、数据压缩等, 80%~90%的人工神经网络模型是采用BP网络或它的变化形式, 泛化能力好;使BP建立网络, 训练以及仿真都非常简单, 而且训练过程及效果非常直观, 使神经网络应用于实际具有更大的可行性, 应用前景广阔。

参考文献

[1]周开利, 康耀红.神经网络模型及其MATLAB仿真程序设计[M].北京:清华大学出版社, 2005.

[2]徐庐生.微机神经网络[M].北京:中国医药科技出版社, 1995.

[3]高大启.有教师的线性基本函数前向三层神经网络结构研究[J].计算机学报, 1998, 21 (1) :80-85.

人工神经智能网络 篇2

人工神经网络在飞机总体外形智能CAD中的应用

将人工神经网络应用于飞机总体外形智能CAD中,针对现有方法的局限性,研究了参数神经网络,提出了一种综合考虑影响神经网络学习3个主要因素(权值、激励函数和拓扑结构)的WAFS学习算法,并研究了隶属函数的`神经网络表达和基于神经网络的并行推理,给出了有关应用实例.

作 者：刘振凯 贵忠华 蔡青 Liu Zhenkai Gui Zhonghua Cai Qing  作者单位：刘振凯,Liu Zhenkai(西安交通大学机械工程学院,西安,710049)

贵忠华,蔡青,Gui Zhonghua,Cai Qing(西北工业大学CAD/CAM研究中心,西安,710072)

刊 名：航空学报  ISTIC EI PKU英文刊名：ACTA AERONAUTICA ET ASTRONAUTICA SINICA 年，卷(期)： 19(6) 分类号：V221 TP391 关键词：人工神经网络   飞机总体外形   智能CAD  

人工神经网络预测混凝土柱屈服性能 篇3

关键词：矩形混凝土柱；屈服位移；人工神经网络；预测模型

中图分类号：TU375.3 文献标识码：A

文章编号：1674-2974（2015）11-0017-08

随着社会经济的发展，以及对近些年大地震的不断反思，基于性能的结构抗震设计已成为地震工程领域研究的热点问题和前沿发展方向，为众多国家的规程所提及或者采用（如FEMA273[1]，FEMA356[2]，ASCE41[3]和Eurocode8[4]）.柱子作为实际结构中承受竖向荷载和抵抗水平荷载的关键构件，其屈服位移的合理评估对于性能化结构抗震设计中结构的动力响应、结构性能水准的评估和抗震延性设计有很大影响.综合以往对柱子屈服位移的研究，其定义不明确，经验理论模型预测结果离散度较大的特点，使柱屈服位移的合理取值成为一个亟待解决的问题.

对于柱屈服位移的定义，国内外研究者提出了不同的看法，如Park在文献＼[5＼]中总结了4种不同的定义方法，并推荐使用割线刚度的方法定义屈服位移.Panagiakos[6]认为判定柱屈服的条件是柱中纵向钢筋屈服或者混凝土发生严重的非线性行为，并在此基础上给出了对应的经验公式.Montes[7]基于柱中钢筋屈服，提出了对应不同强度等级钢筋的柱有效屈服曲率计算公式.Berry[8]等模拟了PEER[9]柱性能数据库中255根矩形截面混凝土柱的屈服位移.钱稼茹[10]亦对该数据库中144根剪跨比大于2的矩形柱考虑轴压比的影响进行回归分析，提出了修正的柱屈服转角表达式.蒋欢军[11]综合Berry[8]关于屈服位移以及Priestley[12]对于屈服曲率的定义，在计算屈服位移的公式中加入了考虑柱端钢筋滑移和柱子剪切变形影响的修正项.Peru[13]基于Eurocode8[14]中柱屈服位移的定义，利用CAE方法对PEER柱性能数据库的柱屈服位移进行了预测.

柱屈服过程中钢筋和混凝土都发生了复杂的非线性行为，加之影响屈服性能的因素也非常多，上述基于经验理论的非线性拟合公式预测柱屈服性能时存在预测结果离散度非常大的问题.人工神经网络作为一种在数据稀少的情况下能够有效预测数据输入和输出关系的手段而进入研究者的视野.人工神经网络是以人类神经活动为基础而发展起来的一项新颖的计算手段，适合处理复杂线性及非线性映射问题.由于其强大的非线性映射能力，神经网络在工程领域被用于预测圆柱形混凝土柱约束状态的极限压应力和对应的压应变[15]，模拟金属疲劳裂纹开展速率[16].神经网络的其它工程应用还有如混凝土柱在弯曲失效模式下的极限变形预测[17]，边坡稳定性分析[18]，修正结构有限元模型[19]等.

本文基于经验理论模型对弯曲型混凝土柱屈服性能影响因素的研究，利用神经网络预测PEER柱性能库210组矩形混凝土柱的屈服性能，并以此来探讨神经网络对柱性能预测的可行性和有效性.通过对比神经网络的预测结果与实验结果以及经验理论模型估算结果，评价神经网络预测模型的效果.最后基于Carson敏感性分析方法验证所选神经网络输入参数的合理性并得到输入各参数对混凝土柱屈服位移的贡献程度.

1 经验模型预测实验数据库柱屈服转角

1.1 实验数据库

本文对弯曲型失效为主的柱屈服转角进行预测，在PEER[9]柱性能数据库中通过以下标准：1）柱子截面形状为矩形；2）柱子受往复荷载作用直至失效；3）柱子的实验失效模式为弯曲失效.选择210组实验数据，作为神经网络预测数据库.该预测数据库的主要属性参数范围如图1所示.

从图1中可看出本文所选数据库主要参数分布覆盖了常规设计的参数取值范围，具有广泛的代表性.

从图2和表1中可以看出，利用4种经验模型估算构件的屈服转角时，预测值与实验值的比值分布相当离散，ASCE41模型计算结果变异系数相对较小为0.443，而利用ACI318-08（b）变异系数则达到0.65.针对上述预测结果离散的问题，本文采用BP神经网络预测PEER数据库柱的屈服转角.

2 神经网络预测柱屈服转角方法

2.1 BP神经网络

BP神经网络作为前向型多层神经网络的一种，其实质是利用误差反向传播算法（Back-Propagation）对神经网络进行训练.BP神经网络结构由输入层、隐含层和输出层三个部分组成，Hornik[22]已经证明单隐层的神经网络可以实现任意精度的非线性映射关系.BP神经网络训练分为信息的正向输入和误差的反向传播两个阶段.在信息正向输入阶段，输入参数通过阀值和权值的调节，再经激活函数传递对计算结果进行输出；而在误差反向传播阶段则是通过计算输出层的结果和目标值之间的误差来反向调节各神经元的权值和阀值；在实际训练中这两个阶段交替进行，直至达到训练的性能目标为止.

人工神经网络 篇4

关键词：神经网络,BP,训练算法

0 引言

人工神经网络 (Artificial Neural Network, ANN) , 是由大量处理单元 (即神经元Neurons) 广泛连接而成的网络, 是对人脑的抽象、简化和模拟, 反映人脑的基本特征。人工神经网络的研究是从人脑的生理结构出发来研究人的智能行为, 模拟人脑信息处理的功能。它是根值于神经科学、数学、统计学、物理学、计算机科学及工程等学科的一种技术。

Hecht-Nielsen将神经网络定义为一个并行、分布处理结构, 它由神经元及其称为联接的无向讯号通道互连而成。这些神经元具有局部内存, 并可以完成局部操作。每个神经元有一个单一的输出联接, 这个输出可以根据需要被分支成希望个数的许多并行联接, 且这些并行联接都输出相同的信号, 即相应神经元的信号, 信号的大小不因分支的多少而变化。神经元的输出信号可以是任何需要的数学模型, 每个神经元中进行的操作必须是完全局部的。也就是说, 它必须仅仅依赖于经过输入联接到达神经元的所有输入信号的当前值和存储在神经元局部内存中的值。

1 神经网络的一般结构和分类

神经元是人工神经网络里面最基本、最关键的部件, 它是一个多输入、单输出的非线性元件, 图一所示为一种常用的神经元模型。

其输入、输出关系可表示为

式 (1) 中xi (i=1, 2, …, n) 是从其他神经元传来的输入信号;θj是阈值;Wij表示从神经元i到神经元j的连接权值;f (·) 为传递函数。传递函数可以为线性函数、阶跃函数, 或者S状的非线性函数, 如logistic函数、双曲正切函数等, 如表一所示。

人工神经网络由大量的神经元互连而成, 按其拓扑结构来分, 可以分成层次网络模型和互连网络模型;按神经网络的功能来分, 现在常用的网络有如下各类:

学习功能是人工神经网络的核心任务, 由神经元连接的神经网络系统的全部“知识”, 主要体现为网络中全部神经元之间的连接权重。通过一定的学习规则, 根据神经元的输入状态、连接权以及有无教师示范的信息来调整连接权重, 这就是神经网络的学习过程。常用的学习规则有:联想式学习——Hebb规则、误差传播式学习——Delta学习法则、概率式学习、竞争式学习。

BP (Back Propagation, 反向传播) 神经网络是目前应用最广泛的神经网络, 一般由输入层、隐层和输出层组成。隐层可以为一层或多层, 每层上的神经元称为节点或单元, 结构如图二所示。

各层神经元之间的连接强度用连接权重W表示, Wij表示输入层第i单元与隐层第j单元之间的连接强度, 同样Wjl表示隐层第j单元与输出层第l单元的连接强度。各单元的输出决定于前一层单元的输出及相应的连接权重, 由公式 (1) 确定。网络所记录的信息表现为网络中的全部权重, 它可以通过样本的“训练”达到。给定样本, 即是给定一个输入向量X= (x1, x2, …, xn) 及期望输出向量Y= (y1, y2, …, yn) 。“训练”就是按照实际输出最接近期望输出的原则, 来修改全部连接权值。

2 神经网络的训练算法

BP算法的过程可以分为两个阶段。第一个阶段是由输入层开始逐层计算各层神经元的“净输入”Sj和输出yj直到输出层为止;第二个阶段是由输出层开始逐层计算各层神经元的输出误差, 并根据误差梯度下降原则来调节各层的连接权重Wjl及神经元的阈值θj, 使得修改后的网络的最终输出yt能接近期望值dt, 也就是使误差et减小。可以用同一组训练样本对网络进行重复训练, 使输出误差更加减小, 直到满足要求为止。计算流程如图三所示。

以上是基本BP算法, 流程简单, 思路清晰, 易于理解。但也存在一些缺点:存在局部极小值问题;算法收敛速度很慢;新加入的样本会影响已学习完成的样本的学习结果;选取隐层单元数目尚无指导原则。

为了加快算法的收敛速度和精度, 缩短计算时间, 出现了很多改进的算法, 主要分为两类:一类是采用启发式技术, 有调节学习率的快速BP算法 (MEBP算法) 、改变作用函数陡度的快速BP算法 (MBP算法) 、隐层单元的自构形学习算法等;第二类是采用数字优化技术, 如共轭梯度法、拟牛顿法、Levenberg-Marquardt方法等。

(1) MEBP算法的思想主要是在计算过程中动态地调节学习率。基本BP算法中, 学习率都是不变的, 造成了BP学习算法收敛很慢。如果网络中各个参数的调节有自己的学习率, 且学习率在网络学习过程中可以根据误差曲面上的不同区域的曲率变化来自适应地调节最优学习率, 则整个网络的学习速度将大大加快。在误差曲面的某一区域, 若对某一参数有较小的曲率, 则这一个参数在连续几次调节中, 误差函数对这个参数的偏导数一般具有相同符号;若误差曲面相对这个参数有较大的曲率, 则在连续的几次调节中, 误差函数对这个参数的偏导数的符号将发生改变。因此, 根据误差函数对网络参数的偏导数符号, 在参数的连续几次调节中是否变号, 来决定相应参数的学习率是否增减。

(2) MBP算法的核心思想是增加一个增益因子, 以便改变作用函数的陡度。在学习过程中, 增益因子随权重及阈值的改变而一起改变, 以达到加快BP算法收敛的目的。

(3) 隐层单元自构形学习算法则用来弥补隐层单元数无法准确确定这个缺陷。在BP网络中, 输入层和输出层的神经元数都由问题本身决定, 而隐层是神经元数目至今还没有准确的算法, 一般都是通过经验或不断尝试来确定。隐层单元数少了, 学习过程可能不收敛或达不到精度要求;隐层单元数多了, 可能导致单元冗余, 收敛速度慢, 网络的范化能力差。自构形学习算法可以在学习过程中自组织和自学习自己的结构, 这个过程分为预估和自构形两个阶段。在预估阶段, 根据问题的大小及复杂程度, 先设定一个隐层单元数较多的BP网络结构。在自构形阶段, 网络根据学习情况合并无用的冗余的单元, 删除不起作用的单元, 最后得到一个合适的自适应网络。

(4) 共轭梯度法使用共轭梯度向量来确定共轭方向。1990年J.Leonard和M.AKramer将共轭梯度法和行搜索策略结合在一起。在共轭梯度法中, 沿着共轭方向进行行搜索, 收敛速度将比一般的梯度下降法要快很多。在一般的训练算法中, 是利用学习速率决定权重和阈值更新的步长, 而在多数共轭梯度算法中权值步长各自反复地调整, 沿着共轭梯度用行搜索来决定权值步长以减少在行中的完成功能。共轭梯度法可以不必计算或存储二阶导数信息就具有二阶方法的功能, 它与拟牛顿法相比, 计算代价很低, 因此在较大规模的问题中十分有用。常用的共轭梯度算法有:Fletcher-Reeves算法、Polak-Ribiere算法、Pwell-Beal算法以及ScaledConjugate-Gradient (SCG) 算法等。

(5) 拟牛顿法是牛顿算法的一个改进。牛顿算法虽然比共轭梯度法收敛快, 但在BP网络中海森矩阵的计算很复杂、耗时, 于是产生了不用计算二阶导数的改进牛顿算法, 也叫可变尺度法。拟牛顿法在导数信息的基础上, 试图通过迭代次数逐渐建立对海森矩阵的近似。其中最广泛使用的更新方案是BGGS更新公式。BFGS算法通常只需要很少的迭代次数就能收敛, 但它每步迭代的计算量和内存需求大于共轭梯度法, 因此对于大型网络, 采用共轭梯度法比较适合, 而训练小型网络时使用BFGS算法效果较好。另有一步割线 (One Step Secant, OSS) 算法, 也是牛顿算法的改进, 是共轭梯度法和拟牛顿法的折衷方法。假设每次迭代时前一次的海森矩阵是正定的, 并且在计算新的搜索方向时没有用到海森矩阵的逆, 则OSS算法在计算过程中不需存储整个海森矩阵, 所以OSS算法每步需要的内存和计算量都小于BFGS算法, 但略大于共轭梯度法。

(6) Levenberg-Marquardt方法也对牛顿法进行了改进, 在海森矩阵上加了一个正定矩阵, 使海森矩阵总是保持为正定, 避免搜索进入局部最有解。LM方法可以使学习时间更短, 在实际应用中效果较好, 但对于复杂的问题, 这个方法需要很大的内存。

3 BP神经网络范化能力的改进

BP网络在采用普通BP算法的训练过程中, 不仅需要网络学习的训练样本集, 还需要用来评价该网络训练效果的检验样本集, 这两个样本集的元素都源于同一数据集合。训练样本集用于训练网络, 使网络依据学习算法进行结构参数的调整, 达到学习样本的目的;检验样本集则是在网络训练完成后, 用于检验网络对非训练样本的认知能力, 即范化能力 (Generalization) 。网络的范化能力, 指对于同一数据集合中的非训练样本, 网络仍能给出正确的输入输出关系的能力。

采用数字优化技术的训练算法虽然能加快网络收敛速度, 减少训练时间, 但随着网络结构的复杂性增加, 网络将出现过拟合现象 (Overfitting) , 即训练完成的神经网络对参加训练的样本的输出与目标输出之间的误差很小, 但对于训练样本以外的输出与目标输出的误差很大。因此必须提高神经网络的范化能力, 通过合理设置隐层及神经元数量, 采用恰当的训练算法, 使网络不仅对训练样本有很好的拟合能力, 也能较好地表达同一数据集的其他非训练样本。

针对网络训练的过拟合问题, 在训练策略上可以采用一些提高范化能力的训练方法:

(1) 样本空间法。学习训练的样本对神经网络的范化能力有很大的影响。如果数据样本数目太少, 网络就难以学习到数据系列的规律, 只能起到记忆数据的作用, 有时甚至学习到错误的规律。当网络结构给定, 即隐层节点数保持不变时, 若样本数增加, 网络的范化能力增强, 但这只是在理想状态下, 并且样本数增加会导致网络训练时间的增加。因此, 在选择样本时要考虑以下几点:尽可能选择与范化应用相类似的样本;一定要包含拐点处的数据样本;尽可能保证相邻样本的变化率小于误差精度要求。

(2) 权值衰减法。一般认为大的权值不利于网络的训练, 可以通过公式 (2) :

进行衰减, 其中0

(3) 最佳停止训练法。在训练网络时, 一般把样本数据分为两类, 一类为训练样本, 另一类为检验样本。由于BP网络是基于梯度下降法进行训练的, 训练样本的误差会单调下降, 而检验样本的平均误差总比训练样本大, 一般不是单调下降的, 趋势上是先降低后增加。因此, 网络一般都在检验样本误差达到最小点时停止训练, 而不是继续训练到训练样本的误差最小点, 这个方法也被称为早停止策略 (Early Stopping) 。

另外, 可以通过构造网络新的性能指标来提高范化能力。普通的BP训练算法在训练过程中只看重训练性能指标J, 而忽视了检验性能指标test J。现在可以构造新的性能指标new J=a J+ (1+a) test J, 0

4 神经网络的应用

函数逼近是BP网络应用最广泛的一个能力。已有严格的数学证明, 一个3层BP网络具有以任意精度逼近任意非线性函数的能力。因此, BP神经网络在参数估算、模糊分析、统计预测、数学建模、优化设计等方面取得了广泛的应用。

在航空军事方面, 聂蓉梅等应用神经网络研究了导弹直径和长度与导弹重量之间的映射关系, 得到了导弹的总体质量估算网;徐惠民等用神经网络分析了喷气支线飞机和喷气公务机的主要参数估算方法;Wroblewski D等人也将神经网络用于直升机旋翼桨叶的动力学设计。而在国民生产领域, 神经网络的应该范围更加广泛, 在土木工程、防洪防汛、建筑管理、农业生产乃至经济管理中都取得了显著成效, 大大提高了生产力水平, 节约和合理分配了社会资源, 加快了国民经济的发展, 为建设和谐社会作出了重要贡献。

参考文献

[1]高隽.人工神经网络原理及仿真实例[M].北京:机械工业出版社, 2003.

[2]朱剑英.智能系统非经典数学方法[M].武汉:华中科技大学出版社, 2001.

[3]周宇恒, 赵书玲, 李钟侠.BP网络范化能力的改进[J].兵工自动化测控技术, 2004, 23 (5) :63-64.

[4]黄琳, 魏保立.BP网络的范化能力改进方法及应用[J].石家庄铁道学院学报, 2005, (9) .

[5]罗若谷, 陈敏.BP神经网络范化能力改进研究[J].福建电脑, 2007, (1) .

[6]Martin T.Hagan等著.戴葵等译.神经网络设计[M].北京:机械工业出版社, 2005, 8.

[7]Gencay R, Qi M.Pricing and Hedging Derivative Securities with Neural Networks Bayesian Regularization, Early Stopping, and Bagging[J].IEEE Transactions on Neural Networks.Vol.12, No.4, July2001:726-734.

[8]聂蓉梅, 夏人伟, 陈万春.飞行器总体设计中主要参数的神经网络估算[J].北京航空航天大学学报, 1999, 25 (6) :655～659.

[9]徐惠民, 余雄庆, 薛飞.基于神经网络的飞机主要参数估算方法[J].南京航空航天大学学报, 2003, (2) :48-52.

人工神经智能网络 篇5

关键词 诶尔曼神经网络；人工神经网络；随机游走模型；组合预测；金融时间序列

中图分类号 F224 文献标识码 A

1 引 言

金融时间序列与经济环境及商业环境有关，如股市，汇率，物价指数，国民收入和净出口等.选择一个合适的金融数据模型，需要正确地识别金融市场与整体经济之间的内在关系[1].在实践中非常困难.因为一个金融时序数据的动态变化受到多个经济变量的影响，包括经济增长，利率，通货膨胀，通货紧缩，政治决策和心理因素等多个复杂的经济变量[1].

这些年来，关于金融时间序列的分布特征、模型模拟及预测等已经有了大量的研究工作[2，3].线性统计模型，如指数平滑法[4]和ARIMA[5]模型等，已经大量应用于金融数据的预测.ARIMA模型的一个分支，即随机游走模型（Random Walk model）[1，6]，已经成为这个领域的主流统计技术.在一个简单的随机游走模型中，每一期的预测值被认为是最近一期的观测值和随机误差项的总和.目前，简单随机游走模型是金融时间序列分析中最主要的线性模型（尤其是汇率数据）[7].对随机游走模型的改进，如带漂移项的随机游走模型和误差修正，也有了很多相关的研究[1].尽管随机游走模型具有简单性和显著的预测精度，但是其主要缺点是内在的线性形式.随机游走模型未能捕获存在于金融时间序列中的非线性特征[2，7].非线性是金融时间序列的缺省特征，因此，通过一个随机游走模型近似它是不充分的.在这种情况下，人工神经网络是一种不错的选择.由于其非线性，非参数，自适应和噪声耐受性，人工神经网络在金融时间序列预测领域获得了广泛的关注[2，3].这些显著的特征使得人工神经网络模型能够有效地识别解释变量之间导致金融时序图产生不规则波峰和波谷的内在机理.与其他非线性统计模型不同的是，人工神经网络能够在不了解底层数据计算过程的情况下进行非线性模拟[8].不少研究者对比了人工神经网络和随机游走模型预测金融数据时的表现，也研究出了许多有益的结果：如Dunis and William发现神经网络相对于一般的统计模型可以提供更高的预测精度；Sun[1]发现在预测汇率时，人工神经网络表现出比随机游走模型更差的预测精度等等.但是，对于预测金融数据，一个金融时间序列一般包含了线性部分和非线性部分，单独使用人工神经网络模型或随机游走模型并不合适.上述研究无法确定人工神经网络模型和随机游走模型中哪一个更适应于预测这类金融数据.从而激励着去寻找一种组合机制去预测汇率.对于金融数据模型的预测，zhang[7]首次将随机游走模型和神经网络模型结合起来，国内学者熊志斌也做了ARIMA融合神经网络的人民币汇率预测模型研究[9].

本文假设任何金融时间序列由线性部分和非线性自相关部分组成，且可以从时间序列中剥离、单独建模.将随机游走模型和神经网络模型结合起来对金融数据进行预测.主要步骤如下：首先，随机游走模型用于拟合金融时间序列的线性部分，由观察值和随机游走模型拟合值之间的差计算样本内残差.根据假设，这些残差只包含非线性关系；第二，FANN和EANN将用于分别拟合这些残差值，并由2个模型产生的预测值的平均值得到想要的残差估计；第三步，由随机游走模型预测时间序列的线性部分；最后，将线性部分和非线性部分所得到的预测值加总，获得期望的最终预测.

2 随机游走模型

随机游走模型是金融时序分析最流行和有效的统计模型，也被广大的研究生所研究和使用，这个模型假设最近的观察值是对下一期预测值的最佳指南.在数学上，一个简单的RW模型被表示如下：

其中，和yt是时间序列中的观察值，εt是一个白噪声并且εt～N（0，σ2）.

从式（1）中可以看出，一个随机游走模型表明所有与未来相关的信息已经包含在可用的数据里，这个模型因为被使用较多，所以非常容易理解和实现.根据有效市场的假说，随机游走模型是外汇汇率预测中最主要的线性模型，而且大量研究指出许多基于线性结构的预测技术并没有比简单的随机游走模型更有效.

一个随机游走模型的成功很大程度上取决于随机误差项，按照定义，随机误差项是独立同分布的.在本文中将生成独立同分布的伪随机正态变量εt～N（0，σ2），其中σ2是样本内数据集的方差.

3 人工神经网络（ANN）模型

3.1 前馈神经网络 （FANN）

在所有可用的仿生预测方法中，人工神经网络无疑是最流行且最成功的.人工神经网络最初起源于对人脑结构的模仿，渐渐地，神经网络技术在众多领域起到了极为重要的作用，如分类、识别和预测.人工神经网络通过若干互相连接的分布在不同层的神经元来学习数据的内在关系.多层感知器（MLP）是最被认可的人工神经网络的结构，用于时间序列预测问题.一个MLP基本上是一个输入层，一个或多个隐藏层和一个输出层的前馈结构.在每层中有许多个处理结点，其通过不可逆的链接连接到下一层.单层次的隐藏节点已经足以解决许多最实际的问题.图1描述了一个典型的MLP结构（p个输入结点，h个隐藏结点和一个输出结点）.

在没有任何限制条件的情况下，简单的多层感应器模型或前馈神经网络模型能以任何给定的精度去近似逼近任何非线性函数.考虑到计算的要求，简单的神经网络往往是更合适的.选择合适的网络结构很重要，但并不是一个简单的工作.网络结构的选择主要包括确定输入节点、隐藏节点和输出节点的个数，以及隐藏层的层数.在不同文献中有着不同的参数优化选择方法，但这些方法并不简单，而且都是针对着具体的问题.

广泛应用的神经网络选择方法包括了赤池信息准则（AIC），贝叶斯信息准则（BIC），施瓦茨的贝叶斯准则（SBC）和偏差校正的赤池信息准则（AICC-）.这4种准则基于对增加神经网络中参数个数的惩罚.在本文中，使用BIC准则作为神经网络的选择标准，因为它比其他3种准则更严重地惩罚了额外的参数.对于一个的FANN模型，BIC的数学表达式由式（5）给出：

3.2 诶尔曼人工神经网络（EANN）

类似于常见的前馈型神经网络（FANNs），时间递归神经网络在金融时间序列预测领域也相当流行.诶尔曼人工神经网络是一种简单的时间递归神经网络，除了3种常见的层次，还有额外的上下文层和反馈连接.在每一个计算步骤中，隐藏层的输出被再次反馈到上下文层，如图2所示.这种递归使得神经网络动态化，从而能够实现对处理结点非线性时间依赖的映射.EANN模型通常比相同结构的FANN提供了更好的预测性能.然而，EANNs比FANNs需要更多数量的网络连接和记忆单元.

使用相同的网络结构的FANN和EANN模型，不同之处在于EANN模型隐藏层的神经元是对应FANN模型中神经元的5倍.

4 组合方法的建模

在本文中，决定同时利用随机网络模型和神经网路模型来预测金融数据.虽然这些模型有着广泛的应用，但是他们之中没有一个模型能够在所有预测情况之下都最好.例如，RW模型不适合于识别非线性模式，类似地，使用人工神经网络处理线性问题时产生的结果也好坏参半.因此，更科学的做法是找一种组合方法去结合这两种模型的长处，而不是单独地去应用它们.假设，一个金融时间序列由从线性和非线性两部分构成，能从时间序列中分离出来并单独地建模.从数学上讲：

这种组合方法的显著特点如下：①任何金融时间序列都由线性部分和非线性部分组成，通过随机游走模型拟合线性部分，神经网络模型拟合非线性残差部分，提高了总体的预测精度；②类似的组合方法最早由Zhang推出，在他们的方法中，时间序列的线性部分由ARIMA模型来拟合而剩余的非线性残差部分由FANN来拟合.然而，该组合方法同时结合了FANN模型和EANN模型两种模型的优势，能更好地识别非线性自回归结构；③这种组合机制是基于一种简单而有效的想法，相当容易实施和解释.④值得注意的是，如果金融时间序列中的线性和非线性部分存在着适当比例的自相关结构，那所提出的组合方法将能显着改善预测精度.如果这2个部分自相关程度较弱，那该方法可能并不合适.

5 实验结果与讨论

为了验证所提出的组合方法的有效性，本文用到了三组数据：①港币兑换美元汇率，包括了从1994年8月到2015年6月港币兑换人民币的每月汇率；②美元兑换人民币汇率，包含从2005年5月到2015年6月美元兑换人民币的每月汇率；③人民币兑换港币汇率，包括了从1995年1月到2015年6月人民币兑换港币的每月汇率.（数据来源：汇率数据取自国泰安数据库）（见表1）

从图3中可以清楚地看到3个时间序列中不规则非平稳的变化.

图4和5中，画出了3种时间序列的实际曲线和通过组合模型所描绘的预测值曲线.在每个图中，实线和虚线分别表示实际和预测序列.港币美元汇率与人民币港币汇率数据的预测误差较小，预测值与原始值的走势趋于一致.预测人民币港币汇率的预测效果没有港币美元汇率与人民币港币汇率好，预测值的总体走势与原始值一致.三组汇率数据的原始值和他们的预测值之间的接近程度是显而易见的.

6 总 结

众所周知，设计一个合适的模型来预测金融数据是时间序列研究领域的一个重大挑战，也是极其不易之事.这主要是因为金融时间序列中的不规则运动及突然的转折点使得实际中很难去理解和预测.基于金融数据独特的随机性特征，本文构建了人工神经网络和随机游走模型对中国的汇率数据进行预测.

本文构建的新模型结合了随机游走模型，FANN模型和EANN模型3种模型的优势去预测金融数据.并且从实证结果表明，预测值与原始值的走势趋于一致，港币与人民币之间的预测误差不大，但是对于相对于人民币汇率的预测，美元汇率的预测效果更好.从预测误差看，均比每个单独的模型效果要好.从三组真实的金融时间序列的实证结果清楚地表明，本文新构建的组合方法极大地提高了整体的预测精度.因此，我们的新模型在汇率预测方面上有更高的准确性和适用性.

参考文献

[1] Y SUN. Exchange rate forecasting with an artificial neural network model： can we beat a random walk model？ [D] New Zealand：Christchurch，Lincoln University， 2005.

[2] A HUSSAIN， A KNOWLES， P LISBOA，et al. Financial time series prediction using polynomial pipelined neural networks[J]. Expert Systems with Applications， 2008， 35（3）： 1186-1199.

[3] M SEWELL. The application of intelligent systems to financial time series analysis[D].London：Department of Computer Science， UCL，2010.

[4] C LEMKE，B GABRYS. Metalearning for time series forecasting and forecast combination[J]. Neurocomputing， 2010， 73（10）： 2006-2016.

[5] G BOX， G JENKINS， G REINSEL. Time series analysis： forecasting and control[M].London John Wiley & Sons， 2011. 734

[6] E TYREE， J LONG. Forecasting currency exchange rates： neural networks and the random walk model[J]. Citeseer， 1995（1）：981-996.

[7] G ZHANG. Time series forecasting using a hybrid ARIMA and neural network model[J]. Neurocomputing， 2003， 50： 159-175.

[8] G ZHANG. A neural network ensemble method with jittered training data for time series forecasting[J]. Information Sciences， 2007， 177（23）： 5329-5346.

人工神经网络初探 篇6

一、人工神经网络简介

人工神经网络是对人类大脑中枢神经系统功能和结构方面的一种“直观”模拟, 人类神经网络理论更注重于对人类神经网络系统特别是脑神经系统结构与生理功能的类比研究, 以希望从中不断地改进与完善自己的理论与功能模式。

神经生理学和神经解剖学的研究结果表明, 人脑是极其复杂的, 是由大约千亿个左右的神经细胞交织在一起构成的一个网状系统结构。这一神经网络系统中的神经细胞, 主要是神经胶质的神经元。其中神经元是系统内直接从事信息的接收、传递和处理工作的“主题”, 而神经胶质细胞则是系统的支持部分。每个神经元可看作一个小小的处理单元, 这些神经元网络中各神经元连接的强弱, 按外部的激励信号作自适应变化, 而每个神经元又随着所接收到的多个激励信号的综合大小呈现兴奋或抑制状态, 现已明确大脑的学习过程就是神经元间连接强度随外部激励信息做自适应变化的过程, 而大脑处理信息的结果则又以神经元的状态表现出来。

在生物体中, 众多神经元可以以多种方式构成多种网络系统, 即构成各种神经网络, 当由多个生物神经元以确定方式和拓扑结构相互连接所形成的生物神经网络应该说是一个更为灵巧、复杂的信息处理系统。我们建立的信息处理系统就是模仿生理神经网络, 美国神经网络学家Hecht Nielsen给出了一个定义:神经网络是由多个非常简单的处理单元彼此按某种方式互相连接而成的计算机系统, 该系统是靠其状态对外部输入信息的动态响应来处理信息的。这种人工神经网络与一般的计算机是完全不同的, 在一般计算机中, 通常有中心处理器, 它可以访问其存储器, 该处理器可取一条指令和该指令所需要的数据, 并执行指令, 最后将计算结果存入指定的存储单元中, 这使任何操作都按照确定的操作程序, 并按串行方式进行。神经网络中的操作却不是串行的, 也不是预先确定的, 它根本没有确定存储器, 而是由许多互连的简单处理单元组成, 其中每个处理单元的处理功能只是求其输入信号的加权和, 当该和值超过某一门限时, 输出呈现兴奋状态 (高电平) 或低于门限时呈现抑制 (低电平) 状态。它并不执行指令序列, 它对并行加入的输入信号也按并行方式来处理和响应, 结果也不存在特定的存储单元中, 当它达到某种平衡状态后, 网络的整个状态就是所求的结果。为了硬件实现真正的并行处理的ANN, 人们提出了各种VLSI (大规模集成电路) 实现、光学器件、分子器件实现方案, 但真正实用的产品 (既能学习训练, 又能回忆操作) 还没有推向市场, ANN的硬件实现还有一段路要走。目前广泛应用的还是基于一般计算机的软件模拟实现, 显然这还没有发挥A N N并行快速的特点。

人工神经网络的操作有两种过程, 一是训练学习, 二是正常操作或称回忆。训练时, 把要交给网络的信息 (外部输入) 作为网络的输入和输出, 使网络按某种规则 (称训练算法) 调节各处理单元间的连接权值, 直到加上给定输入, 网络就能产生给定输出为止, 这时, 各连接权已调节好, 网络的训练就完成了。所谓正常操作, 就是对训练好的网络输入一组信号, 这时它可以正确回忆出相应输出, 所以也称为回忆操作。

从一定意义上来说, 可以认为人们过去和现在所提出的每一种人工神经元模型都是对大脑中神经细胞中的一种简化抽象。尽管这种抽象都是以对大脑神经细胞的认识为基础的, 但在抽象过程中, 有时又不得不考虑神经元及其网络所模拟的对象的特点以及现有技术实现的可能性。因而同是人工神经元, 其数学模型中却各有不同。

二、人工神经网络发展时期

神经网络的历史可分为四个时期。第一个时期开始于1943年W.Mc Culloch和W.pitts提出的MP模型, 结束于1969年Minsky和Papapert发表的《感知器》一书, 是神经网络发展的启蒙时期。第二时期为低潮时期, 开始于1969年, 结束于1982年Hopfield发表的著名的文章“神经网络和物理系统”。第三个时期为复兴时期, 开始于J.J.Hopfield的突破性研究论文, 结束于1986年D.E.Rumelhart和J.L.Mcclelland领导的研究小组发表的《并行分布式处理》一书。第四个时期为高潮时期, 以1987年首届国际人工神经网络学术会议为开端, 迅速在全世界范围内掀起人工神经网络的研究应用热潮, 至今势头不减。

中国最早涉及人工神经网络的著作是涂序彦先生等于1980年发表的《生物控制论》一书, 书中将“神经系统控制论”单独作为一章, 系统地介绍了神经元和神经网络的结构、功能和模型。该书发表时人工神经网络的研究尚未进入复苏时期, 国内学术界对该领域的情况知之甚少, 研究热点主要集中在人工智能方面。随着人工神经网络20世纪80年代在世界范围的复苏, 国内也逐步掀起了研究热潮。经过20多年的发展, 中国学术界和工程界在人工神经网络的理论研究与应用方面取得了丰硕成果。目前, 人工神经网络已在中国科研、生产和生活中产生了巨大的影响。

总之, 人工神经网络应用领域非常广泛, 本文仅仅对它进行了初步的探讨, 以期从广度上更好的认识人工神经网络。

摘要：本文介绍了人工神经网络的概念及其历史发展, 并对人工神经网络的基本特征进行介绍, 以期使读者对神经网络有一个更广泛认识。

关键词：人工神经网络,特征

参考文献

[1]杨行峻, 郑君里.人工神经网络.高等教育出版社.1992年.

[2]Yarlagadda, Prasad K.D.V.Development of an integrated neural network system for prediction of process parameters in metal injection moulding Journal of Materials Processing Technology.Volume:130-131, December20, 2002, pp.315-320.

浅谈人工神经网络 篇7

人工神经网络(Artificial Neural Networks,简写为NES)也简称为神经网络(NN)或称作连接模型(Connectionist Model)是对人脑或自然神经网络(Natural Neural Network)若干基本特性的抽象和模拟。人工神经网络以对大脑的生理研究成果为基础的,其目的在于模拟大脑的某些机理与机制,实现某个方面的功能。国际著名的神经网络研究专家,第一家神经计算机公司的创立者与领导人Hecht-Nielsen给人工神经网络下的定义就是:“人工神经网络是由人工建立的以有向图拓扑结构的动态系统,它通过对连续或断续的输入作状态相应而进行信息处理。”

人工神经网络的有以下重要特性:

1)并行分布处理神经网络具有高度的并行结构和并行实现能力,因而具有较好的耐故障能力和较快的总体处理能力,这一特性适于实时和动态处理。

2)非线性映射神经网络具有固有的非线性特性,这源于其近似任意非线性映射(变换)能力。这一特性给处理非线性问题带来新的希望。它突破了传统的以线性处理为基础的数字电子计算机的局限,标志着人们智能信息处理能力和模拟人脑行为能力的一大飞跃。

3)通过训练进行学习神经网络是通过所研究系统过去的数据记录进行训练的。一个经过适当训练的神经网络具有归纳全部数据的能力。因此,神经网络能够解决那些由数学模型或描述规则难以处理的问题。

4)适应与集成神经网络能够适应在线运行,并能同时进行定量和定性操作。神经网络的强适应和信息融合能力使它可以同时输入大量不同的控制信号,解决输入信息间的互补和冗余问题,并实现信息集成和融合处理。这些特征特别适用于复杂、大规模和多变量系统。

5)硬件实现神经网络不仅能够通过软件而且可以从市场上购买到。这使得神经网络成为具有快速和大规模处理能力的网络。

显然,神经网络由于学习和适应、自组织、函数逼近和大规模并行处理等能力。因而具有用于智能系统的潜力。

2 人工神经网络的结构

神经网络的结构是由基本处理单元及其互联方法决定的。

2.1 人工神经网络的基本特征和结构

人脑内含有及其庞大的神经元,它们相互连成神经网络,并执行高级的问题求解只能活动。

人工神经网络由神经元模型组成,这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元既有单一输出,并且能够与其他神经元连接;存在许多输出连接方法。每种连接方法对应于一个连接权系数。严格地说,神经网络是一种具有以下特征的有向图:

1)对于每个节点i存在一个状态变量Xi;

2)从节点j至节点i,存在一个连接权系数数Wji;

3)对于每个节点i,存在一个阀值θi;

4)对于每个节点i,定义一个变换函数fi(Xi,Wji,θi),i≠j;对于最一般的情况,此函数去fi(∑Wji Xj-θi)形式。

2.2 人工神经网络的结构分类

人工神经网络的结构基本上分为两类,即递归网络和前馈网络。

1)递归网络

此类网络中,多个神经元互连以组织一个互连神经网络。有些神经网络输出被反馈至通同层或前层神经元。因此,信号能从正向和反向流通。Hofield网络、Elmman网络和Jordan网络是递归网络中具有代表性的例子。递归网络又叫反馈网络。

2)前馈网络

前馈网络具有递阶分层结构,由一些同层神经元不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通;神经元从一层连接至下一层,不存在同层神经元间的连接,前馈网络的例子有多层感知其器(MLP),学习矢量化(LVQ)网络、小脑膜型连接控制(CMCA)网络和数据处理(GMDH)网络等。

2.3 人工神经网络的主要学习算法

神经网络主要通过两种学习算法进行训练,即指导式(有师)学习算法和非指导式(无师)学习算法。此外还存在第三种学习算法,即强化学习算法;可把它看作是有师学习的一种特例。

1)有师学习

有师学习算法能够根据期望的和实际的网络输出(对应于给定输入)之间的差来调整神经元连接的强度或权。因此,有师学习需要有老师或导师来提供期望或目标输出信号。有师学习算法的例子包括△规则、广义△规则或反向传播算法及LVQ算法。

2)无师学习

无师学习算法不需要知道期望输出,在训练过程中,只要神经网络提供输入模式,神经网络就能够自动地适应连接权,以便按相似的特征吧输入模式分组聚集。无师学习算法的例子包括Kohonen算法和Carpenter-Grossberg自适应谐振理论(APT)等。

3)强化学习

强化学习是有师学习的特例,它不需要老师给出目标输出,强化学习算法采用一个“评论员”来评价与给定输入项相对应的神经网络输出的优度(质量因数)。强化学习算法的一个例子是遗传算法(GA)

3 人工神经网络的典型模型

迄今为止,已开发和应用了30多种人工神经网络模型,下面是它们之中有代表性的一些模型。

1)自适应谐振理论(ART)此理论由Grossberg提出,是一个根据可选参数对输入数据进行粗略分类的网络。ART-1用于二值输入,而ART-2用于连续值输入,ART的不足之处在于过分敏感,当输入有小的变化时,输出变化很大。

2)双向联想存储器(BAM)有Kosko开发,是一种单状态互联网络,具有学习能力,BAM的缺点为存储密度较低,且易于振荡。

3)Boltzmann机(BM)由Hinton等人体提出,建立在Hopfield网络基础上,具有学习能力,能够通过一个模拟退火过程寻求解决解答。不过其训练时间比BP网络要长。

4)反向传播(BP)网络最初由Werbos开发的反响传播训练算法是一种迭代梯度算法,用于求解前馈网络的实际输出与期望输出间的最小均方差,BP网络是一种反响传递并能够修改的多层映射网络,当参数适当时,此网络能收敛到较小的均方差,是目前应用最广的网络之一,BP网络的不足是训练时间较长,且容易陷入局部较小。

5)对流传播网络(CPN)由Hech-Nielson提出,是一个通常由5层组成的连接网,CPN可以存放联想传播,其缺点是要求较多的处理单元。

6)Hopfield网由Hopfield提出,是一类不具有学习能力的单层自联想网络,Hopfield网模型由一组可使某个能量函数最小的微分方程组成,其不足在于计算代价较高,且要对称连接。

7)Madaline算法,它是Aadaline算法的一种发展,是一组具有最小均方差线性网络的组合,能够调整权值,使期望信号与输出间的误差最小,此算法是自适应信号处理和自适应控制的得力工具,具有较强的学习能力,但输入和输出之间必须满足线性关系。

8)认知机(necognitron0由Fukushima提出,使迄今为止结构最为复杂的多层网络。通过无师学习,认知机具有选择能力,对样品的平移和旋转不敏感,不过认知机所

9)感知器(preceptron)Posenblatt开发,是一组可训练的分类器,为古老的ANN之一,现已很少使用。

10)自组织映射网(SOM)由Konhonen[9]提出,以神经元自行组织以校正各种具体模式的概念为基础。SOM能够形成簇与簇之间的连续映射,起到矢量量化器的作用。

4 结束语

人工神经网络是未来微电子技术应用的新领域。智能计算机的构成,可能就是作为主机的冯?诺依曼计算机与作为智能外围机的人工神经网络的结合。通过对人工神经网络基本构造和基本模型的介绍,使读者对其基本方法有一个基本的掌握,为智能计算机的发展奠定一点基础。

摘要：神经网络具有智能系统的潜力,因此了解神经网络的特性,神经网络的结构等具有重要意义。该文就神经网络以及主要的人工神经网络作了阐述。

关键词：神经网络,人工神经网络

参考文献

[1]王伟.人工神经网络原理——入门与应用[M].北京:北京航空航天大学出版社,1995.

[2]张立明.人工神经网络技术及其应用[M].上海:复旦大学出版社,1993:6-7.

人工神经网络系统辨识综述 篇8

随着社会的进步, 越来越多的实际系统变成了具有不确定性的复杂系统, 经典的系统辨识方法在这些系统中应用, 体现出以下的不足:

(1) 在某些动态系统中, 系统的输入常常无法保证, 但是最小二乘法的系统辨识法一般要求输入信号已知, 且变化较丰富。

(2) 在线性系统中, 传统的系统辨识方法比在非线性系统辨识效果要好。

(3) 不能同时确定系统的结构与参数和往往得不到全局最优解, 是传统辨识方法普遍存在的两个缺点。

随着科技的继续发展, 基于神经网络的辨识与传统的辨识方法相比较具有以下几个特点:第一, 可以省去系统机构建模这一步, 不需要建立实际系统的辨识格式;其次, 辨识的收敛速度仅依赖于与神经网络本身及其所采用的学习算法, 所以可以对本质非线性系统进行辨识;最后可以通过调节神经网络连接权值达到让网络输出逼近系统输出的目的;作为实际系统的辨识模型, 神经网络还可用于在线控制。

1 神经网络系统辨识法

1.1 神经网络

人工神经网络迅速发展于20世纪末, 并广泛地应用于各个领域, 尤其是在模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等方面。随着神经网络理论本身以及相关理论和相关技术的不断发展, 神经网络的应用定将更加深入。

神经网络, 包括前向网络和递归动态网络, 将确定某一非线性映射的问题转化为求解优化问题, 有一种改进的系统辨识方法就是通过调整网络的权值矩阵来实现这一优化过程。

1.2 辨识原理

选择一种适合的神经网络模型来逼近实际系统是神经网络用于系统辨识的实质。其辨识有模型、数据和误差准则三大要素。系统辨识实际上是一个最优化问题, 由辨识的目的与辨识算法的复杂性等因素决定其优化准则。通过建立系统的依赖于参数的模型, 把辨识问题转化为对模型参数的估计问题, 是传统的辨识算法。这类算法较成功的应用于线性系统或本质线性系统。神经网络用于系统辩识的一个优点是它不需要预先建立实际系统的辩识格式, 它对系统的辩识过程就是直接学习系统的输入输出数据的过程。一般的, 基于输出误差的神经网络辩识原理如图1所示。

1.3 人工神经网络的特点

人工神经网络与传统的基于算法的辨识方法相比较, 具有以下优点:

(1) 神经网络的可调参数反映在网络内部的连接权上, 这就可以省去对系统建模这一步骤。

(2) 可以对本质非线性系统进行辨识, 这是一种非算法式的、由神经网络本身来实现的辨识。

(3) 神经网络的本身和其所采用的学习算法是影响辨识的收敛速度的唯一因素, 它不依赖待辨识的系统的维数。

(4) 通过调节神经元之间的连接权 (权值对应于模型参数) 可使网络的输出来逼近系统的输出。

(5) 神经网络也可用于在线控制。人工神经网络在非线性系统辨识中的应用具有很重要的研究价值以及广泛的应用前景。

2 神经网络系统辨识算法

BP网络 (Back Propagation Network) 是一种能朝着满足给定的输入/输出关系方向自组织的神经网络, 称为误差反向传播神经网络, 其典型的结构图如图2所示。

BP网络结构图包括输入层、隐含层、输出层这三部分, 各部分之间通过各层节点之间的连接权依次前向连接。神经网络模型在大部分人工神经网络的实际应用中多采用BP网络和它的变化形式, 这是前馈型网络的核心部分, 同时也体现了人工神经网络最精华的部分。函数逼近、模式识别、分类以及数据压缩是BP网络的应用主要种类。函数逼近就是指用输入矢量和相应的输出矢量训练一个网络逼近一个函数, 以此来实现从输入到输出的任意的非线性映射。

BP网络用于函数逼近就是用输入矢量和相应的输出矢量训练一个网络逼近一个函数, 即可实现从输入到输出的任意的非线性映射。用于非线性系统辨识的三层BP神经网络ANN (n2m21) , 假设输入向量为x= (x0, x1, …, xn-1) T, 中间隐层的输出向量为x′= (x′0, x′1, …, x′m-1) T, 网络的输出为y。记输入层与第二层间的连接权为wij, 阈值为θj, 第二层与输出层间的连接权为wj, 阈值为θ, 则每个层神经元的输出满足:

其中, j=0, 1, …, m-1

对于总数为h个样本, 按δ学习律, 如果第p个样本xp网络, 得到输出yp, 则其总误差为:

其中tp为教师值。

故E总为一个有关权wsq的非线性误差函数。BP网络的训练过程也就是优化问题 的求解过程。

摘要：当今社会, 系统辨识技术的发展逐渐成熟, 人工神经网络的系统辨识方法的应用也越来越多, 遍及各个领域。首先对神经网络系统辨识方法与经典辨识法进行对比, 显示出其优越性, 然后再通过对改进后的算法具体加以说明, 最后展望了神经网络系统辨识法的发展方向。

人工神经网络技术及其应用 篇9

1 人工神经网络技术

人工神经网络技术也称ANN, 是随着上个世纪八十年代人工智能发展兴起的一个研究热点, 它的主要工作原理对人脑神经网络进行抽象处理, 并仿造人脑神经网络建立简单的模型, 按照不同的连接方式组成一个完整的网络, 因此学术界也直接将它成为神经网络。神经网络其实就是一种运算模型, 它是通过大量的节点——神经元连接起来的, 其中不同的节点所代表的输出函数也不同, 也就是所谓的激励函数;当有两个节点连接起来时称之为通过该连接信号的加权值, 也称为权重, 这就相当人脑神经网络记忆。人工神经网络技术是采用并行分布式系统, 这种工作机理与传统的信息处理技术和人工智能技术完全不同, 是一种全新的技术, 它克服了传统基于逻辑符号的人工智能处理非结构信息化和直觉方面的缺陷, 具有实时学习、自适应性和自组织性等特点。

2 人工神经网络技术应用分析

随着人工神经网络技术的发展, 它在模式识别、知识工程、信号处理、专家系统、机器人控制等方面的应用较广。

2.1 生物信号的检测分析

目前大部分医学检测设备都是通过连续波形得到相关数据, 从而根据所得数据对病情进行诊断。人工神经网络技术就是应用了这样的方式将多个神经元组合起来构成, 解决了生物医学信号检测方面的难题, 其适应性和独立性强, 分布贮藏功能多。在生物医学领域该技术主要应用于对心电信号、听觉诱发电位信号、医学图像、肌电荷胃肠等信号的处理、识别和分析。

2.2 医学专家系统

传统的医院专家系统是直接将专家的经验、学历、临床诊断方面取得的成绩等存储在计算机中, 构建独立的医学知识库, 通过逻辑推理进行诊断的一种方式。进入到二十一世纪, 医院需要存储的医学知识越来越多, 每天产生新的病况和知识, 过去的一些专家系统显然已经无法适应医院的发展需求, 因此医院的效率很低。而人工神经网络技术的出现为医院专家系统的构建提出了新的发展方向, 通过人工神经网络技术, 系统能够自主学习、自己组织、自行推理。因此在医学专家系统中该网络技术应用面较广。麻醉医学、重症医学中生理变量分析和评估较多, 目前临床上一些还没有确切证据或者尚未发现的关系与现象, 通过人工神经网络便能有效地解决。

2.3 市场价格预测

在经济活动中, 传统统计方法受到一些因素的制约, 无法对价格变动做出准确的预测, 因此难免在预测的时候出现失误的现象。人工神经网络技术能够处理那些不完整的、规律不明显、模糊不确定的数据, 并作出有效地预测, 因此人工神经网络技术具有传统统计方法无法比拟的优势。例如人工神经网络技术可以通过分析居民人均收入、贷款利率和城市化发展水平, 从而组建一个完整的预测模型, 准确预测出商品的价格变动情况。

2.4 风险评价

在从事某一项特定的活动时, 由于社会上一些不确定因素, 可能造成当事人经济上或者其他方面的损失。因此在进行某一项活动时, 对活动进行有效的预测和评估, 避免风险。人工神经网络技术可以根据风险的实际来源, 构筑一套信用风险模型结构和风险评估系数, 从而提出有效地解决方案。通过信用风险模型分析弥补主观预测方面的不足, 从而达到避免风险的目的。

3 人工神经网络技术未来发展

人工神经网络克服了传统人工智能对语言识别、模式、非结构化信息处理的缺陷, 因此在模式识别、神经专家系统、智能控制、信息处理和天气预测等领域广泛应用。随着科学技术的进步, AI的快速发展, AI与遗传算法、模糊系统等方面结合, 形成了计算智能, 很多企业和国家开始大规模研发AI, 人工神经网络正在模拟人类认知的方向发展, 目前市场已经有很多不少人工智能产品面世。

4 结语

通过上述研究分析, 人工神经网络技术已经取得了相应的发展, 但还存在很多不足:应用范围狭窄、预测精度低、通用模型缺乏创新等, 因此需要我们在此基础上不断寻找新的突破点, 加强对生物神经元系统的研究和探索, 进一步挖掘其潜在的价值, 将人工神经网络技术应用在更多领域中, 为社会创造更大的财富。

摘要：随着计算机网络、信息技术、自动化技术的进步, 极大的改变了我们的生活。人工神经网络技术是一种全新的控制技术, 通过互联网进行动态模拟, 从而建立一种新的控制互联网的系统。经过十几年的发展, 人工神经网络技术研究取得了巨大的进步, 已经广泛应用在社会各个领域, 使现代计算机中的难题得到了解决。本文主要从人工神经网络技术的概念出发, 探讨了它在现代社会领域的具体应用。

关键词：人工神经网络,信息技术,发展趋势

参考文献

[1]周文婷, 孟琪.运动员赛前心理调控的新策略——基于人工神经网络技术的比赛场地声景预测 (综述) [J].哈尔滨体育学院学报, 2015, 33 (03) :15-21.

[2]张红兰.人工神经网络技术的应用现状分析[J].中国新通信, 2014 (02) :76-76.

人工神经智能网络 篇10

关键词:人工神经网络;模糊理论;短期负荷预测;BP算法

中图分类号:TM715 文献标识码:A 文章编号:1000-8136(2009)30-0005-02

电网是电力系统的重要组成部分,提高负荷预测准确率,对电网安全、稳定、经济运行有着极其重要的意义。负荷预测误差小,则电网的开机、线路的潮流都在预计的范围内运行,电网的安全、稳定、经济运行就有了保障,还可以大大提高电力系统的经济效益。

在电力系统负荷预测的理论与实践相结合的方面,国内外许多的电力系统专家做了大量而有意义的工作。随着他们的不断探索,负荷预测从早期传统的弹性系数法、时间序列法、卡尔曼滤波分析法逐步发展到灰色模型法、专家系统法,伴随着计算机技术的发展和人工神经网络理论的不断完善,应用人工神经网络进行电力负荷预测得到了很大的发展,自从提出用人工神经网络进行电力负荷预测,充分利用了BP模型的非线性映射能力及自适应的学习能力,得到了较好的预测效果。

人工神经网络计算(ANN)是由具有非线性作用函数的神经元构成、进行大规模并行信息处理非线性模型结构,它可以模仿人脑的智能化处理,对大量非结构性、非精确性规律具有自适应功能,具有记忆功能、自主学习、知识推理和优化计算的特点,尤其是它的学习和自适应功能是常规算法和专家系统技术所不具备的。[2]因此,应用ANN对历史曲线进行拟合,能够达到十分满意的结果。并将该模型用于某地区电网的短期负荷,预测结果证明了它的有效性。

1神经网络BP模型

本文采用成熟的误差反向传播模型(ERROR BACK PROP

AGATION),简称BP模型。BP模型是一个多层前溃神经网络。BP模型由输入层、隐含层和输出层组成,其中隐含层可以是一层或是多层组成的。本论文采用单隐层的神经网络进行负荷预测,其模型网图见图1所示。这是一个三层的神经网络,其中输入层有i个节点、隐含层有j个节点、输出层有k个节点。BP算法的指导思想是:对网络权值(Vij,Wjk)的修正或阈值(θ,γ)的修正,使误差沿梯度方向下降。BP算法是一个工作信号正向传播和误差信号反向传播的过程。[1]

图1BP模型网络图

对于输入层每个神经元,其输入与输出相同。而对于隐含层或输出层的每个神经元,其神经元的输入为:

(1)

式中,i:前一層神经元;

Oi:神经元的输出;

Wij:神经元i与j的连接权值;

θj:神经元j的阈值。一般阈值θj为常数,并取(-1,+1)之间任意值。

定义误差函数Ep为各节点希望输出值与实际输出值之差的平方和:

(2)

式中,tpj:节点j的希望输出值;

Opj:节点j的实际输出值。节点j的实际输出值Opj由(1)

式的加权及阈函数决定,即:

(3)

选取S型函数为阈函数,则有:

BP模型的训练步骤如下:

(1)为所有的连接权值赋初值,并且确定阈值。

(2)输入一组训练样本。

(3)由给定的输入、阈值和连接权值,利用式(3)计算网络输出值。当输出值与期望值误差的平方和小于给定值时停止计算,否则向下顺序执行。

(4)根据输出计算值与实际值之间的偏差,由输出层反向逐层调整权值,甚至输入层,权值调整公式为:

式中,Wij(t)和θj(t)是训练过程中第t次循环结束后得到的,从节点i到节点j之间的连接权值和节点j的阈值;

ΔWij(t)和Δθj(t)是第t次循环结束后得到的相对应的调整量;a为冲量因子(0 < a < 1)。

基于梯度下降法可得出连接权值和阈值的调整量为:

ΔWij=ηδjOi ,Δθj=ηδj

当节点j为输出层的节点时:δj=Oj(1-Oj)(tpj-Oj)。

当节点j为隐含层的节点时: 。

式中,η为学习因子。

完成第四步后转回第三步。

2模糊理论的应用

从以上可以看出,BP模型算法的学习方式是梯度下降法。虽然它是神经网络(ANN)中比较成功的一个模型,但是这种算法由于迭代次数导致收敛速度太慢,而且存在局部极小点,特别是网络规模比较大时也就是神经元的数目较多时,这样的问题会比较明显,甚至会出现不收敛的情况。

这样就需要模糊理论与人工神经网络结合起来进行电力系统负荷预测。它同前者的区别是:采用普通神经网络的结构和神经元作为信息处理工具,而网络的输入量、输出量采用输入、输出信息的模糊隶属度。也就是说将输入量通过隶属度函数转化为模糊量后,再交给神经网络进行处理,以提高预测精度。[3]

电力系统短期负荷预测是对电网未来某一天到一周的负荷进行预测(本论文将对24 h进行负荷预测的研究)。负荷预测要考虑天气、节假日和季节对电力负荷的影响。因此需要建立这几个因素的隶属度函数。利用最大隶属度原则,在相同的约束条件下进行多目标优化,对函数F(x)=[f1(x),f2(x),…,fn(t)]构造相应的隶属度函数 ,且满足 ,并可用 表示第i个目标达到最优的程度, 越趋近于1,表示目标函数F(x)=[f1(x),f2(x),…,fn(t)]越趋近最优解。另外,为了降低求解规模,对1天的24点负荷每点建立1个预模型,第i点的输入输出函数为:Ljt′=fj(aj1′,… aji′)

式中,Ljt′ 是指第j个学习样本在第i点的规一化值,规一化函数为:

(4)

式中,Lji:指第j个学习样本第i点负荷的实际值;

Lji min:学习样本中第i点负荷的最小值;

Lji mix:学习样本中第i点负荷的最大值。

经过规一处理后,0< Lji′<1。fi是指第i点的输入输出函数;aj1′,…ajl′是第j个样本的影响因素值的隶属度向量,包括2个代表日类型的隶属度,3个代表最高温度的隶属度,3个代表最低温度的隶属度,3个代表平均温度的隶属度,5个代表光照的隶属度,5个代表雨量的隶属度。当学习完成后,将预测日当天影响因素的隶属度向量βj1′,…βjl′代入式(4),则可得第i点的负荷预测值。

3实例检验

本文利用人工神经网络的方法和神经网络与模糊理论相结合的方法对某地区的多个日负荷进行预测,考虑到主要成分或相关因素,保留较大的影响因素如雨天、晴天、高温天和休息天进行预测,所得结果见图2所示(圆点代表预测的负荷,三角代表实际的负荷)。

根据上面预测的一个月负荷的情况看来,可计算出负荷绝对误差的均值x =1.86,标准差σx=8.13,当x的置信限为

时,x的置信概率为 =

0.99995≈1,绘制曲线f(x),同时绘制理论正态曲线,见图3

(实线为模型预测的分布,虚线为实测的负荷分布)。

因为本文研究的是电力系统短期负荷预测,所以它必须精确(要求预测相对误差不超过4 %)。从上表中可以看到,采用普通的BP模型所得到的预测结果基本上都比4 %的;而采用组合式得到的预测结果基本上能够满足精确度的要求,而且误差普遍比用前一中方法小。因此,利用神经网络和模糊理论进行负荷预测能够满足电力系统实际的需要。

图2一个月的负荷预测图

图3负荷预测的正态分布图

4结论

利用神经网络和模糊理论的组合式负荷预测方法,它充分利用了神经网络和模糊理论各自的优点,发挥了ANN在处理非线性问题的能力,模糊理论在此基础上对神经网络所存在的问题进行了修正,使得预测结果能够更加满足实际的需要。最后的实际算例也证明了使用这种方法于实际情况的偏差系数也不大。但是应指出:①由于资料的有限性,本文仅某地区实际的一个月资料得到以上初步的结论,还有待于采用更多的资行验证;②对于具体时间进行负荷预测,如果此地区有负荷的误差资料,则可直接采用正态分布。

参考文献

1 丁坚勇、刘 云.基于负荷特征提取的神经网络短期负荷预测[J].高电压技术,2004.30(12):47～49

2 阎平凡、张长水.人工神经网络与模拟进化计算[M].北京:清华大学出版社,2000:73～74

3 程其云、孫才新、张晓星等.以神经网络与模糊逻辑互补的电力系统短期负荷预测模型及方法[J].电工技术学报,2004.19(10):53～58

4 赵宇红、唐耀庚、张韵辉.基于神经网络和模糊理论的短期负荷预测[J].高电压技术,2006.32(5):107～110

Artificial Neural Networks And Fussy Theory

Apply to Short-term Load Forecasting

Wei Wei,Wang Jin

Abstract:To the complexity that electric power system load forecasts, be improve the short-term load forecast accuracy, has adopt one kind of the model use of neural networks and fussy theory to load porecasting. The training speed being an algorithm’s turn to have overcome that tradition BP algorithm is slow, existence the part minimal point shortcoming, makes to forecast accuracy being great improvement. The example calculates the pragmatism and feasibility having indicated that algorithm.