设计BP神经网络时,设计步骤一般为(确定隐含层和隐含层神经元的数量、设置初始权重、训练数据预处理和后处理)。
(1)隐含层和隐含层神经元数量的确定:目前尚无理论指导。
(2)初始权重设置:一般情况下,网络的初始权重设置为均值为0的随机分布。
(3)训练的数据预处理:对特征的比例进行线性变换,将所有特征在0,1或1,1的范围内进行变换,使得在每个训练集中,每个特征的均值为0并且具有相同的方差。
(4)后处理过程:应用神经网络进行分类作时,输出值通常码在所谓的名义变量中,具体值对应于类别标签。
BP网络:多层前向网络(输入层、隐层、输出层)。 链接权重:通过Delta学习算法修改。 神经元传递函数:S形函数。 学习算法:前向传播、反向传播。 层与层之间的通信是单向的,信息传播是双向的。
两个问题
(1)是否有一个BP神经网络可以近给定的样本或函数。 BP定理:给定任意一个连续函数,存在一个三层前向神经网络,可以在任意平方误差精度内近该连续函数
(2)如何固定BP连接神经网络权重使得网络的输入和输出与给定样本相同。 1986年,Rumelhardt等提出了BP学习算法。
BP网络的主要优缺点:
(1)优点:非常好的近特性。 具有很强的概括能力。 具有良好的容错性
(2)缺点:收敛速度慢。 部极端值。 隐层和隐层节点的数量很难确定。