5.4 BP 神经网络的基本原理
BP（Back Propagation ）网 是 1986 年由 Rinehart McClelland 首的科学家小 提出， 是一种按 差逆 播算
和
法 的多 前 网 ， 是目前 用最广泛的神 网 模型 之一。BP网 能学 和存 大量的 入
- 出模式映射关系， 它的学
而无需事前揭示描述 种映射关系的数学方程。 是使用最速下降法， 通 反向 播来不断 整网 的 和 ，使网 的 差平方和最小。 BP神 网 模型拓扑
构包括 入 （ input ）、 (hide layer) 和 出 (output layer)
5.4.1 BP 神 元
（如 5.2 所示）。 5.3 出了第 j 个基本 BP神 元（ 点），它只模仿了生物神 元所具有的三个最基本
也是最重要的功能： 加 、求和与 移。其中 x1、x2?xi ?xn 分 代表来自神 元 1、2?i ?n 的 入； wj1 、wj2 ?wji ? wjn 分 表示神 元 1、2?i ?n与第 j 个神 元的 接 度，即 ； bj ；f( ·) 函数； yj 第 j 个神 元的 出。
第 j 个神 元的 入 ： （ 5.12 ） 其中：
若 ， ，即令 及 包括 及 ，
于是节点 j 的净输入
可表示为：
（ 5.13 ）
净输入
通过传递函数（ Transfer Function ）f ( ·) 后，便得到第 j 个神经元的
输出
:
（ 5.14 ）
式中 f( · ) 是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加，必有一最大值。
5.4.2 BP 网络
BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播
时，传播方向为输入层→隐层→输出层，每层神经元的状态只影响下一层神经元。 若在输出层得不到期望的输出，则转向误差信号的反向传播流程 。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略 ，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。
5.4.2.1 正向传播
设 BP 网络的输入层有 n 个节点，隐层有 q 个节点，输出层有 m个节点，输入层与隐层之间
5.4
f 1( )
输出层的传递函数为 f 2( ·) ，则隐层节点的输出为（将阈值写入求和项中）：
k=1,2, ?? q
出 点的 出 ：
j=1,2, ?? m
至此 B-P 网 就完成了 n 空 向量 m 空 的近似映射。 5.4.2.2
反向 播
1) 定 差函数
入 个学 本，用 来表示。第
个 本 入到网 后得到 出
（ j=1,2, ? m）。采用平方型 差函数，于是得到第
p 个 本的 差 Ep：
式中： 期望 出。
于
个 本，全局 差 ：
2） 出 的 化
采用累 差 BP算法 整 ，使全局 差 小，即
式中：
—学 率
定 差信号 ：
（ 5.15 ）
（ 5.16 ）
（ 5.17 ）（ 5.18 ）（ 5.19 ）
其中第一项：
第二项：
是输出层传递函数的偏微分。
于是：
由链定理得：
于是输出层各神经元的权值调整公式为：
3）隐层权值的变化
定义误差信号为：
（ 5.20 ）
（ 5.21 ）
（ 5.22 ）
（ 5.23 ）
（ 5.24 ）
（ 5.25 ）
（ 5.26 ）
其中第一项：
依链定理有：
第二项：
是隐层传递函数的偏微分。
于是：
由链定理得：
从而得到隐层各神经元的权值调整公式为：
5.4.3 BP 算法的改进
（ 5.27 ）
（ 5.28 ）
（ 5.29 ）
（ 5.30 ）
（ 5.31 ）
（ 5.32 ）
（ 5.33 ）
相关推荐：
loading