当前位置:首页 > 神经网络 > 正文

神经网络模型算法公式

部分 公式 解释
前向传播
  • z1 = w1Tx + b1
  • a1 = f(z1)
  • z2 = w2Ta1 + b2
  • a2 = f(z2)

  • 更多层的扩展 -->
计算每一层的加权输入和活函数
反向传播
损失函数对输出层活值的导数
  • δ2 = (a2
    y) f'(z2)
  • δ1 = w2δ2 f'(z1)
计算输出层和隐层的误差项
反向传播
损失函数对权重的导数
  • ∇w2 = δ2a1
  • ∇w1 = δ1x
计算损失函数对权重的导数
参数更新
  • w2 := w2
    α ∇w2
  • b2 := b2

    α ∇b2
  • w1 := w1
    α ∇w1
  • b1 := b1
    α ∇b1
根据梯度下降法更新权重和偏置