神经网络反向传播和学习过程

推导可参考https://www.zhihu.com/question/24827633

这里参考大神论文，进行总结记录一下。

前向传播可以总结为：

后向传播总结可以看下图描述：

可以看到，每一层的误差都需要乘以激活函数的导数值，这样网络越深，层误差就越小，E对W的梯度也就越小，浅层的权值参数越难更新。