天天看点

深度学习笔记(四):神经网络之链式法则详解

简单的说链式法则就是原本y对x求偏导,但是由于过程较为复杂,我们引入了一个中间层z,先利用y对z求偏导,在乘上z对x求偏导,这样会使整个计算更为简单。

作用:通过链式法则我们就可以把最后一层的误差,一层一层的输出到中间层上面去,从而得到中间层的梯度信息,通过梯度信息我们就能很好的更新权值,从而达到更好的优化效果。

深度学习笔记(四):神经网络之链式法则详解

从上面可以知道E为最右边,当E对w1做偏微分,可以更新w1;同理E对w2做偏微分,就更新w2.

从X到E之间我们经历了O1和O2,通过链式法则,从一个复杂的偏微分,就变成了三个简单的偏微分求解,使操作更为简单。

实际代码:

深度学习笔记(四):神经网络之链式法则详解

72行意思就是y2对y1求偏导,73行意思就是y1对w1求偏导,74行意思就是d2对w1求偏导,75行(通过链式法则)和76行表示所得结果都是一样的,这就表明链式法则是完全符合神经网络的。

继续阅读