我們前面的學習中，用gradient descent來更新參數，神經網絡這一塊也是類似的，難點在于我們的參數可能有很多元，為了有效地進行梯度下降，我們采用backpropagation。
backpropagation中的鍊式求導：
2020李宏毅機器學習與深度學習筆記——Backpropagation 我們給一組xn，經過一系列的神經網絡，我們會得到yn，以及我們有一個期望值y*n，我們求這兩組之間的交叉熵。我們把LOSS Function定義為所有交叉熵的和，則Loss對某個參數的偏微分就是每一個交叉熵求偏微分後再求和。下面我們關注于每一個交叉熵如何對參數求偏微分。
2020李宏毅機器學習與深度學習筆記——Backpropagation 2020李宏毅機器學習與深度學習筆記——Backpropagation 2020李宏毅機器學習與深度學習筆記——Backpropagation 2020李宏毅機器學習與深度學習筆記——Backpropagation 2020李宏毅機器學習與深度學習筆記——Backpropagation 2020李宏毅機器學習與深度學習筆記——Backpropagation 2020李宏毅機器學習與深度學習筆記——Backpropagation 2020李宏毅機器學習與深度學習筆記——Backpropagation 2020李宏毅機器學習與深度學習筆記——Backpropagation 2020李宏毅機器學習與深度學習筆記——Backpropagation 
