神經網絡概述0.簡述1.前饋與反向傳播2.損失函數3.激活函數

人工神經網絡，artificial neural networks。它是一種模仿動物神經網絡行為特征，進行分布式并行資訊處理的算法數學模型。這種網絡依靠系統的複雜程度，通過調整内部大量節點之間互相連接配接的關系，進而達到處理資訊的目的。

一個神經網絡可以表示為一個人工神經元的圖，或者說節點和有向邊，用來對突觸模組化。每個神經元是一個處理單元，它将連接配接到它的節點的輸出作為輸入。

feedforward neural network，簡稱前饋網絡，是人工神經網絡的一種。在此種神經網絡中，各神經元從輸入層開始，接收前一級輸入，并輸出到下一級，直至輸出層。整個網絡中無回報，可用一個有向無環圖表示。

loss function，損失函數。

在統計學中，損失函數用來衡量實際值與預測值之間的偏差程度。

最簡單的了解就是，給定一個執行個體，訓練的模型對它的預測結果錯了，就要受到懲罰，于是就用損失函數來衡量錯誤的程度。

損失函數一般記為l(y,f(x))，輸入是x，輸出是f(x)，真實值是y。

在發出輸出之前，每個神經元會先應用一個非線性激活函數。正是由于這個激活函數，神經網絡具有對非線性關系進行模組化的能力。