分類器
作用：于将編碼轉換為人類所能了解的編碼（希望網絡給我們一個輸出标簽）。
分類器都帶有一個準則函數，用以計算誤差。從控制論的角度上看，控制工程中，誤差是系統校正的核心，沒有誤差便沒有回報，沒有回報，則系統難以控制。
常用的分類器有三種：平方誤差、softmax、支撐向量機~
softmax分類器：
“二進制編碼”和“k中取1”的比較： 二進制編碼： 00 01 10 11 k中取1： 0001 0010 0100 1000
softmax可以實作"k中取1"的形式。是logistics回歸的推廣。logistics隻能分2類，softmax可以多類。
回顧一下關于 logistic 回歸 我們的訓練集由
個已标記的樣本構成：
（注意：一個（x,y）為一個樣本，x為資料值，y為類别标記），其中輸入特征
。（注意：特征向量
的次元為
，其中
對應截距項 。） 由于 logistic 回歸是針對二分類問題的，是以類标記
。
對于softmax回歸 我們解決的是多分類問題（相對于 logistic 回歸解決的二分類問題），類标
可以取
個不同的值（而不是 2 個）。是以，對于訓練集
，我們有
。（注意此處的類别下标從 1 開始，而不是 0）。例如，在 MNIST 數字識别任務中，我們有
個不同的類别。
下面是一個手寫公式推導： 作用：在已知softmax為指數機率分布和公式下，推導出輸入資料為x時，輸出為類别i的機率P(y=i/x;θ)