分类器
作用：于将编码转换为人类所能理解的编码（希望网络给我们一个输出标签）。
分类器都带有一个准则函数，用以计算误差。从控制论的角度上看，控制工程中，误差是系统校正的核心，没有误差便没有反馈，没有反馈，则系统难以控制。
常用的分类器有三种：平方误差、softmax、支撑向量机~
softmax分类器：
“二进制编码”和“k中取1”的比较： 二进制编码： 00 01 10 11 k中取1： 0001 0010 0100 1000
softmax可以实现"k中取1"的形式。是logistics回归的推广。logistics只能分2类，softmax可以多类。
回顾一下关于 logistic 回归 我们的训练集由
个已标记的样本构成：
（注意：一个（x,y）为一个样本，x为数据值，y为类别标记），其中输入特征
。（注意：特征向量
的维度为
，其中
对应截距项 。） 由于 logistic 回归是针对二分类问题的，因此类标记
。
对于softmax回归 我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标
可以取
个不同的值（而不是 2 个）。因此，对于训练集
，我们有
。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有
个不同的类别。
下面是一个手写公式推导： 作用：在已知softmax为指数概率分布和公式下，推导出输入数据为x时，输出为类别i的概率P(y=i/x;θ)