机器学习在监督学习领域主要解决两个问题，分类和回归问题。那么分类问题又分为二分类问题和多分类问题，而二分类问题相对来说很好解决，我们只需要构建输出层有一个神经元的神经网络，然后结合sigmoid函数，即可实现二分类问题。而神经网络的多分类问题就相对复杂一些，假如我们要解决三分类的问题，那么我们构建神经网络的时候，就需要构建一个输出层为三个神经元的神经网络，然后配合使用softmax回归来完成神经网络多分类的任务。
Softmax回归的含义
通常，机器学习实践者用 分类 这个词来描述两个有微妙差别的问题：
（1）我们只对样本的硬性类别感兴趣，即属于哪个类别；
（2）我们希望得到软性类别，即得到属于每个类别的概率。
这两者的界限往往很模糊，这其中的一个原因是：即使我们只关心硬类别，但我们仍然使用软类别的模型。
那么我拿一个图像分类的问题来具体说明一下。假设每次输入的是一个图像，可能是“猫”，“鸡”和“狗”中的任意一个，那对于它们的标签表示我们肯定不能用。于是，我们使用统计学家很早以前就发明的一种表示分类数据的简单方法：独热编码（one-hot encoding）。独热编码是一个向量，它的分量和类别一样多。类别对应的分量设置为1，其他所有分量设置为0。在我们的例子中，标签将是一个三维向量，其中对应于“猫”、对应于“鸡”、对应于“狗”：
softmax回归是一个单层神经网络。由于计算每个输出、和取决于所有输入、、和，所以softmax回归的输出层也是全连接层。
Softmax运算
那么对于多分类问题来说，使用的softmax函数即是网络输出层的激活函数，softmax函数可以对输出值进行归一化操作，把所有输出值都转化为概率，所有概率值加起来等于1。
为了将未归一化的预测变换为非负并且总和为1，同时要求模型保持可导。首先对每个未归一化的预测求幂，这样可以确保输出非负。为了确保最终输出的总和为1，需要再对每个求幂后的结果除以它们的总和。运算公式如下：
其中 （模型的输出）可以视为属于 类 的概率。然后我们可以选择具有最大输出值的类别 作为我们的预测。例如，如果、和分别为0.1、0.8和0.1，那么我们预测的类别是2，在我们的例子中代表“鸡”。