深度学习——最优化的学习笔记

1 前言

感谢蔡超老师的讲授，给予了我很大的启发～

2 数值分析方法求解最优化——“数学上最优美的求解方法”

2.1 最初认识数值分析求解最优化的分类器——SVM

SVM是我最初学习的分类器之一，SVM线性分类器求解过程的推导还是十分优美的～

使用了拉格朗日乘子法；

（具体的推导过程可以参考蔡超老师讲授的PPT）

2.2 为什么神经网络不适合用数值分析法求解呢？

这是因为在数值分析法求解的过程中，需要计算矩阵或者张量

运算，

在进行这个运算时，会涉及到所有的样本值，而在目标检测中，输入图像一般都是高维张量，

我们几乎是不可能将所有样本同时输入内存进行计算的，现有的硬件无法满足这样的要求；

于是，为了解决这个问题，我们采用了另一种巧妙的pratical的策略——随机梯度下降法（SGD）；