李宏毅机器学习笔记1：Regression

损失函数

梯度下降

1. 随机初始化起始位w0
2. 在w0处对损失函数求导（偏导）
3. w1=w0-学习率*w0处的倒数
4. 一直重复计算，直到导数为0，或者达到最大迭代次数。

Generalization

• 泛化 (generalization) 是指神经网络对未在训练 (学习) 过程中遇到的数据可以得到合理的输出。
• 使真实数据的误差更小。
• 一个更复杂的模型可以使训练集上的误差更小，但是不一定能使测试集上的误差也更小（过泛化）

• 损失函数+很小的wi，可以使预测的函数曲线更加平滑。
• 多平滑？𝜆的选择。
• 𝜆越大，越平滑，在训练集上的误差越小。
• 不能太过平滑。

考虑更多参数的模型

• 指示函数：取真为1，假为0.