天天看点

【Numerical Optimization】10 Least- Squares Problems

2019.02.25

  1. 对于这样一个问题形式,容易联想到机器学习中的cost function
  2. 自然想到求导也会结合到下一章的
    【Numerical Optimization】10 Least- Squares Problems
    这个问题,注意区分
  3. 线性最小二乘和非线性的区别主要在于
    【Numerical Optimization】10 Least- Squares Problems
    是线性还是非线性,线性涉及简单数值计算,非线性也是同样思想,都体现了
    【Numerical Optimization】10 Least- Squares Problems
    对hession阵的近似

最小二乘问题,可写成特殊形式:

【Numerical Optimization】10 Least- Squares Problems
【Numerical Optimization】10 Least- Squares Problems
【Numerical Optimization】10 Least- Squares Problems

代表残差。

【Numerical Optimization】10 Least- Squares Problems
【Numerical Optimization】10 Least- Squares Problems

向量表示【在上述r(x)标记下的f(x)可写成】:

【Numerical Optimization】10 Least- Squares Problems
【Numerical Optimization】10 Least- Squares Problems
【Numerical Optimization】10 Least- Squares Problems
【Numerical Optimization】10 Least- Squares Problems
【Numerical Optimization】10 Least- Squares Problems

继续阅读