機器學習數學基礎之極限

極限

• • 極限定義
  • 無窮小和無窮大
  • • 定義
    • 無窮比大小
    • 夾逼定理
    • 重要極限

本文為作者本人學習過程中的一些重要筆記記錄，隻為友善以後複習檢視。

極限定義

對于任意正數 ε \varepsilon ε>0，存在正數 δ \delta δ使得當 0 < ∣ x − x 0 ∣ < δ 0<|x-x_0|<\delta 0<∣x−x0​∣<δ時，有 ∣ f ( x ) − L ∣ < ε |f(x)-L|<\varepsilon ∣f(x)−L∣<ε

記為 lim ⁡ x → x 0 f ( x ) = L \lim_{x\rightarrow x_0}f(x)=L limx→x0​​f(x)=L

無窮小和無窮大

無窮比較在算法的複雜度的比較上經常使用。

定義

若 lim ⁡ x → x 0 f ( x ) = 0 \lim_{x\rightarrow x_0}f(x)=0 limx→x0​​f(x)=0，則稱 f ( x ) f(x) f(x)當 x → x 0 x\rightarrow x_0 x→x0​時為無窮小量，簡稱無窮小，即無窮小量為以0為極限的變量。同理無窮大為以 ∞ \infty ∞為極限的變量。

無窮比大小

同樣為無窮小，但是無窮小量之間是有大小區分的。

lim ⁡ x → 0 sin ⁡ ( x ) tan ⁡ ( x ) = 1 \lim_{x\rightarrow 0}{\sin(x)\over\tan(x)}=1 x→0lim​tan(x)sin(x)​=1

說明兩個無窮小是同階無窮小，即兩者趨于0的速度是相等的。

如果 lim ⁡ x → 0 f ( x ) = 0 \lim_{x\rightarrow 0}f(x)=0 limx→0​f(x)=0，同時 lim ⁡ x → 0 f ( x ) x n = 0 \lim_{x\rightarrow 0}{f(x)\over{x^n }}=0 x→0lim​xnf(x)​=0

說明 f ( x ) f(x) f(x)是 n n n階以上的無窮小 f ( x ) = o ( x n ) , x → 0 f(x)=o(x^n),x\rightarrow0 f(x)=o(xn),x→0

說明 f ( x ) f(x) f(x)在0處趨向0的速度比 x n x^n xn快。

如果 lim ⁡ x → 0 f ( x ) = 0 \lim_{x\rightarrow 0}f(x)=0 limx→0​f(x)=0，同時 lim ⁡ x → 0 f ( x ) x n \lim_{x\rightarrow 0}{f(x)\over{x^n }} limx→0​xnf(x)​存在且不等于0，說明 f ( x ) f(x) f(x)是 n n n階無窮小 f ( x ) = O ( x n ) , x → 0 f(x)=O(x^n),x\rightarrow0 f(x)=O(xn),x→0

說明 f ( x ) f(x) f(x)在0處趨向0的速度和 x n x^n xn快。

無窮小階數的意義在于，用已知的 x n x^n xn來衡量未知 f ( x ) f(x) f(x)，把未解決的問題轉化為已解決的問題，是數學常用的技巧。

夾逼定理

f ( x ) < = g ( x ) < = h ( x ) f(x)<=g(x)<=h(x) f(x)<=g(x)<=h(x)，且在 x 0 x_0 x0​處存在極限，則有

lim ⁡ x → x 0 f ( x ) < = lim ⁡ x → x 0 g ( x ) < = lim ⁡ x → x 0 h ( x ) \lim_{x\rightarrow x_0}f(x)<=\lim_{x\rightarrow x_0}g(x)<=\lim_{x\rightarrow x_0}h(x) x→x0​lim​f(x)<=x→x0​lim​g(x)<=x→x0​lim​h(x)

重要極限

1. lim ⁡ x → 0 sin ⁡ ( x ) x = 1 \lim_{x\rightarrow 0}{\sin(x)\over x}=1 limx→0​xsin(x)​=1
2. lim ⁡ x → ∞ x α e x = 0 \lim_{x\rightarrow \infty}{x^\alpha \over e^x}=0 limx→∞​exxα​=0,算法複雜度為 e x e^x ex是很大的。
3. lim ⁡ x → ∞ ln ⁡ ( x ) x α = 0 \lim_{x\rightarrow \infty}{\ln(x) \over x^\alpha}=0 limx→∞​xαln(x)​=0，對任意的正數 α \alpha α成立。
4. lim ⁡ x → ∞ ( 1 + 1 x ) = e \lim_{x\rightarrow \infty}{(1+{1\over x}) }=e limx→∞​(1+x1​)=e