匿名使用者
1級
2017-08-29 回答
Linear least squares，Lasso，ridge regression三者是有本質差別的。
一、最小二乘法(Linear least squares)。
最小二乘法(又稱最小平方法)是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函數比對。利用最小二乘法可以簡便地求得未知的資料，并使得這些求得的資料與實際資料之間誤差的平方和為最小。最小二乘法還可用于曲線拟合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。
二、套索工具(Lasso)算法。
套索工具源于Photoshop，在Photoshop CS6中，需要自由繪制出形狀不規則的選區時，可以使用套索工具。選擇使用套索工具後，在圖像上拖拽滑鼠指針繪制選區邊界，松開滑鼠左鍵時，選區将會進行自動閉合。
套索工具算法，通過構造一個懲罰函數獲得一個精煉的模型；通過最終确定一些名額的系數為零，套索工具算法實作了名額集合精簡的目的。這是一種處理具有複共線性資料的有偏估計。套索工具的基本思想是在回歸系數的絕對值之和小于一個常數的限制條件下，使殘差平方和最小化，進而能夠産生某些嚴格等于0的回歸系數，得到解釋力較強的模型。R統計的Lars算法的包提供了套索工具算法。根據模型改進的需要，資料挖掘工作者可以借助于套索工具算法，利用AIC準則和BIC準則精煉簡化統計模型的變量集合，達到降維的目的。是以，套索工具算法是可以應用到資料挖掘中的實用算法。
三、嶺回歸算法(ridge regression)。
在回歸分析中，用一種方法改進回歸系數的最小二乘估計後所得的回歸稱為嶺回歸算法。
在多元回歸方程中，用最小二乘估計求得的回歸系數值盡管是其真值β=(β0,β1,···βp)1的無偏估計，但若将與β分别看成p+1維空間中兩個點的話，它們之間的平均距離E(—β)1(-β)(稱為均方差)仍可能很大，為減小此均方差，用(k)=(X′X+KI)-1X′Y去代替2，稱(K)為β的嶺回歸估計。其中X為各變量的觀測值所構成的一個n×(p+1)階矩陣，Y是随機變量的觀測值組成的n維向量，I為p+1階機關陣，K是與未知參數有關的參數，選擇它使E{[(K)-β]1[(K)-β]}達到最小。