天天看點

拓端tecdat|Python中的Lasso回歸之最小角算法LARS優點:缺點:

原文連結:http://tecdat.cn/?p=20379 

原文出處:拓端資料部落公衆号

假設我們期望因變量由潛在協變量子集的線性組合确定。然後,LARS算法提供了一種方法,可用于估計要包含的變量及其系數。

 LARS解決方案沒有給出矢量結果,而是由一條曲線組成,該曲線表示針對參數矢量L1範數的每個值的解決方案。該算法類似于逐漸回歸,但不是在每個步驟中都包含變量,而是在與每個變量的相關性與殘差相關的方向上增加了估計的參數。

優點:

1.計算速度與逐漸回歸一樣快。

2.它會生成完整的分段線性求解路徑,這在交叉驗證或類似的模型調整嘗試中很有用。

3.如果兩個變量與因變量幾乎同等相關,則它們的系數應以大緻相同的速率增加。該算法是以更加穩定。

4.可以輕松對其進行修改為其他估算模型(例如LASSO)提供解決方案。

5.在p  >>  n的情況下有效  (即,當維數明顯大于樣本數時)。

缺點:

1.因變量中有任何數量的噪聲,并且自變量具有 多重共線性 ,無法确定標明的變量很有可能成為實際的潛在因果變量。這個問題不是LARS獨有的,因為它是變量選擇方法的普遍問題。但是,由于LARS基于殘差的疊代拟合,是以它似乎對噪聲的影響特别敏感。

2.由于現實世界中幾乎所有高維資料都會偶然地在某些變量上表現出一定程度的共線性,是以LARS具有相關變量的問題可能會限制其在高維資料中的應用。

Python代碼:

import matplotlib.pyplot as plt # 繪圖
diabetes 
           

檢視資料 

拓端tecdat|Python中的Lasso回歸之最小角算法LARS優點:缺點:
x /= np.sqrt(np.sum((x)**2, axis=0)) # 歸一化 x

lars.steps() # 執行的步驟數

est = lars.est() # 傳回所有LARS估算值

plt.show()
           
拓端tecdat|Python中的Lasso回歸之最小角算法LARS優點:缺點:
拓端tecdat|Python中的Lasso回歸之最小角算法LARS優點:缺點:

最受歡迎的見解

1.R語言多元Logistic邏輯回歸 應用案例

2.面闆平滑轉移回歸(PSTR)分析案例實作

3.matlab中的偏最小二乘回歸(PLSR)和主成分回歸(PCR)

4.R語言泊松Poisson回歸模型分析案例

5.R語言回歸中的Hosmer-Lemeshow拟合優度檢驗

6.r語言中對LASSO回歸,Ridge嶺回歸和Elastic Net模型實作

7.在R語言中實作Logistic邏輯回歸

8.python用線性回歸預測股票價格

9.R語言如何在生存分析與Cox回歸中計算IDI,NRI名額