1 特征工程是什麼？
有這麼一句話在業界廣泛流傳：資料和特征決定了機器學習的上限，而模型和算法隻是逼近這個上限而已。那特征工程到底是什麼呢？顧名思義，其本質是一項工程活動，目的是最大限度地從原始資料中提取特征以供算法和模型使用。通過總結和歸納，人們認為特征工程包括以下方面：
特征處理是特征工程的核心部分，sklearn提供了較為完整的特征處理方法，包括資料預處理，特征選擇，降維等。首次接觸到sklearn，通常會被其豐富且友善的算法模型庫吸引，但是這裡介紹的特征處理庫也十分強大！
本文中使用sklearn中的IRIS（鸢尾花）資料集
http://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_iris.html#sklearn.datasets.load_iris
來對特征處理功能進行說明。IRIS資料集由Fisher在1936年整理，包含4個特征（Sepal.Length（花萼長度）、Sepal.Width（花萼寬度）、Petal.Length（花瓣長度）、Petal.Width（花瓣寬度）），特征值都為正浮點數，機關為厘米。目标值為鸢尾花的分類（Iris Setosa（山鸢尾）、Iris Versicolour（雜色鸢尾），Iris Virginica（維吉尼亞鸢尾））。導入IRIS資料集的代碼如下：
1 from sklearn.datasets import load_iris
2
3 #導入IRIS資料集
4 iris = load_iris()
5
6 #特征矩陣
7 iris.data
8
9 #目标向量
10 iris.target
2 資料預處理
通過特征提取，我們能得到未經處理的特征，這時的特征可能有以下問題：
● 不屬于同一量綱：即特征的規格不一樣，不能夠放在一起比較。無量綱化可以解決這一問題。
● 資訊備援：對于某些定量特征，其包含的有效資訊為區間劃分，例如學習成績，假若隻關心“及格”或不“及格”，那麼需要将定量的考分，轉換成“1”和“0”表示及格和未及格。二值化可以解決這一問題。
● 定性特征不能直接使用：某些機器學習算法和模型隻能接受定量特征的輸入，那麼需要将定性特征轉換為定量特征。最簡單的方式是為每一種定性值指定一個定量值，但是這種方式過于靈活，增加了調參的工作。通常使用啞編碼的方式将定性特征轉換為定量特征：http://www.ats.ucla.edu/stat/mult_pkg/faq/general/dummy.htm
● 假設有N種定性值，則将這一個特征擴充為N種特征，當原始特征值為第i種定性值時，第i個擴充特征指派為1，其他擴充特征指派為0。啞編碼的方式相比直接指定的方式，不用增加調參的工作，對于線性模型來說，使用啞編碼後的特征可達到非線性的效果。
● 存在缺失值：缺失值需要補充。
● 資訊使用率低：不同的機器學習算法和模型對資料中資訊的利用是不同的，之前提到線上性模型中，使用對定性特征啞編碼可以達到非線性的效果。類似地，對定量變量多項式化，或者進行其他的轉換，都能達到非線性的效果。
我們使用sklearn中的preproccessing庫來進行資料預處理，可以覆寫以上問題的解決方案。
2.1 無量綱化
無量綱化使不同規格的資料轉換到同一規格。常見的無量綱化方法有标準化和區間縮放法。标準化的前提是特征值服從正态分布，标準化後，其轉換成标準正态分布。區間縮放法利用了邊界值資訊，将特征的取值區間縮放到某個特點的範圍，例如[0, 1]等。
2.1.1 标準化
标準化需要計算特征的均值和标準差，公式表達為：
使用preproccessing庫的StandardScaler類對資料進行标準化的代碼如下：
1 from sklearn.preprocessing import StandardScaler
3 #标準化，傳回值為标準化後的資料
4 StandardScaler().fit_transform(iris.data)
2.1.2 區間縮放法
區間縮放法的思路有多種，常見的一種為利用兩個最值進行縮放，公式表達為：
使用preproccessing庫的MinMaxScaler類對資料進行區間縮放的代碼如下：
3 特征選擇
當資料預處理完成後，我們需要選擇有意義的特征輸入機器學習的算法和模型進行訓練。通常來說，從兩個方面考慮來選擇特征：
● 特征是否發散：如果一個特征不發散，例如方差接近于0，也就是說樣本在這個特征上基本上沒有差異，這個特征對于樣本的區分并沒有什麼用。
● 特征與目标的相關性：這點比較顯見，與目标相關性高的特征，應當優選選擇。除方差法外，本文介紹的其他方法均從相關性考慮。
根據特征選擇的形式又可以将特征選擇方法分為3種：
● Filter：過濾法，按照發散性或者相關性對各個特征進行評分，設定門檻值或者待選擇門檻值的個數，選擇特征。
● Wrapper：包裝法，根據目标函數（通常是預測效果評分），每次選擇若幹特征，或者排除若幹特征。
● Embedded：嵌入法，先使用某些機器學習的算法和模型進行訓練，得到各個特征的權值系數，根據系數從大到小選擇特征。類似于Filter方法，但是是通過訓練來确定特征的優劣。
我們使用sklearn中的feature_selection庫來進行特征選擇。
3.1 Filter
3.1.1 方差選擇法
使用方差選擇法，先要計算各個特征的方差，然後根據門檻值，選擇方差大于門檻值的特征。使用feature_selection庫的VarianceThreshold類來選擇特征的代碼如下：
4 降維
當特征選擇完成後，可以直接訓練模型了，但是可能由于特征矩陣過大，導緻計算量大，訓練時間長的問題，是以降低特征矩陣次元也是必不可少的。常見的降維方法除了以上提到的基于L1懲罰項的模型以外，另外還有主成分分析法（PCA）和線性判别分析（LDA），線性判别分析本身也是一個分類模型。PCA和LDA有很多的相似點，其本質是要将原始的樣本映射到次元更低的樣本空間中，但是PCA和LDA的映射目标不一樣：PCA是為了讓映射後的樣本具有最大的發散性；而LDA是為了讓映射後的樣本有最好的分類性能。
http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html
是以說PCA是一種無監督的降維方法，而LDA是一種有監督的降維方法。
4.1 主成分分析法（PCA）
使用decomposition庫的PCA類選擇特征的代碼如下：
1 from sklearn.decomposition import PCA
3 #主成分分析法，傳回降維後的資料
4 #參數n_components為主成分數目
5 PCA(n_components=2).fit_transform(iris.data)
4.2 線性判别分析法（LDA）
使用lda庫的LDA類選擇特征的代碼如下：
1 from sklearn.lda import LDA
3 #線性判别分析法，傳回降維後的資料
4 #參數n_components為降維後的維數
5 LDA(n_components=2).fit_transform(iris.data, iris.target)
4.3 回顧
| 庫 | 類 | 說明 |
| decomposition | PCA | 主成分分析法 |
| lda | LDA | 線性判别分析法 |
5 總結
再讓我們回歸一下本文開始的特征工程的思維導圖，我們可以使用sklearn完成幾乎所有特征處理的工作，而且不管是資料預處理，還是特征選擇，抑或降維，它們都是通過某個類的方法fit_transform完成的，fit_transform要不隻帶一個參數：特征矩陣，要不帶兩個參數：特征矩陣加目标向量。這些難道都是巧合嗎？還是故意設計成這樣？方法fit_transform中有fit這一單詞，它和訓練模型的fit方法有關聯嗎？
原文釋出時間為：2018-09-10
本文來自雲栖社群合作夥伴“
大資料挖掘DT機器學習”，了解相關資訊可以關注“
”。