【转】使用sklearn优雅地进行数据挖掘

<a href="http://www.cnblogs.com/jasonfreak/p/5448462.html">这里是原文</a>

使用<code>sklearn</code>进行数据挖掘

1.1 数据挖掘的步骤

1.2 数据初貌

1.3 关键技术并行处理

并行处理

2.1 整体并行处理

2.2 部分并行处理流水线处理自动化调参持久化回顾总结参考资料使用<code>sklearn</code>进行数据挖掘

　　数据挖掘通常包括数据采集，数据分析，特征工程，训练模型，模型评估等步骤。使用<code>sklearn</code>工具可以方便地进行特征工程和模型训练工作，在《使用<code>sklearn</code>做单机特征工程》中，我们最后留下了一些疑问：特征处理类都有三个方法<code>fit</code>、<code>transform</code>和<code>fit_transform</code>，<code>fit</code>方法居然和模型训练方法<code>fit</code>同名（不光同名，参数列表都一样），这难道都是巧合？

　　显然，这不是巧合，这正是<code>sklearn</code>的设计风格。我们能够更加优雅地使用<code>sklearn</code>进行特征工程和模型训练工作。此时，不妨从一个基本的数据挖掘场景入手：

　　我们使用<code>sklearn</code>进行虚线框内的工作（<code>sklearn</code>也可以进行文本特征提取）。通过分析<code>sklearn</code>源码，我们可以看到除训练，预测和评估以外，处理其他工作的类都实现了3个方法：<code>fit</code>、<code>transform</code>和<code>fit_transform</code>。从命名中可以看到，<code>fit_transform</code>方法是先调用<code>fit</code>然后调用<code>transform</code>，我们只需要关注<code>fit</code>方法和<code>transform</code>方法即可。

　　transform方法主要用来对特征进行转换。从可利用信息的角度来说，转换分为无信息转换和有信息转换。无信息转换是指不利用任何其他信息进行转换，比如指数、对数函数转换等。有信息转换从是否利用目标值向量又可分为无监督转换和有监督转换。无监督转换指只利用特征的统计信息的转换，统计信息包括均值、标准差、边界等等，比如标准化、<code>PCA</code>法降维等。有监督转换指既利用了特征信息又利用了目标值信息的转换，比如通过模型选择特征、<code>LDA</code>法降维等。通过总结常用的转换类，我们得到下表：

包

类

参数列表

类别

fit方法有用

说明

sklearn.preprocessing

StandardScaler

特征

无监督

Y

标准化

MinMaxScaler

区间缩放

Normalizer

无信息

N

正则化

Binarizer

定量特征二值化

OneHotEncoder

定性特征编码

Imputer

缺失值计算

PolynomialFeatures

多项式变换（fit方法仅仅生成了多项式的表达式）

FunctionTransformer

自定义函数变换（自定义函数在transform方法中调用）

sklearn.feature_selection

VarianceThreshold

方差选择法

SelectKBest

自定义特征评分选择法

chi2 特征

卡方检验选择法

RFE

特征+目标值

有监督

递归特征消除法

SelectFromModel

自定义模型训练选择法

sklearn.decomposition

PCA

PCA降维

sklearn.lda

LDA

LDA降维

　　不难看到，只有有信息的转换类的<code>fit</code>方法才实际有用，显然<code>fit</code>方法的主要工作是获取特征信息和目标值信息，在这点上，<code>fit</code>方法和模型训练时的<code>fit</code>方法就能够联系在一起了：都是通过分析特征和目标值，提取有价值的信息，对于转换类来说是某些统计量，对于模型来说可能是特征的权值系数等。另外，只有有监督的转换类的<code>fit</code>和<code>transform</code>方法才需要特征和目标值两个参数。<code>fit</code>方法无用不代表其没实现，而是除合法性校验以外，其并没有对特征和目标值进行任何处理，<code>Normalizer</code>的<code>fit</code>方法实现如下：

　　基于这些特征处理工作都有共同的方法，那么试想可不可以将他们组合在一起？在本文假设的场景中，我们可以看到这些工作的组合形式有两种：流水线式和并行式。基于流水线组合的工作需要依次进行，前一个工作的输出是后一个工作的输入；基于并行式的工作可以同时进行，其使用同样的输入，所有工作完成后将各自的输出合并之后输出。<code>sklearn</code>提供了包<code>pipeline</code>来完成流水线式和并行式的工作。

　　在此，我们仍然使用IRIS数据集来进行说明。为了适应提出的场景，对原数据集需要稍微加工：

　　并行处理，流水线处理，自动化调参，持久化是使用<code>sklearn</code>优雅地进行数据挖掘的核心。并行处理和流水线处理将多个特征处理工作，甚至包括模型训练工作组合成一个工作（从代码的角度来说，即将多个对象组合成了一个对象）。在组合的前提下，自动化调参技术帮我们省去了人工调参的反锁。训练好的模型是贮存在内存中的数据，持久化能够将这些数据保存在文件系统中，之后使用时无需再进行训练，直接从文件系统中加载即可。

　　并行处理使得多个特征处理工作能够并行地进行。根据对特征矩阵的读取方式不同，可分为整体并行处理和部分并行处理。整体并行处理，即并行处理的每个工作的输入都是特征矩阵的整体；部分并行处理，即可定义每个工作需要输入的特征矩阵的列。

　　<code>pipeline</code>包提供了<code>FeatureUnion</code>类来进行整体并行处理：

　　整体并行处理有其缺陷，在一些场景下，我们只需要对特征矩阵的某些列进行转换，而不是所有列。<code>pipeline</code>并没有提供相应的类（仅<code>OneHotEncoder</code>类实现了该功能），需要我们在<code>FeatureUnion</code>的基础上进行优化：

　　在本文提出的场景中，我们对特征矩阵的第1列（花的颜色）进行定性特征编码，对第2、3、4列进行对数函数转换，对第5列进行定量特征二值化处理。使用<code>FeatureUnionExt</code>类进行部分并行处理的代码如下：

　　<code>pipeline</code>包提供了<code>Pipeline</code>类来进行流水线处理。流水线上除最后一个工作以外，其他都要执行<code>fit_transform</code>方法，且上一个工作输出作为下一个工作的输入。最后一个工作必须实现<code>fit</code>方法，输入为上一个工作的输出；但是不限定一定有<code>transform</code>方法，因为流水线的最后一个工作可能是训练！

　　根据本文提出的场景，结合并行处理，构建完整的流水线的代码如下：

　　网格搜索为自动化调参的常见技术之一，<code>grid_search</code>包提供了自动化调参的工具，包括<code>GridSearchCV</code>类。对组合好的对象进行训练以及调参的代码如下：

　　<code>externals.joblib</code>包提供了<code>dump</code>和<code>load</code>方法来持久化和加载内存数据：

类或方法

sklearn.pipeline

Pipeline

流水线处理

FeatureUnion

sklearn.grid_search

GridSearchCV

网格搜索调参

externals.joblib

dump

数据持久化

load

从文件系统中加载数据至内存

　　注意：组合和持久化都会涉及<code>pickle</code>技术，在<code>sklearn</code>的技术文档中有说明，将<code>lambda</code>定义的函数作为<code>FunctionTransformer</code>的自定义转换函数将不能`pickle化。

　　2015年我设计了一个基于<code>sklearn</code>的自动化特征工程的工具，其以<code>Mysql</code>数据库作为原始数据源，提供了“灵活的”特征提取、特征处理的配置方法，同时重新封装了数据、特征和模型，以方便调度系统识别。说灵活，其实也只是通过配置文件的方式定义每个特征的提取和处理的sql语句。但是纯粹使用sql语句来进行特征处理是很勉强的，除去特征提取以外，我又造了一回轮子，原来sklearn提供了这么优秀的特征处理、工作组合等功能。所以，我在这个博客中先不提任何算法和模型，先从数据挖掘工作的第一步开始，使用基于Python的各个工具把大部分步骤都走了一遍（抱歉，我暂时忽略了特征提取），希望这样的梳理能够少让初学者走弯路吧。