天天看点

Pipline(流水线)和主成分分析

Pipline(流水线),这个模型的理论基础是联结主义,从工程实现的角度来讲,我们首先调用spectral embedding 对训练数据做特征提取,再调用K-means完成最后的模型预算,这是pipeline的实际理念。

一个piipeline有n个模型顺序组成,其中前n-1个模型被称为Transformer,主要作用是对数据进行特征提取,最后一个模型被称为Estimator,主要作用是在特征的基础上完成最后的模型预测。

从代码层面上讲,前面n-1个Transformer必须实现fit和transform这两个接口,最后一个Estimator则只实现fit这个接口。

主成分分析(Principal Components Analysis,PCA)

非监督式学习的主要模型--降维,也就是将高位空间里的数据映射到低维空间。降维可以帮助我们更好的找出数据的主要特征。

PCA这个模型的主要目的是找出数据中的主要成分,也就是数据变化幅度排名前几位的维度。主成分分析的目的是尽可能的保留数据的差异。主成分分析是不断画直线,并向直线做投影的方法来对数据进行降为的,因此他对线性数据的降维很好,也就是降维过程中损失的信息较小。