数据挖掘笔记-数据预处理部分（一）

数据预处理-年数据部分
- 设置索引与标记
- 异常值与缺失值处理
- 股票行为标记
- 归一化
- onehot特征编码
数据预处理-日数据部分
- 导入数据与标记
- 缺失数据处理
- 数据简化与使用方法参考
- - 数据简化
  - 季度数据的几个使用方法
- 年-日数据的匹配
- 后记与说明

注：

1.该笔记内容与数据来源于20年泰迪杯A题，以该题为例，此处仅涉及到到其年、日数据的部分预处理工作，工具为python3+jupyter。

2.此处笔记的代码仅含比较通用的部分，即一部分个人认为比较重要的步骤的代码块儿。在实际做该题中需要考虑很多其他的因素与数据形式考量，而这些代码此处未贴出（实际上是个人编程习惯太放飞自我，估计其他人看到难以理解）。

3.由于时间过的较久，且当时自己代码写的十分凌乱，只能找时间慢慢整理，仅供参考，直接运行可能保错。

原题为：基于数据挖掘的上市公司高送转预测

数据预处理-年数据部分

首先将数据读入，并导入必备的库：

######()、%、/三个符号利用excel全删掉
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
import imp
#from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.ensemble import RandomForestRegressor
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei']#这东西好像可以很神奇的避免图表文字乱码
############
f=open(r'Adata/year1.csv',encoding='gbk')
data=pd.read_csv(f)
#data=pd.get_dummies(data)
#data=data.drop('行业分类',inplace=False)
#data= pd.get_dummies(data)
data.info()

设置索引与标记

将读入数据设置索引，此处根据数据的特点，将‘股票编号’与‘年份年末’设计为索引。然后根据题目要求将高送转进行定义：

data = data.set_index([data['股票编号'],data['年份年末']])###设置索引为股票编号
data.loc[data['是否高转送']>0.49,'是否高转送']=1
data.loc[data['是否高转送']<0.49,'是否高转送']=0

由于题目的特殊需求，是利用上一年数据去预测下一年是否高送转，故此处将发生高送转的上一年定义为即将高送转（此处为个人做法）：

##########即将高送转标记
maxnum=max(data['股票编号'])
#print(maxnum)
jishu=np.zeros((maxnum*7,1))#将要高送转
#print(jishu)
def jijiang(data):
    for i1 in range(1,maxnum+1):
        p_data=data.loc[i1]
        for i2 in range(1,8):##确定了单个股票的年份数量
          # print(p_data['是否高转送'].iloc[i2-1]==1 and i2>1)
            if p_data['是否高转送'].iloc[i2-1]==1 and i2>1:
                count=(i1-1)*(7)+i2-2
                #print(count)
                jishu[count]=1
    return jishu
jishu=jijiang(data)
data['即将高送转']=jishu
#print(data.head(15))

异常值与缺失值处理

首先对缺失的数据量进行统计，按照缺失数据的多少对数据进行排序：

df=data
missing_df = df.isnull().sum(axis=0).reset_index()
#赋予新列名
missing_df.columns = ['column_name', 'missing_count']
#将缺失值数量>0的列筛选出来
#missing_df = missing_df.iloc[missing_df['missing_count']>0]
missing_df = missing_df[missing_df['missing_count']>0]
#排序
missing_df = missing_df.sort_values(by='missing_count', ascending=False)
#将缺失值以图形形式展示出来
ind = np.arange(missing_df.shape[0])
width = 0.9
fig, ax = plt.subplots(figsize=(16,8))
rects = ax.barh(ind[1:30], missing_df.missing_count.values[1:30],color='coral')
ax.set_yticks(ind[1:30])
ax.set_yticklabels(missing_df.column_name[1:30].values, rotation='horizontal')
ax.set_xlabel("缺失值数量")
ax.set_title("年数据-缺失量前30的标签的缺失值数量图",fontsize=20)
plt.tick_params(labelsize=14)
fig.savefig('年数据缺失.png')
#fig.imsave('年数据缺失值')

生成示例图如下：

数据挖掘学习笔记-数据预处理部分（一）数据预处理-年数据部分数据预处理-日数据部分

然后，个人做法为，对缺失较多（超过40%）与异常的数据，将该年整行进行删除，缺失较少的数据利用线性回归进行填补：

删除缺失较多的数据：

#######没有数据的年份删除
data=data[~data.固定资产合计.isnull()]
data.info()
#data.to_csv('nu.csv',encoding='gbk')
###########缺失值大于10000的值删除
df=data
missing_df = df.isnull().sum(axis=0).reset_index()
#赋予新列名
missing_df.columns = ['column_name', 'missing_count']
#将缺失值数量>0的列筛选出来
#missing_df = missing_df.iloc[missing_df['missing_count']>0]
missing_df = missing_df[missing_df['missing_count']>12313]
for i in range(0,len(missing_df.values[:,0])):
    data.pop(missing_df.values[i,0])
#data.info()

缺失较少的利用线性回归进行填补：

#######找出没有缺失的数据,并找出需要用线性回归填补的数据
data=data[~data.固定资产合计.isnull()]
data.info()
#data.to_csv('nu.csv',encoding='gbk')
df=data
missing_df = df.isnull().sum(axis=0).reset_index()
#赋予新列名
missing_df.columns = ['column_name', 'missing_count']
#将缺失值数量>0的列筛选出来
no_missing = missing_df[missing_df['missing_count']<1]
missing_data = missing_df[missing_df['missing_count']<2000]
missing_data = missing_data[missing_data['missing_count']>1]
####缺失值填补程序,线性回归
from sklearn.linear_model import LinearRegression
def miss_data(data):
    for i in range(0,len(missing_data)):
        #print(i)
        #print('\n')
        str1=missing_data['column_name'].iloc[i]
        #df.loc[(df.工程物资=='NAN'),'工程物资']=='0'
        yinshou_df=data[np.r_[np.array([str1]),np.array(no_missing['column_name'])]]
       # print(yinshou_df)
        known=yinshou_df[yinshou_df[str1].notnull()].as_matrix()
        unknown=yinshou_df[yinshou_df[str1].isnull()].as_matrix()
        #print(unknown)
        y = known[:, 0]
        x = known[:, 1:]
        rfr = LinearRegression()
        rfr.fit(x, y)
        predictedyinshou = rfr.predict(unknown[:,1::])
        data.loc[(df[str1].isnull()), str1] = predictedyinshou
    return df
get_data=miss_data(data)

股票行为标记

由于股票可能有发生高送转，即将高送转，连续高送转等行为，可以进行标记；可能会有用；我这里考虑到发生高送转的那一年股票各项数值突出，可能误判，也做了标记（具体原因涉及到经济学方面意义了，这里可以忽略）：

##########进行筛选，筛除高送发生的行和避免筛除年份为7的行,将第七年标记为
df=get_data
#datak=get_data
df.loc[(df['是否高转送']==1)&(df['年份年末']==7) ,'是否高转送']=2
#k['是否高转送']=2
df.loc[(df['是否高转送']==1)&(df['即将高送转']==1) ,'是否高转送']=3
df=df[df['是否高转送']!=1]
data=df

归一化

在附件的年数据中，由于不同量纲的数据取值与变换率差异较大，若直接将这些数据直接进行建模会产生极大的误差，故此处先将数据进行标准化处理，此处采用均值方差标准化的方法，使得处理后的数据均值为0，标准差为1，其计算公式如下:

x i ∗ = x i − μ σ , ( i = 1 , 2... , n ) x_i^* = \frac{{{x_i} - \mu }}{\sigma },(i = 1,2...,n) xi∗=σxi−μ,(i=1,2...,n)

均值方差标准化能消除数据的数值与度量不同带来的计算误差。

另注，在归一化中，由于年数据各个股票的数据以股票为单位进行排列。此处归一化时也应该按照股票编号对各个股票单独归一化。

代码如下：

#归一化
import numpy as np
shang=2##此处shang与xia分别为需要归一化的数据标签范围，可自行调节
xia=244
a=data['股票编号'].values
a=np.unique(a)
maxnum=len(a)
def guiyihua(data1):
    for j in range(1,maxnum+1):
       # num = data.index[data['股票编号'] == j].tolist()
        pre_data = data1.loc[a[j-1]][np.r_[np.array(data.columns[2:xia].values)]]
        df=pre_data
        #print(a[j-1])
        df_norm = (df - df.mean()) / (df.std())
        #print(df_norm)
        data1.loc[a[j-1]][np.r_[np.array(data.columns[2:xia].values)]]=df_norm
    #print(data1)
    return data1
datachuli=data[np.r_[np.array(data.columns[2:xia].values)]]
data_norm=guiyihua(datachuli)
data[np.r_[np.array(data.columns[2:xia].values)]]=data_norm
data=data.fillna(0)
data.to_csv('years1.csv', encoding='gbk')#输出为文件

onehot特征编码

在基础数据中，存在多种文字描述的股票类型描述，利用文本信息提取，可以获取到”次新股”,”国家队”,”*ST”等关键词。此处需要将这些类别型的变量转化为二分类可处理的离散变量

import pandas as pd
import numpy as np
nianxian=pd.read_csv('war/basic.csv',encoding='gbk')
nianxian=nianxian.set_index([nianxian['股票编号']])
nianxian_hangye=pd.get_dummies(nianxian['所属行业'])
key=data['股票编号'].values
key1=nianxian_hangye.columns.values
for i in range(0,len(data['股票编号'].values)):
    data.loc[key[i]]['分类']=nianxian.loc[key[i]]['所属行业']
onehot_data=pd.get_dummies(data['分类'])

数据预处理-日数据部分

1.这一部分就放个人认为比较重要的几个操作的代码

2.日数据较大，约4个g左右，初学者可以拿这个练练，我也是初学。

导入数据与标记

首先导入数据,并按照年-月-日对数据进行索引标记

import numpy as np
import pandas as pd
from datetime import datetime
from datetime import timedelta
from matplotlib import pyplot as plt
import matplotlib
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei']
#data.isnull().sum(axis=0).reset_index()
####数据导入与编号
data=pd.read_csv('Adata/day.csv',encoding='gbk')
#data=pd.read_csv('test1.csv',encoding='gbk')
periods = pd.PeriodIndex(year=data["年"], month=data["月"], day=data["日"],freq='D')
#periods=pd.PeriodIndex(data['股票编号'])
data = data.set_index([data['股票编号'],periods])####
#df1=data.set_index(data['股票编号'],append=True)

缺失数据处理

首先对缺失较多的进行删除

########去除数据用这个
df=data
missing_df = df.isnull().sum(axis=0).reset_index()
#赋予新列名
missing_df.columns = ['column_name', 'missing_count']
#将缺失值数量>0的列筛选出来
#missing_df = missing_df.iloc[missing_df['missing_count']>0]
missing_df = missing_df[missing_df['missing_count']>2353130]
for i in range(0,len(missing_df.values[:,0])):
    data.pop(missing_df.values[i,0])

可以对缺失的数据量多少与分布做一个可视化：

# 缺失数量分布绘图
df=data
missing_df = df.isnull().sum(axis=0).reset_index()
#赋予新列名
missing_df.columns = ['column_name', 'missing_count']
#将缺失值数量>0的列筛选出来
#missing_df = missing_df.iloc[missing_df['missing_count']>0]
missing_df = missing_df[missing_df['missing_count']>0]
#排序
missing_df = missing_df.sort_values(by='missing_count', ascending=False)
#将缺失值以图形形式展示出来
ind = np.arange(missing_df.shape[0])
width = 0.9
fig, ax = plt.subplots(figsize=(16,9))
rects = ax.barh(ind[1:30], missing_df.missing_count.values[1:30], color='coral')
ax.set_yticks(ind[1:30])
ax.set_yticklabels(missing_df.column_name.values[1:30], rotation='horizontal')
ax.set_xlabel("缺失值数量")
ax.set_title("日数据-每个标签的缺失值数量图",fontsize=18)
plt.tick_params(labelsize=12)
#fig.savefig('日数据缺失.png')
#fig.imsave('年数据缺失值')
plt.show()

考虑到原数据较大，用拟合去填补缺失值耗时太久，可以直接给填个0，把缺失值填补了

数据简化与使用方法参考

数据简化

如果考虑到自己电脑吃不消，可以将这约4000个股票，7年，每年200多天的数据，按照季度去取平均，按季度统计，以缩小数据量。当然，这样做肯定会造成部分信息遗漏，也有其它更好的办法去处理：

#data.loc[1].index.quarter.max().plot()
datachuli=data[np.r_[np.array(data.columns[1:60].values)]]
maxnum=max(data['股票编号'])
maxyear=max(data['年'])
df=pd.DataFrame()
for i1 in range(1,maxnum+1):
    for i2 in range(1,maxyear+1):
       # print(i2)
        #datachuli=datachuli.loc[1].loc[data['年']==1]
        pre_data=datachuli.loc[i1]
        pre_data=pre_data.loc[pre_data['年']==i2]
        #pre_data=datachuli.loc[data['年']==i2]
        #pre_data=pre_data.loc[i1]
        #pre_data.pop('年')
        pre_data.pop('月')
        pre_data.pop('日')
        jilu=pre_data.groupby(pre_data.index.quarter).mean()
        jilu=jilu.set_index([[i1,i1,i1,i1],[1,2,3,4]])###1，2，3，4.共四个季度；
        df=df.append(jilu)
        #print(jilu)
#df.to_csv('result/dayyy.csv',encoding='gbk')##数据导出

季度数据的几个使用方法

数据的形式：

数据挖掘学习笔记-数据预处理部分（一）数据预处理-年数据部分数据预处理-日数据部分

通过经济学意义，如果判断一个公司经营情况，可以通过计算季度增长率去判断，比如求四季度相对一季度的各项指标增长率：

data.fillna(0)
a=data['股票编号'].values
a=np.unique(a)
maxnum=len(a)
def get_jidu(data):
    df=pd.DataFrame()
    for i1 in range(0,maxnum):
       # for i2 in range(1,num_gu+1):
        for i3 in range(1,8):
            new=(data.loc[a[i1]].loc[i3].loc[4]-data.loc[a[i1]].loc[i3].loc[1])/data.loc[a[i1]].loc[i3].loc[1]
            df=df.append(new,ignore_index=True)
    return df
df1=get_jidu(data[np.r_[np.array(data.columns[3:48].values)]])
a3=np.array([])
for i2 in range(1,3467):
    a=np.arange(1,8)
    a3=np.append(a3,a)
a2=np.array([])
for i in range(1,3467):
    a1=np.array([i,i,i,i,i,i,i])
    a2=np.append(a2,a1)
df1['股票编号']=a2
df1['年']=a3

或者结合高送转经济学定义，考虑到前一年三、四季度的经营数据对其后一年的是否高送转影响最大，将其进行提取：

#num_gu=max(data['股票编号'])
data.fillna(0)
a=data['股票编号'].values
a=np.unique(a)
maxnum=len(a)
def get_jidu(data):
    df=pd.DataFrame()
    for i1 in range(0,maxnum):
       # for i2 in range(1,num_gu+1):
        for i3 in range(1,8):
            new=(data.loc[a[i1]].loc[i3].loc[3]+data.loc[a[i1]].loc[i3].loc[4])/2
            df=df.append(new,ignore_index=True)
    return df
df2=get_jidu(data[np.r_[np.array(data.columns[0:48].values)]
a3=np.array([])
for i2 in range(1,3467):
    a=np.arange(1,8)
    a3=np.append(a3,a)
a2=np.array([])
for i in range(1,3467):
    a1=np.array([i,i,i,i,i,i,i])
    a2=np.append(a2,a1)
df2['股票编号']=a2
df2['年']=a3])

得到的数据同样最好以股票代码为一个单独的部分，进行归一化处理，这里就不列归一化的代码了，跟上面的一样。

年-日数据的匹配

为了方便后续计算，最好将年-日数据进行结合，按照年份与股票代码对两种数据进行拼接

后记与说明

过了这么久，想抽时间把当时比赛写的代码整理一下，看能不能写成博客，结果没想到当时代码写的如此凌乱，在jupyter里的写的逻辑和运行顺序都有点儿忘了，估计只有当时的自己看的懂，现在看着令人头大。确实编程习惯也很重要啊。

如果有人看到这博客，就当参考参考，直接运行八成会报错，我后序看有没有时间继续整理纠错。

数据挖掘学习笔记-数据预处理部分（一）数据预处理-年数据部分数据预处理-日数据部分

数据挖掘笔记-数据预处理部分（一）

数据预处理-年数据部分

设置索引与标记

异常值与缺失值处理

股票行为标记

归一化

onehot特征编码

数据预处理-日数据部分

导入数据与标记

缺失数据处理

数据简化与使用方法参考

数据简化

季度数据的几个使用方法

年-日数据的匹配

后记与说明

继续阅读

来自python的【条件控制/语句循环/break/continue/else/pass】一、条件控制二、语句循环

无法解析的外部符号 wmain，该符号在函数 "void cdecl mainCRTStartupHelper(struct HINSTANCE *,unsigned short con......

TestLink导出用例转换工具(XML2Excel)

YAML简介和PyYAML安全操作YAML支持的类型YAML的优点：yaml的基本语法python操作

Small tricks

libsvm for python 安装

学习软件测试基础测试第七天

Zeppelin 配置访问 REST APIApache Zeppelin Configuration REST API

【Torch】最简洁logging使用指南

27. Remove Element(列表)题目代码

Cloud Studio初体验

使用 ctypes 进行 Python 和 C 的混合编程

【python】【数据处理】画多维数据分布图

【python】netconf协议对接管理设备

「Python 网络自动化」NETCONF —— Python 使用 NETCONF 管理配置 H3C 网络设备

在python中创建excel并写入