数据预处理（2）

#缺失值可视化   
import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
D=pd.read_csv(r'D:\挑战杯\flag.csv',encoding='gbk')
#统计原表中的总列数D1,空值占全部数据的80%以下的列数
D1=D.iloc[::].count()/D.shape[0]
D2=D1[D1>0.2]
D=D[D2.index]
print(D1.shape[0],D2.shape[0])
#绘图
plt.rcParams['font.sans-serif']=['SimHei'] #显示中文标签
plt.rcParams['axes.unicode_minus']=False   #解决负号“-”显示为方块的问题
plt.figure(figsize=(30,20),dpi=80)
plt.tick_params(labelsize=30)
plt.plot(D1)
plt.savefig('缺失值.png')
plt.show()
           

【图片解释】

y轴接近1代表缺失值越少

缺失值处理

方法：导入所有的数据（确保删除的列一致），把列【特征】缺失值大于80%的一整列去掉

import pandas as pd
import numpy as np

data=pd.read_csv(r'C:\Users\44933\Desktop\数据挖掘材料\全部数据\alldata.csv',encoding='gbk')[:,:-1]

percent=0.2
print('删除80%有缺失值得函数，去除方差为0的列')
data.dropna(axis=1,how='any',thresh=percent*len(data),subset=None,inplace=True)
name=data.columns.to_list()[2:]
for j in name:
    var=np.var(data[j], axis=0)
    if var == 0:
        print(j)
        data.drop([j],axis=1,inplace=True)
data.shape #查看删除的特征多不多，如果太多了可以把80%往上调