Python 数据清理实战

Because the people who are crazy enough to think that they can change the world, are the ones who do.

Python 数据清洗实战

概述

• 数据清洗实质上是指将实际业务问题中，脏数据清洗干净，转换为 ‘干净的数据’，所谓的脏，指数据可能存在以下几种问题（主要问题）：

• 数据缺失 (Incomplete): 是属性值为空的情况。 如 Occupan = " "
• 数据噪声 (Noisy): 是数据值不合常理的情况。 如 Salary = “-100”
• 数据不一致 (Inconsistent): 是数据前后存在矛盾的情况。 如 Age = “042” 或者 Birthday = “01/09/1985”
• 数据冗余 (Redundant): 是数据量或者属性数目超出数据分析需要的情况
• 离群点/异常值 (Outliers): 是偏离大部分值的数据
• 数据重复: 是在数据集中出现多次的数据

数据清洗之常用工具

• ​​Numpy 常用数据结构和清理函数​​
• ​​Pandas常用数据结构series和方法​​

数据清洗之文件读写

• ​​数据清洗之 csv文件读写​​
• ​​数据清洗之 Excel文件读写​​
• ​​数据清洗之 数据库文件读写​​

数据清洗之数据表处理

• ​​数据清洗之 数据筛选​​
• ​​数据清洗之 数据增加和删除​​
• ​​数据清洗之 数据修改和查找​​
• ​​数据清洗之 数据整理​​
• ​​数据清洗之 层次化索引​​

数据清洗之数据转换

• ​​数据清洗之 日期格式数据处理​​
• ​​数据清洗之 高阶函数处理​​
• ​​数据清洗之 字符串数据处理​​

数据清洗之数据统计

• ​​数据清洗之 数据分组方法​​
• ​​数据清洗之 聚合函数使用​​
• ​​数据清洗之 分组对象与apply函数​​
• ​​数据清洗之 透视图与交叉表​​

数据清洗之数据预处理

• ​​数据清洗之 重复值处理​​
• ​​数据清洗之 缺失值处理​​
• ​​数据清洗之 异常值处理​​
• ​​数据清洗之 数据离散化​​

总结

数据清洗步骤

1. 数据获取，使用read_csv或者read_excel
2. 数据探索，使用shape，describe或者info函数
3. 行列操作，使用loc或者iloc函数
4. 数据整合，对不同数据源进行整理
5. 数据类型转换，对不同字段数据类型进行转换
6. 分组汇总，对数据进行各个维度的计算
7. 处理重复值、缺失值和异常值以及数据离散化

函数大全

• merge，concat函数常常用于数据整合
• pd.to_datatime常常用于日期格式转换
• str函数用于字符串操作
• 函数astype用于数据类型转换
• 函数apply和map用于更加高级的函数处理
• Groupby用于创建分组对象
• 透视图函数pd.pivot_table和交叉表pd.crosstab
• 分组对象和agg结合使用，统计需要的信息