python的dropna 和notna的性能_python轻松滤除缺失数据

前言

缺失数据(missing data)在大部分数据分析应用中都很常见。Pandas的设计目标之一就是让缺失数据的处理任务尽量轻松。

Pandas使用浮点值NAN(not a number)表示浮点和非浮点数组中的缺失数据，它只是一个便于被检测出来的标记而已。

Python内置的None值也会被当做NA处理。

滤除缺失数据-dropna()

过滤掉缺失数据的方法，一是手工，二是dropna，后者更实用。

Series缺失值过滤

对于一个Series，dropna返回一个仅含非空数据和索引值的series。

#书写方式如下

from numpy import nan as NA

data.dropna()

也可以通过布尔型索引达到这个目的：

Data[data.notnull()]

DataFrame缺失值过滤

对于DataFrame对象，事情就有点复杂了。你可能希望丢弃全NA或含有NA的行或列。

#dropna默认丢弃任何含有缺失值的行

书写方式：data.dropna()

#传入how=’all’将只丢弃全为NA的那些行

书写方式：data.dropna(how=’all’)

#传入axis=1丢弃列

书写方式：data.dropna(how=’all’,axis=1)

#thresh参数过滤时间序列数据

书写方式：df.dropna(thresh=3)

「亲，如果笔记对您有帮助，收藏的同时，记得给点个赞、加个关注哦！感谢！」

「文中代码均亲测过，若有错误之处，欢迎批评指正，一起学习，一起成长！」