python的dropna 和notna的性能_python-如何從熊貓資料框中提取清單或字典中的非NA值...

我有這樣的df

df

AAA BBB CCC

0 4 10 100

1 5 20 50

2 6 30 -30

3 7 40 -50

df_mask = pd.DataFrame({‘AAA’：[真] * 4,’BBB’：[假] * 4,’CCC’：[真,假] * 2})

和df.where(df_mask)是

AAA BBB CCC

0 4 NaN 100.0

1 5 NaN NaN

2 6 NaN -30.0

3 7 NaN NaN

我試圖像這樣提取非null值.

我試過了,

df [df.where(df_mask).notnull()].to_dict()但它給出了所有值

我的預期輸出是

{'AAA': {0: 4, 1: 5, 2: 6, 3: 7},

'CCC': {0: 100.0, 2: -30.0}}

解決方法:

讓我們在這裡使用agg：

v = df.where(df_mask).agg(lambda x: x.dropna().to_dict())

在較舊的版本中,apply會執行相同的操作(盡管速度較慢).

v = df.where(df_mask).apply(lambda x: x.dropna().to_dict())

現在,為最後一步過濾出帶有空字典的行：

res = v[v.str.len() > 0].to_dict()

print(res)

{'AAA': {0: 4.0, 1: 5.0, 2: 6.0, 3: 7.0}, 'CCC': {0: 100.0, 2: -30.0}}

另一個免申請的選項是dict-comprehension：

v = df.where(df_mask)

res = {k : v[k].dropna().to_dict() for k in df}

print(res)

{'AAA': {0: 4, 1: 5, 2: 6, 3: 7}, 'BBB': {}, 'CCC': {0: 100.0, 2: -30.0}}

請注意,此(略)簡單的解決方案保留具有空值的鍵.

标簽：data-analysis,pandas,dataframe,python

來源： https://codeday.me/bug/20191108/2010400.html