聊一下關(guān)于去重計(jì)數(shù)的多種實(shí)現(xiàn)方式
本文轉(zhuǎn)載自微信公眾號「數(shù)據(jù)大宇宙」,作者卡門的兒子。轉(zhuǎn)載本文請聯(lián)系數(shù)據(jù)大宇宙公眾號。
這是一個(gè)關(guān)于 pandas 從基礎(chǔ)到進(jìn)階的練習(xí)題系列,來源于 github 上的 guipsamora/pandas_exercises 。這個(gè)項(xiàng)目從基礎(chǔ)到進(jìn)階,可以檢驗(yàn)?zāi)阌卸嗝戳私?pandas。
我會挑選一些題目,并且提供比原題庫更多的解決方法以及更詳盡的解析。
如下數(shù)據(jù):
數(shù)據(jù)描述:
- 此數(shù)據(jù)是訂單明細(xì)表。一個(gè)訂單會包含很多明細(xì)項(xiàng),表中每個(gè)樣本(每一行)表示一個(gè)明細(xì)項(xiàng)
- order_id 列存在重復(fù)
- quantity 是明細(xì)項(xiàng)數(shù)量
需求:數(shù)據(jù)中共有多少個(gè)訂單?
下面是答案了
方式1
因?yàn)?order_id 列是存在重復(fù)的,那么一種比較直觀的方式就是去重+計(jì)數(shù):
- len(df.order_id.drop_duplicates())
- 1834
- Series.drop_duplicates() 返回的仍然是一個(gè) Series
- len 函數(shù)可以計(jì)算 Series 值數(shù)量
但是你可能不知道的是,這個(gè)方式是不準(zhǔn)確的!
方式2
之所以說上一種方式是不準(zhǔn)確,是因?yàn)闆]有考慮到空值的問題。
len 函數(shù)不會忽略空值(nan) ,因此如果列中有空值,那么就比正確結(jié)果數(shù)量多。
正確的做法是:
- len(df.order_id.drop_duplicates().dropna())
- 使用 Series.dropna() 方法可以去掉 nan 值
提示:
即使列中有多個(gè) nan ,經(jīng)過去重后只會保留一個(gè) nan 值
方式3
實(shí)際上,pandas 本身有提供一個(gè)忽略 nan 的計(jì)數(shù)方法:
- df.order_id.drop_duplicates().count()
點(diǎn)評:
這種方式個(gè)人認(rèn)為最合適
方式4
pandas 為列(Series)提供了一個(gè)快速匯總計(jì)數(shù)方法:
- df.order_id.value_counts()
- Series.value_counts() 相當(dāng)于 根據(jù) order id 分組,統(tǒng)計(jì)數(shù)量。并且排除 nan
這相當(dāng)于實(shí)現(xiàn)了去重,因此:
- df.order_id.value_counts().count()
點(diǎn)評:
- 這是原項(xiàng)目的解法,不太直觀,不推薦使用
- 我本人經(jīng)常把 value_counts 方法中s的位置搞錯(cuò)
不過我自制了一個(gè)方法查詢器,這樣子不至于記錯(cuò)方法:

























