Pandas如何用drop_duplicates去重数据

Pandas的`drop_duplicates()`看似简单，实则暗藏诸多易踩坑细节：默认按整行严格比对导致“重复没删掉”，必须显式用`subset`指定关键列；`inplace=True`在链式操作或视图中不可靠，应坚持赋值覆盖；`keep=False`会彻底清空所有重复组而非仅去重留一；而字符串空格/大小写、时间列`NaT`、浮点精度等脏数据问题更会让去重失效——真正高效的去重，始于数据清洗、精于参数选择、成于谨慎验证。

drop_duplicates 默认只按全部列判断重复

很多人一上来就写 df.drop_duplicates()，发现没删掉想要的重复行——因为默认会把整行数据当成一个元组去比对，只要任意一列不同，就不算重复。比如两行只有 id 相同、name 不同，它们不会被识别为重复。

实际中多数需求是“按某几列去重”，比如保留每个 user_id 的第一条记录，就得显式指定：

df.drop_duplicates(subset=['user_id'], keep='first')

• subset 必须是列表，即使只有一列也要写成 ['col']，不能写成 'col'
• keep 可选 'first'（默认）、'last' 或 False（全删）
• 不传 subset 就等于全列参与比较，容易误判或漏删

inplace=True 并不总是安全

加 inplace=True 看似省事，但遇上链式操作会失效，比如 df.drop_duplicates().reset_index(drop=True) 中的 inplace=True 会被忽略；更麻烦的是，如果 df 是另一个 DataFrame 的视图（例如通过切片生成），inplace=True 可能抛出 SettingWithCopyWarning 或静默失败。

稳妥做法是直接赋值：

df = df.drop_duplicates(subset=['order_id'])

• 避免在条件筛选后立刻用 inplace=True，如 df[df.status == 'done'].drop_duplicates(inplace=True) —— 这实际操作的是副本，原 df 毫无变化
• 想确认是否生效，删完立刻检查 len(df) 和 df.duplicated().sum()

keep=False 会删光所有重复项，包括“首次出现”的那条

文档里写 keep=False 是“删除所有重复项”，但新手常误解为“只删后续重复”。实际上它会把所有在 subset 上值相同的行全部干掉，不留任何一条。

比如三行 user_id=101，keep=False 后这三行全消失，不是留第一行删后两行。

• 真要“只留唯一值（即出现仅一次的行）”，得换思路：df.groupby('user_id').filter(lambda x: len(x) == 1)
• keep='first' 和 keep='last' 才是日常去重主力，别轻易碰 False
• 用前先试跑：加 print(df.duplicated(subset=['x']).sum()) 看重复量级

字符串列含空格或大小写不一致时，drop_duplicates 不识别为重复

drop_duplicates 做的是严格等值比较，'Alice ' 和 'Alice'、'alice' 和 'Alice' 都算不同值。线上数据常有这类脏数据，直接去重会漏掉本该合并的记录。

得提前清洗再调用：

df['name'] = df['name'].str.strip().str.lower()
df = df.drop_duplicates(subset=['name', 'email'])

• 注意 .str 方法对非字符串列会报错，建议先用 select_dtypes(include=['object']) 锁定文本列处理
• 时间列如果有 NaT，duplicated() 默认把它们全视为相同，可能误删——需要先 fillna 或单独处理
• 数值列存在浮点误差（如 0.1 + 0.2 != 0.3），也得先 round() 再去重

去重看着简单，真正卡住人的往往是 subset 选得不准、inplace 用得冒进、或者根本没意识到数据本身不干净。动手前花三十秒看一眼 df.head().to_dict('records')，比硬跑十遍 drop_duplicates 更省时间。

好了，本文到此结束，带大家了解了《Pandas如何用drop_duplicates去重数据》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！