Python如何用drop_duplicates按列去重保留首个

本文深入解析了Pandas中`drop_duplicates`按指定列去重的核心用法与实战陷阱：强调必须通过`subset`参数精准指定去重列，避免默认全列比对导致误删；明确`keep`参数的三种策略及其业务适用场景；指出方法默认不修改原数据，推荐显式赋值而非已弃用的`inplace=True`；特别提醒NaN被默认视为相同、多列去重前需统一数据类型与列名格式等易被忽视的关键细节——真正决定去重效果的，往往不是代码语法，而是你如何准确定义“什么是重复”。

用 drop_duplicates 按指定列去重，保留第一个出现的行

默认情况下，drop_duplicates 会检查所有列是否完全相同，但你通常只想看某几列（比如 'user_id' 或 'email'）有没有重复。这时候必须用 subset 参数明确指定列名，否则可能删掉本不该删的行。

常见错误是直接调用 df.drop_duplicates() 后发现数据变少了，但看不出哪几行被当成了重复——其实是因为其他辅助列（比如时间戳、日志ID）不同，导致整行没被识别为重复。

• subset=['user_id']：只对比 user_id 列，相同就视为重复
• keep='first'（默认值）：保留第一次出现的那行，后续重复行删除
• keep='last'：保留最后一次出现的，适合想留最新记录的场景
• keep=False：把所有重复行全删掉，包括第一次出现的（慎用）

drop_duplicates 不修改原 DataFrame，得手动赋值或加 inplace=True

很多人运行完 df.drop_duplicates(subset=['email']) 发现 df 没变，因为这个方法默认返回新 DataFrame，原数据不动。不赋值就等于白跑。

两种写法都行，但推荐显式赋值，避免副作用：

• df = df.drop_duplicates(subset=['email'])（更清晰，推荐）
• df.drop_duplicates(subset=['email'], inplace=True)（老写法，容易在链式操作中出错）

注意：inplace=True 在较新 Pandas 版本里已被标记为 deprecated，未来可能移除。

空值（NaN）在 drop_duplicates 中默认被视为相同

如果去重列里有 NaN，Pandas 默认把所有 NaN 当作相等处理——也就是说，多行都是 NaN，只会留一个。这不一定符合你的业务逻辑。

比如用户注册时邮箱为空，你可能希望每个空邮箱都算独立记录。这时不能靠 drop_duplicates 直接解决，得先处理空值：

• 用 fillna() 统一替换为某个占位符（如 'MISSING_EMAIL'），再调用去重
• 或者先用布尔索引分离出非空行和空行，分别处理
• 别依赖 na_sentinel 这类参数——drop_duplicates 根本没有这个参数，网上有些教程是混淆了其他函数

按多列组合去重时，顺序和类型要一致

写 subset=['city', 'age'] 和 subset=['age', 'city'] 效果一样，但要注意两列的数据类型是否对齐。比如 age 是字符串型 '25' 而不是整数 25，会导致本该重复的行被当成不同。

另一个易错点：列名大小写或空格没清洗干净，例如 'Email ' 和 'email' 被当两列处理。建议去重前先统一列名：

• df.columns = df.columns.str.strip().str.lower()
• 检查重复前用 df.duplicated(subset=['col1', 'col2']).sum() 看有多少待删行
• 用 df[df.duplicated(subset=['col1', 'col2'], keep=False)] 把所有重复块拉出来人工核对

真正麻烦的不是语法，是搞不清“重复”到底由谁定义——业务上认为重复的，数据里未必真长得一样。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python如何用drop_duplicates按列去重保留首个》文章吧，也可关注golang学习网公众号了解相关技术文章。