Python缺失值处理：dropna与fillna详解

Python中处理缺失值的关键不在于机械地选择dropna或fillna，而在于深刻理解“缺失”本身的业务含义：当缺失代表真实状态（如设备离线、用户未填写）或填充会严重扭曲统计推断、模型逻辑或数据分布时，dropna不仅是合理选择，更是必要操作；反之，若缺失纯属信息丢失且下游任务对连续性敏感，则需按数据类型（数值/分类/时间）和任务目标（预测/统计/写入）谨慎填充——但无论哪种方式，填充后必须验证分布偏移，因为填错一个值，可能比留空更危险。

直接说结论：用 dropna 还是 fillna，不看“缺不缺”，而看“缺的值在业务里有没有意义”——比如用户注册时间为空，删掉可能丢转化漏斗；但传感器某次读数为空，填均值反而污染趋势。

什么时候必须用 dropna 而不是填一个数

核心判断点：缺失本身是有效信号，或填充会扭曲后续计算逻辑。

• 做时间序列建模时，fillna 用前向填充（method="ffill"）可能让模型误以为“数据一直没变”，但实际是设备离线——这时宁可删整行，保留“断连”的真实节奏
• 分类变量（如 "gender"）缺失率达 40%，填 "unknown" 会让类别分布失真；而 dropna 后若剩余样本仍满足最小支持度，就该删
• 调用 scipy.stats.ttest_ind 等统计函数前，它们内部不自动处理 NaN，强制填 0 或均值会导致 p 值失效——必须先 dropna，否则报错 ValueError: Input contains NaN

fillna 填什么，取决于列类型和下游任务

填错值比留空更危险。数值型、分类型、时间型，策略完全不同。

• 数值列（如 "price"）：
  • 预测任务：用中位数（df["price"].median()），比均值抗异常值干扰
  • 回归任务：用随机森林拟合其他特征来预测缺失值（sklearn.ensemble.RandomForestRegressor），但注意别造成数据穿越
• 分类型（如 "category"）：
  • 不能填 0 或 "missing" 就完事——如果后续要做 pd.get_dummies，得提前确认 "missing" 是否在训练集出现过，否则测试时报 KeyError
  • 更稳的做法是单独加一列 is_category_missing（布尔型），再对原列用众数填充
• 时间列（如 "order_time"）：
  • 填 pd.NaT 是安全的，但某些数据库写入时会转成 1970-01-01；如果下游是 ClickHouse，得填 "1970-01-01 00:00:00" 字符串才兼容

inplace=True 在 dropna 和 fillna 里到底要不要用

绝大多数情况——别用。它看似省内存，实则埋坑。

• 函数链式调用时失效：df.dropna().fillna(0) 中 inplace=True 会让第一句返回 None，第二句直接报 AttributeError: 'NoneType' object has no attribute 'fillna'
• Jupyter 里调试时，如果某步用了 inplace=True，再想回退只能重启 kernel，因为原 df 已被改写
• 唯一可考虑的场景：处理超大 DataFrame（>5GB），且确定后续不再需要原始缺失状态——但更推荐用 dask 或 polars 替代 pandas

真正麻烦的从来不是“怎么填”，而是填完之后没人再检查分布偏移。比如填完中位数，df["age"].describe() 看似正常，但画个直方图会发现 35 岁堆成尖峰——那说明缺失集中在某个用户群，得回头查采集逻辑。

本篇关于《Python缺失值处理：dropna与fillna详解》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！