Python 缺失值填充策略详解

本文深入剖析了Python中缺失值填充的本质——它绝非单纯的技术操作，而是一场关乎业务理解的审慎决策：盲目使用fillna()填充均值、众数或前向填充，可能比保留缺失值更危险；真正关键的是先探究缺失背后的业务逻辑（如用户抗拒填写、系统采集缺陷或新用户特征），再针对性选择“Unknown”标记、规则填充或建模插补，并严格规避inplace陷阱、污染主键字段等实操风险；最终提醒我们，数据科学的成熟度，往往体现在敢于让某些字段保持NaN的勇气与清醒。

用 fillna() 填缺失值前，先想清楚业务含义

填均值、中位数或众数不是技术问题，而是业务判断。比如用户年龄缺失，填“35”可能掩盖真实分布；订单金额缺失，填 0 会扭曲收入统计；而“未填写”本身可能是用户抗拒提供信息的信号。直接套用 fillna() 很快，但错填比不填更危险。

实操建议：

• 先用 df.isnull().sum() 看缺失集中在哪些字段和比例，再查原始采集逻辑（是前端没传？后端校验丢弃？还是 ETL 过程出错？）
• 对分类变量，优先考虑 fillna("Unknown") 或 fillna("Missing")，而不是强行补众数——“未知”本身就是一种有效状态
• 时间序列类字段（如 last_login_time），慎用前向填充（method="ffill"），用户长期未登录 ≠ 上次登录时间可代表当前状态

数值型字段别只盯 mean 和 median

均值对异常值敏感，中位数丢失量级信息，两者都假设缺失是随机发生的——但现实中，缺失常与业务风险强相关（比如高净值客户更不愿填职业）。盲目填充会削弱模型对真实模式的识别能力。

实操建议：

• 先做分组探索：用 df.groupby("is_missing_age")["income"].describe() 看缺失人群的收入分布是否显著不同
• 若缺失有业务规律（如新注册用户 job_title 普遍为空），可用规则填充：df.loc[df["register_days"]
• 需要建模填充时，用 sklearn.impute.IterativeImputer 比单变量填充更合理，但注意它默认用线性回归，对非线性关系（如收入与教育年限的拐点）容易失真

fillna() 的 inplace 参数容易引发静默错误

设 inplace=True 看似省事，但遇上链式操作（如 df.dropna().fillna(0)）会失效，因为 dropna() 返回新对象，后续 fillna() 作用在副本上，原 df 没变。更麻烦的是，某些 pandas 版本对视图（view）调用 inplace=True 会抛 SettingWithCopyWarning，但不中断执行，导致数据状态难以追踪。

实操建议：

• 统一用赋值写法：df["age"] = df["age"].fillna(df["age"].median())，清晰可控
• 批量填充时用字典：df = df.fillna({"age": 32, "income": 8500, "job_title": "Unknown"})，避免逐列覆盖的顺序依赖
• 填充后立刻验证：assert df["age"].isnull().sum() == 0，尤其在 pipeline 中，别等下游报 NaN 错误才察觉

导出前检查填充是否污染了关键标识字段

业务系统常依赖某些字段做主键、去重或权限控制（如 user_id、order_no、mobile_hash）。如果这些字段因清洗脚本被误填（比如把空字符串 "" 替换成 "N/A"），下游系统可能当成新用户或重复订单处理。

实操建议：

• 明确标记“禁止填充字段”清单，用 assert not df[forbidden_cols].isnull().any().any() 在填充前拦截
• 对含敏感语义的字段（如 is_verified、payment_status），宁可保留 NaN 也不填 False 或 "Pending"——缺失不等于否定
• 导出 CSV 前加一行：df.to_csv(..., na_rep="NULL")，让缺失值显式可见，避免接收方把空字符串当有效值

今天关于《Python 缺失值填充策略详解》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！