Pandas用pd.NA处理缺失值技巧

本文深入解析了 pandas 中 `pd.NA` 这一专为缺失值设计的三值逻辑标记及其配套的 nullable 类型（如 `Int64`、`string`、`boolean`），揭示其如何从根本上解决传统缺失值（`None`/`np.nan`）导致的语义模糊、dtype 意外退化（如 `int64` 列加法后变成 `float64`）和运算行为不可预测等痛点；强调 `pd.NA` 的威力不在于“写法新颖”，而在于它让缺失值真正成为类型系统中的一等公民——但前提是必须显式声明支持它的 dtype，否则一切优势都将失效，堪称 pandas 现代数据处理中兼顾严谨性与可维护性的关键实践。

pd.NA 和 nullable 类型到底能解决什么问题

pd.NA 不是 None，也不是 np.nan，它是 pandas 专门设计的“三值逻辑”缺失值标记，只在明确支持它的 nullable 类型（如 Int64、string、boolean）中生效。它真正有用的地方，是让缺失值参与运算时行为可预测、不静默转类型——比如 Int64 列加法遇到 pd.NA，结果仍是 Int64，不会退化成 float64。

• pd.NA 在 object 类型列里几乎没用：它会被当成普通 Python 对象，失去三值逻辑优势
• pd.NA 不能用于 datetime64 或 timedelta64 列（目前仍用 NaT）
• 含 pd.NA 的列必须显式指定 nullable 类型，否则构造时会自动降级（比如传 [1, 2, pd.NA] 给 Series 默认仍是 int64，pd.NA 被转成 np.nan）

怎么创建和强制转换成 nullable 类型

关键不是“填入 pd.NA”，而是先确保 dtype 支持它。直接用 pd.array() 或带 dtype 参数的 pd.Series 构造最可靠：

import pandas as pd
# 正确：显式指定 nullable int
s = pd.Series([1, 2, pd.NA], dtype="Int64")
<h1>正确：用 pd.array 初始化，自动推断 nullable dtype</h1><p>arr = pd.array([True, False, pd.NA], dtype="boolean")</p><h1>错误：这样 s.dtype 还是 object，pd.NA 不起作用</h1><p>s_bad = pd.Series([1, 2, pd.NA])  # dtype == object</p>

• 用 .astype("Int64") 转换已有数值列时，原 np.nan 会自动转为 pd.NA；但原 None 也行，pd.NA 反而可能报错（因类型检查更严）
• string 类型对 None、np.nan、pd.NA 都兼容，统一转为 pd.NA
• astype("boolean") 要求输入只能是 {True, False, pd.NA}，混入 1/0 或字符串会报错

pd.NA 的运算行为和常见陷阱

pd.NA 遵循 SQL 风格的三值逻辑：任何与 pd.NA 的比较（==、!=、> 等）都返回 pd.NA，不是 False；布尔运算中 pd.NA | True 是 True，但 pd.NA | False 是 pd.NA。

• df.col == value 返回含 pd.NA 的 Series，不能直接丢给 if 或 np.where —— 得用 df.col.isna() 或 df.col.fillna(False) 先处理
• pd.NA + 1 返回 pd.NA，但 pd.NA in [1, 2, pd.NA] 是 True（成员判断不触发三值逻辑）
• groupby().sum() 等聚合默认跳过 pd.NA，和 np.nan 行为一致；但 min()/max() 在全 pd.NA 列上返回 pd.NA，而非 np.nan

和 fillna / isna / dropna 配合要注意什么

这些方法基本兼容 pd.NA，但细节有差异：

• .isna() 对 pd.NA、np.nan、None、NaT 都返回 True，行为统一
• .fillna(0) 可以填 pd.NA，但目标列 dtype 必须允许该值（比如 Int64 填 0 没问题，填 0.5 就会升为 Float64）
• .dropna() 默认删所有含 pd.NA 的行/列，和旧版一致；但 how="all" 或 thresh 参数行为无变化
• .replace({pd.NA: "missing"}) 有效，但 .replace(np.nan, "missing") 对 pd.NA 无效——得写 .replace({pd.NA: "missing", np.nan: "missing"}) 才保险

pd.NA 的价值不在“多一个缺失值写法”，而在于把缺失值从类型系统的漏洞变成一等公民。一旦列 dtype 不支持它，所有后续操作就可能悄悄绕过你本想表达的语义。所以别省那句 dtype="Int64"。

今天关于《Pandas用pd.NA处理缺失值技巧》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！