Python处理缺失值：pandas数据清洗技巧大全

在Python数据分析中，缺失值处理是至关重要的一环。本文针对pandas数据清洗，提供了一份全面的缺失值处理攻略。首先，介绍了如何利用`isna()`和`isnull()`函数检查并统计缺失值，快速定位数据中的问题。其次，探讨了`dropna()`函数删除缺失行的策略，以及`subset`和`inplace`参数的使用技巧。接着，详细讲解了`fillna()`函数填充缺失值的多种方法，包括均值、中位数、众数以及时间序列的前后值填充。更进一步，阐述了将缺失本身作为一种信息进行标记和利用的思路，通过新增列的方式，将缺失情况融入特征工程，从而提升模型性能。掌握这些pandas处理缺失值的技巧，能有效提升数据清洗的效率和质量，为后续分析奠定坚实基础。

处理缺失值的方法包括检查、删除、填充和标记。1. 使用isna()或isnull()检查缺失值，通过sum()统计每列缺失数量，或用any().any()判断整体是否存在缺失；2. 采用dropna()删除缺失比例高的行或列，subset参数指定检查范围，inplace=True直接修改原数据；3. 用fillna()填充缺失值，数值型可用均值、中位数，类别型用众数，时间序列可用前后值填充；4. 对于缺失本身含信息的情况，可新增列标记是否缺失，并将缺失作为特征使用，提升模型表现。

处理缺失值是数据分析中非常基础但也非常关键的一步，特别是在使用pandas进行数据清洗时。很多时候，原始数据中都会存在空值、NaN或者无效值，如果不做处理，会影响后续分析甚至导致错误结果。好在pandas提供了很多实用的方法，可以灵活应对这些情况。

1. 检查缺失值

在动手处理之前，首先要知道数据中哪些地方有缺失值。pandas提供了一个非常方便的函数：isna() 或者 isnull()，它可以标记出数据中的缺失值。

import pandas as pd

df = pd.read_csv('data.csv')
print(df.isna().sum())

这段代码会输出每一列中有多少个缺失值，帮助你快速定位问题所在。

如果你只想看看整个DataFrame有没有缺失值，可以用：

df.isna().any().any()

这样就能知道是否需要进一步处理了。

2. 删除缺失值

如果某列或某行的缺失值比例非常高，比如超过70%，通常可以选择直接删除这部分数据。pandas中使用dropna()方法来实现这个操作。

df.dropna(subset=['列名'], inplace=True)

上面这行代码的意思是，在指定列中如果有缺失值，就删除对应的整行数据。如果不指定subset参数，默认会检查所有列。

小贴士：
使用inplace=True可以直接修改原数据，而不是返回一个新对象。如果你不确定后果，建议先复制一份数据再操作。

不过要注意，这种方法虽然简单粗暴，但可能会损失大量有效信息，特别是当数据量本身就不大的时候。

3. 填充缺失值

相比直接删除，填充缺失值是一种更温和的做法，常见的方式包括用均值、中位数、众数或者前后值来填充。

• 数值型数据常用平均值或中位数：

df['列名'].fillna(df['列名'].mean(), inplace=True)

• 类别型数据更适合用众数（也就是出现次数最多的值）：

df['列名'].fillna(df['列名'].mode()[0], inplace=True)

• 如果是时间序列数据，可以用前一个或后一个非空值来填充：

df['列名'].fillna(method='ffill', inplace=True)  # 前向填充

这些方法可以根据数据类型和上下文灵活选择，有时候也可以组合使用。

4. 标记缺失值

有些时候，缺失本身也是一种信息。比如在用户填写问卷时，某些字段没填，可能意味着用户对该项不感兴趣或不了解。

这时候可以在填充的同时新增一列，用来标记该字段是否曾经缺失：

df['列名缺失'] = df['列名'].isna().astype(int)
df['列名'].fillna(0, inplace=True)

这样不仅保留了原始数据结构，还把“缺失”作为一个特征加入了模型训练中，有时反而能提升模型表现。

基本上就这些。处理缺失值看起来不复杂，但在实际项目中很容易被忽略细节，比如填充方式不合适、误删重要数据等。只要根据具体场景灵活选用合适的方法，就可以避免这些问题。

今天关于《Python处理缺失值：pandas数据清洗技巧大全》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！