Python数据清洗教程：手把手教你搞定缺失值（附详细代码）

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《Python数据清洗干货：手把手教你处理缺失值（附代码）》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

处理Python中的缺失值常用方法包括识别、删除和填充。首先使用df.isnull().sum()或missingno库识别缺失值；其次若缺失比例高可用df.dropna()删除行或列；最后可用fillna()填充，如固定值、前后向填充、均值中位数众数填充及插值法；此外可提取是否缺失作为新特征或使用多重插补法提升精度。

处理Python中的缺失值是数据清洗中最常见的任务之一。如果不妥善处理，缺失值会影响分析结果甚至导致模型训练失败。常用的工具包括Pandas库，它提供了多种灵活的方法来识别、删除或填充缺失值。

识别缺失值

在进行任何操作之前，首先要确认数据中是否存在缺失值。Pandas使用NaN（Not a Number）表示缺失值，可以通过以下方法检查：

• 使用 isnull().sum() 可以快速查看每一列的缺失值数量。
• 使用 isnull().any() 判断是否有缺失值存在。
• 如果想可视化缺失值分布，可以用 missingno 库生成矩阵图或条形图，这对判断缺失模式很有帮助。

例如：

import pandas as pd
df = pd.read_csv('data.csv')
print(df.isnull().sum())

删除缺失值

如果某列或某行缺失比例很高（比如超过80%），直接删除可能是最省事的做法。Pandas的dropna()函数可以实现这个功能。

常用方式包括：

• df.dropna()：默认删除所有包含缺失值的行。
• df.dropna(axis=1)：删除含有缺失值的列。
• df.dropna(thresh=5)：保留至少有5个非空值的行。

不过要注意，这种方式可能会丢失大量有效数据，因此只建议在缺失严重或对分析影响不大的情况下使用。

填充缺失值

更常见的做法是用某种方式“补全”缺失值。Pandas的fillna()函数非常灵活，支持多种填充策略：

• 固定值填充：如用0或某个特定字符串填充，适用于已知默认值的情况。

  df.fillna(0, inplace=True)

• 前向填充或后向填充：适合时间序列数据，用前面或后面的值填补。

  df.fillna(method='ffill', inplace=True)  # 前向填充

• 均值、中位数、众数填充：数值型数据常用平均值或中位数，类别型数据则用众数。

  df['age'].fillna(df['age'].mean(), inplace=True)

• 插值法：比如线性插值、多项式插值等，适合连续型数据。

  df.interpolate(method='linear', inplace=True)

这些方法各有优劣，具体选哪种要看数据特征和业务背景。

高级技巧与注意事项

有时候缺失本身也携带信息，这时候可以把是否缺失作为一个特征提取出来。

举个例子，如果你的数据集中“收入”字段有很多缺失，但你知道某些群体更容易不填写收入信息，那么你可以创建一个新列income_missing来标记是否缺失：

df['income_missing'] = df['income'].isnull().astype(int)

这样即使你后面用0填充了income，模型也能知道哪些是原始缺失的数据。

此外，多重插补（Multiple Imputation）也是一种进阶方法，比如使用sklearn的SimpleImputer或者fancyimpute库中的算法进行更精确的填补。

基本上就这些方法了。缺失值处理看似简单，但实际应用时需要结合数据情况和分析目标仔细考虑，否则很容易忽略关键细节。

文中关于缺失值处理的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python数据清洗教程：手把手教你搞定缺失值（附详细代码）》文章吧，也可关注golang学习网公众号了解相关技术文章。