Python缺失值处理全攻略

## Python数据清洗：缺失值处理方法全解析 在数据分析中，Python数据清洗至关重要，特别是缺失值预处理。本文深入解析Python中处理缺失值的各种方法，助力打造高质量数据集。首先，通过`isnull()`或`isna()`识别缺失值，并统计缺失数量，为后续分析奠定基础。接着，分析缺失模式，判断其随机性及与其他列的关联性，这直接影响处理策略的选择。处理策略包括删除(`dropna`)和填充(`fillna`)，其中填充方法多样，如均值、中位数、众数、前后向填充和插值等，适用于不同数据类型和结构。最后，评估处理效果，检查缺失值是否清除，分析数据分布和特征相关性变化，并通过简单模型验证处理效果，避免“过度清洗”带来的偏差，确保数据分析的准确性和可靠性。

数据清洗中的缺失值预处理主要包括识别、分析、选择策略并执行。1. 识别缺失值：使用isnull()或isna()判断缺失情况，并用sum()统计缺失数量。2. 分析缺失模式：判断缺失是否随机，是否与其他列有关联。3. 选择处理策略：包括删除（dropna）和填充（fillna）。删除适用于缺失值较少或列缺失严重的情况；填充包括均值、中位数、众数、前后向填充、插值等方法，分别适用于不同数据类型和结构。4. 评估处理效果：检查缺失值是否清除，分析数据分布变化、特征相关性变化，并通过简单模型验证处理效果。处理缺失值需结合数据特性、缺失类型和分析目标，避免“过度清洗”带来的偏差。

Python数据清洗，特别是缺失值预处理，是数据分析流程中一个至关重要且充满挑战的环节。它不仅仅是技术操作，更是一门艺术，核心在于识别、理解缺失模式，并选择最合适的填充或删除策略，这背后是对数据本身深入洞察的过程。

解决方案

处理缺失值，我们通常会借助强大的Pandas库。整个过程可以概括为：识别、分析、选择策略并执行。

识别缺失值： 在Pandas中，我们用isnull()或isna()来判断数据框中的每一个元素是否为缺失值（通常表现为NaN, None或NaT）。接着，用.sum()方法可以快速统计每个列的缺失值数量，这能给我们一个初步的全局视图。

import pandas as pd
import numpy as np

# 示例数据
data = {
    'A': [1, 2, np.nan, 4, 5],
    'B': [np.nan, 2, 3, 4, 5],
    'C': [1, 2, 3, np.nan, np.nan],
    'D': ['apple', 'banana', 'cherry', np.nan, 'grape']
}
df = pd.DataFrame(data)

print("原始数据框：")
print(df)
print("\n各列缺失值数量：")
print(df.isnull().sum())

分析缺失模式： 仅仅知道有多少缺失值还不够。我们还需要思考：这些缺失值是随机的吗？它们之间有什么关联？例如，如果某个用户没有填写年龄，是不是也常常没有填写收入？这种洞察力往往比单纯的技术操作更有价值。

处理策略选择与执行：

1. 删除（Deletion）：

   • 行删除： df.dropna()。如果一行中包含任何缺失值，就删除整行。这适用于缺失值占比较小，且我们不希望引入任何偏差的情况。但要小心，过度删除可能导致数据量锐减，丢失宝贵信息。
   • 列删除： df.dropna(axis=1)。如果某一列的缺失值过多，或者该列对分析目标不重要，可以直接删除。
   • subset参数可以指定在哪些列中检查缺失值。
   • how参数可以指定是“any”（任意一个缺失值就删除）还是“all”（所有值都缺失才删除）。

   # 删除含有任何缺失值的行
   df_cleaned_rows = df.dropna()
   print("\n删除含有缺失值的行后：")
   print(df_cleaned_rows)
   
   # 删除所有值都为缺失值的列（这里没有这样的列）
   df_cleaned_cols = df.dropna(axis=1, how='all')
   print("\n删除所有值都为缺失值的列后：")
   print(df_cleaned_cols)

2. 填充（Imputation）： df.fillna()

   • 常数填充： 用一个固定值（如0，-1，或特定字符串）来填充。适用于已知缺失值的特定含义，或者将缺失值作为一种类别。
   • 统计量填充：
     • 均值（Mean）： df['column'].fillna(df['column'].mean())。适用于数值型数据且分布近似正态。
     • 中位数（Median）： df['column'].fillna(df['column'].median())。适用于数值型数据，尤其当数据存在异常值或偏态分布时，中位数更稳健。
     • 众数（Mode）： df['column'].fillna(df['column'].mode()[0])。适用于类别型或数值型离散数据。
   • 前后向填充（Forward Fill / Backward Fill）： df.ffill()或df.bfill()。
     • ffill()（forward fill）：用前一个有效值填充当前缺失值。
     • bfill()（backward fill）：用后一个有效值填充当前缺失值。 特别适用于时间序列数据，假设缺失值与前后数据点有内在关联。
   • 插值填充（Interpolation）： df.interpolate()。
     • 根据已知数据点之间的关系，推断缺失值。例如，method='linear'进行线性插值。对于数值型数据，特别是存在趋势的数据，这是一种更精细的填充方法。

   # 均值填充（适用于数值列）
   df_filled_mean = df.copy()
   df_filled_mean['A'] = df_filled_mean['A'].fillna(df_filled_mean['A'].mean())
   print("\n'A'列均值填充后：")
   print(df_filled_mean)
   
   # 众数填充（适用于类别列或离散数值列）
   df_filled_mode = df.copy()
   df_filled_mode['D'] = df_filled_mode['D'].fillna(df_filled_mode['D'].mode()[0])
   print("\n'D'列众数填充后：")
   print(df_filled_mode)
   
   # 前向填充
   df_ffill = df.copy()
   df_ffill['C'] = df_ffill['C'].ffill()
   print("\n'C'列前向填充后：")
   print(df_ffill)
   
   # 线性插值
   df_interpolated = df.copy()
   df_interpolated['B'] = df_interpolated['B'].interpolate(method='linear')
   print("\n'B'列线性插值后：")
   print(df_interpolated)

3. 更高级的方法： 机器学习模型（如KNNImputer, IterativeImputer）可以根据其他特征来预测缺失值，但通常计算成本更高，且需要更复杂的设置。

为什么数据会有缺失值？深入剖析缺失数据类型及其影响

数据缺失是一个普遍存在的问题，它背后原因复杂多样，绝非仅仅是“没数据”那么简单。在我看来，理解这些“为什么”比知道“怎么填”更为关键，因为它直接影响我们后续选择的处理策略。

常见原因：

• 数据录入错误或遗漏： 人工录入时，可能因为疏忽、疲劳，甚至不愿填写某些敏感信息而导致空缺。系统自动录入也可能因为传感器故障、网络中断而中断。
• 数据收集失败： 问卷调查中受访者拒绝回答特定问题，或者设备故障未能成功采集数据。
• 数据合并问题： 当从多个来源合并数据时，如果不同数据集的键不匹配，或者某些信息在特定来源中根本不存在，就会产生缺失值。
• 特定业务逻辑： 比如，一个字段只对特定用户群体有意义，对其他用户则天然为空。例如，如果用户不是VIP，那么VIP等级字段自然就是空的。
• 数据转换或处理过程中的损失： 在ETL（抽取、转换、加载）过程中，如果处理逻辑有缺陷，也可能无意中引入缺失值。

缺失数据类型（这才是真正需要我们深思的）：

1. 完全随机缺失（Missing Completely At Random, MCAR）： 这是一种理想状态。缺失的发生与任何可观测变量和未观测变量都无关。比如，数据录入员不小心跳过了一个单元格，这个跳过是随机的。如果数据是MCAR，那么我们直接删除含有缺失值的行，对分析结果的偏差影响最小。但现实中，MCAR非常罕见。

2. 随机缺失（Missing At Random, MAR）： 缺失的发生与其他可观测变量有关，但与缺失变量本身的未观测值无关。举个例子，女性受访者可能比男性受访者更倾向于不填写收入信息。在这种情况下，收入的缺失与性别有关，但与收入本身的真实值无关。处理MAR数据时，我们可以利用其他已知变量来推断缺失值，比如通过回归、插值等方法。

3. 非随机缺失（Missing Not At Random, MNAR）： 这是最棘手的情况。缺失的发生与缺失变量本身的未观测值有关。例如，收入特别高或特别低的人可能更倾向于不填写收入信息。这种情况下，缺失值本身就包含了重要信息。如果简单地删除或填充，可能会引入严重的偏差，导致模型结论失真。处理MNAR数据需要更复杂的统计模型或领域知识，有时甚至需要重新设计数据收集方案。

缺失值的影响：

• 导致分析偏差： 如果缺失不是随机的，那么我们对剩余数据的分析结果可能无法代表整体，导致错误的结论。
• 降低模型性能： 大多数机器学习模型无法直接处理缺失值，需要预处理。不当的填充可能引入噪音，影响模型准确性；而删除过多数据则可能导致模型训练样本不足，泛化能力下降。
• 统计推断的有效性受损： 样本量减少，标准误差增大，置信区间变宽，统计检验的功效降低。

因此，在处理缺失值之前，花时间去理解数据是如何缺失的，这远比盲目地应用某种填充方法更为重要。它决定了我们能否真正从数据中提取出有价值的信息。

选择哪种缺失值处理策略？不同场景下的Pandas实战指南

选择合适的缺失值处理策略，就像是医生给病人开药方，没有万能药，只有最适合当前“病情”的方案。这需要我们结合数据的特性、缺失的模式以及最终的分析目标来做决策。下面我将结合Pandas的实际操作，聊聊我的选择逻辑。

1. 缺失值可视化与初步判断： 在动手处理前，我通常会先用可视化手段看看缺失值的分布。比如，missingno库就能绘制出非常直观的缺失值矩阵或条形图，帮助我们快速识别缺失模式。

# 假设df是你的DataFrame
import missingno as msno
import matplotlib.pyplot as plt

msno.matrix(df, figsize=(10, 5))
plt.title('Missing Value Matrix')
plt.show()

msno.bar(df, figsize=(10, 5))
plt.title('Missing Value Bar Chart')
plt.show()

通过这些图，我能大致判断哪些列缺失严重，哪些列缺失可能与其他列相关联。

2. 策略选择考量与Pandas实战：

• 删除行/列 (dropna)：

  • 何时考虑：
    • 缺失值占比极低（比如小于5%）： 如果缺失值很少，删除含有缺失值的行对整体数据量的影响不大，且操作最简单直接，能避免引入任何人工填充的偏差。
    • 整行数据对分析目标不重要： 比如，某行在关键特征上缺失，且该行并非分析重点。
    • 某些列缺失值极高（比如超过70%）： 如果一列大部分都是空的，那么这列的价值就非常有限，直接删除可能比填充更合理。
  • 我的思考： 这是最“粗暴”但有时最“干净”的方法。我一般会先计算缺失率，如果低于某个阈值（比如5%），我会倾向于直接删除。但如果数据量本身就小，或者缺失值分布在关键特征上，我会非常谨慎。

  # 示例：如果'C'列缺失值过多，且对分析不重要，可以考虑删除
  if df['C'].isnull().sum() / len(df) > 0.5: # 假设阈值是50%
      df_new = df.drop(columns=['C'])
      print("\n'C'列缺失过多，删除后：")
      print(df_new)

• 均值/中位数/众数填充 (fillna)：

  • 何时考虑：
    • 数值型数据且分布近似正态： 可以使用均值填充。
    • 数值型数据但存在异常值或偏态分布： 中位数是更稳健的选择，因为它不受极端值影响。
    • 类别型数据或离散数值数据： 众数是自然的选择。
  • 我的思考： 这是最常用的填充方法。它简单、快速，但缺点也很明显：它降低了数据的方差，并可能扭曲特征与其他特征之间的关系。我通常会用它来处理那些缺失值不多，且对模型影响不大的特征。对于关键特征，我会更慎重。

  # 假设'A'列是数值型，偏态分布，用中位数填充
  df_filled_median = df.copy()
  df_filled_median['A'] = df_filled_median['A'].fillna(df_filled_median['A'].median())
  print("\n'A'列中位数填充后：")
  print(df_filled_median)
  
  # 假设'D'列是类别型，用众数填充
  df_filled_mode_D = df.copy()
  df_filled_mode_D['D'] = df_filled_mode_D['D'].fillna(df_filled_mode_D['D'].mode()[0])
  print("\n'D'列众数填充后：")
  print(df_filled_mode_D)

• 前后向填充 (ffill/bfill)：

  • 何时考虑：
    • 时间序列数据： 当数据点之间存在时间上的顺序和依赖关系时，比如股票价格、传感器读数。
    • 数据有明确的逻辑顺序： 比如日志文件，缺失值可能意味着前一个状态的延续。
  • 我的思考： 对于时间序列数据，这几乎是我的首选。它保留了数据的顺序信息，比简单的统计量填充更合理。但要注意，如果缺失块很大，这种填充可能会导致大量重复值。

  # 假设df是时间序列数据，'B'列有缺失，用前向填充
  df_ts = pd.DataFrame({'value': [10, 12, np.nan, 15, np.nan, np.nan, 20]})
  df_ts_ffill = df_ts.ffill()
  print("\n时间序列数据前向填充后：")
  print(df_ts_ffill)

• 插值填充 (interpolate)：

  • 何时考虑：
    • 数值型数据，且数据点之间存在连续性或某种趋势： 比如温度、压力、销售额等。
    • 缺失值不是连续的大块： 如果缺失值是零星分布的，插值效果会更好。
  • 我的思考： 这是比均值/中位数更高级的填充方法，它能更好地捕捉数据的内在模式。我经常使用method='linear'，因为它简单且有效。对于更复杂的模式，也可以尝试'polynomial'或'spline'。

  # 假设'B'列是数值型，存在线性趋势，用线性插值
  df_interpolated_B = df.copy()
  df_interpolated_B['B'] = df_interpolated_B['B'].interpolate(method='linear')
  print("\n'B'列线性插值后：")
  print(df_interpolated_B)

总结一下我的选择逻辑：

1. 看缺失率： 极低就删，极高也删（列）。
2. 看数据类型： 数值用均值/中位数/插值，类别用众数。
3. 看数据结构： 时间序列优先考虑前后向填充或插值。
4. 看缺失模式： 如果缺失非随机（MNAR），常规填充可能引入偏差，这时可能需要更复杂的模型或改变数据收集方式。
5. 目标导向： 最终的填充效果要服务于后续的分析或模型训练。有时，我甚至会尝试多种填充方法，然后比较模型效果，来决定哪种是最好的。

这是一个迭代和实验的过程，没有一劳永逸的方案。

缺失值处理后如何评估数据质量？避免“过度清洗”的陷阱

当我们完成了缺失值处理，无论是删除还是填充，我都觉得这只是完成了第一步。接下来的“评估”环节，在我看来，才是真正体现数据分析师功力的地方。如果不做评估，我们很可能就掉进了“过度清洗”的陷阱，最终得到一个看起来很完美，实则漏洞百出的数据集。

1. 再次确认缺失值是否已处理干净： 最直接的，就是再运行一次df.isnull().sum()。确保所有列的缺失值数量都变成了0（或者符合你处理后的预期）。

# 假设df_processed是处理后的DataFrame
print("\n处理后各列缺失值数量：")
print(df_processed.isnull().sum())

如果还有，那说明处理逻辑有漏网之鱼，需要回溯。

2. 检查数据分布的变化： 这是关键！填充操作会改变数据的原始分布，而这种改变是否合理，直接影响后续分析的准确性。

• 数值型特征：

  • 直方图/核密度图： 对比处理前后该特征的直方图或核密度图。如果用均值/中位数填充，你可能会看到在均值/中位数位置出现一个明显的“高峰”，这表明你引入了大量相同的数值，可能会影响模型的敏感度。
  • 箱线图： 观察填充后异常值的变化，以及数据整体的离散程度。
  • 统计描述： 比较处理前后df.describe()的结果，特别是均值、中位数、标准差等，看它们的变化是否在可接受范围内。

• 类别型特征：

  • 计数统计： 比较填充前后各类别值的频数。众数填充会使得众数类别变得更加突出。

# 示例：假设'A'列处理前后对比
# fig, axes = plt.subplots(1, 2, figsize=(12, 5))
# df['A'].hist(ax=axes[0], bins=10)
# axes[0].set_title('Original A Distribution')
# df_processed['A'].hist(ax=axes[1], bins=10)
# axes[1].set_title('Processed A Distribution')
# plt.show()
# print(df['A'].describe())
# print(df_processed['A'].describe())

3. 评估特征之间的关系（相关性）： 填充操作可能会改变特征之间的相关性。例如，你用特征B的均值填充了特征A的缺失值，那么特征A和B之间的相关性可能会被削弱或扭曲。使用热力图或散点图矩阵来观察处理前后特征相关性的变化。

# 示例：处理前后相关性矩阵对比
# import seaborn as sns
# sns.heatmap(df.corr(), annot=True, cmap='coolwarm')
# plt.title('Original Correlation Matrix')
# plt.show()
# sns.heatmap(df_processed.corr(), annot=True, cmap='coolwarm')
# plt.title('Processed Correlation Matrix')
# plt.show()

4. 运行简单的模型或分析任务： 这是最直接的验证方法。用处理前后的数据分别跑一个简单的模型（比如线性回归、决策树），看看模型的性能（R-squared

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。