Python数据清洗：缺失值处理技巧

在数据分析中，Python凭借Pandas、NumPy等强大的库，成为数据清洗的利器。本文聚焦于Python数据清洗中的关键环节——缺失值处理，并深入探讨实用技巧。首先，利用`isnull().sum()`等函数快速定位并统计DataFrame中的缺失值，为后续处理奠定基础。然后，详细讲解了多种填充方法，包括使用常数、均值、中位数、众数以及插值法等，并分析了各种方法的适用场景。此外，还介绍了删除缺失行/列的方法，并强调了评估删除操作对数据分析结果影响的重要性。除了Pandas，NumPy和Scikit-learn等库也能辅助数据清洗。

答案：数据清洗需用Pandas、NumPy等库处理缺失值与异常值。先用isnull().sum()统计缺失值，再按需填充均值、中位数或插值，也可删除缺失行/列；结合业务判断异常值处理方式，可用SimpleImputer等工具辅助清洗。

Python代码清洗数据，核心在于利用各种库（如Pandas、NumPy）来处理数据中的脏数据、缺失值、异常值等，让数据更干净、更规范，从而提升后续分析的准确性。处理缺失值是数据清洗的重要一环，常见的技巧包括删除、填充（均值、中位数、众数、特定值）、插值等。

解决方案

数据清洗是一个迭代的过程，没有一蹴而就的方法。你需要先理解数据的含义，然后根据具体情况选择合适的清洗策略。以下是一些常用的Python数据清洗技巧，重点关注缺失值处理。

如何快速定位并统计Python DataFrame中的缺失值？

使用Pandas DataFrame时，快速定位和统计缺失值是数据清洗的第一步。isnull()和isna()函数可以用来检测缺失值，sum()函数则可以统计每列的缺失值数量。

import pandas as pd
import numpy as np

# 创建一个包含缺失值的DataFrame
data = {'col1': [1, 2, np.nan, 4],
        'col2': [5, np.nan, 7, 8],
        'col3': [9, 10, 11, np.nan]}
df = pd.DataFrame(data)

# 检测缺失值并统计
missing_values = df.isnull().sum()
print("每列缺失值数量：\n", missing_values)

# 或者使用 isna()
missing_values_isna = df.isna().sum()
print("\n每列缺失值数量 (使用 isna()):\n", missing_values_isna)

这段代码首先创建了一个包含缺失值的DataFrame。然后，使用isnull().sum()和isna().sum()来统计每列的缺失值数量。这两个函数的效果是相同的。输出结果会告诉你每列有多少个缺失值，方便你决定下一步的处理策略。如果想查看具体哪些行包含缺失值，可以用df[df.isnull().any(axis=1)]。

Python中填充缺失值有哪些常用的方法？

填充缺失值是数据清洗中常见的操作。Pandas提供了多种填充方法，包括使用常数、均值、中位数、众数，以及使用插值法。

• 使用常数填充：

df_filled_constant = df.fillna(0) # 将所有缺失值填充为0
print("\n使用常数填充后的DataFrame：\n", df_filled_constant)

• 使用均值、中位数、众数填充：

df_filled_mean = df.fillna(df.mean()) # 使用均值填充
print("\n使用均值填充后的DataFrame：\n", df_filled_mean)

df_filled_median = df.fillna(df.median()) # 使用中位数填充
print("\n使用中位数填充后的DataFrame：\n", df_filled_median)

df_filled_mode = df.fillna(df.mode().iloc[0]) # 使用众数填充
print("\n使用众数填充后的DataFrame：\n", df_filled_mode)

• 使用插值法填充：

df_interpolated = df.interpolate() # 使用线性插值填充
print("\n使用插值法填充后的DataFrame：\n", df_interpolated)

选择哪种填充方法取决于数据的性质和业务需求。例如，对于数值型数据，可以使用均值或中位数填充；对于时间序列数据，可以使用插值法。

如何删除包含缺失值的行或列，并评估其影响？

删除包含缺失值的行或列是一种简单粗暴的方法，但需要谨慎使用，因为它可能导致数据丢失。在删除之前，应该评估缺失值的比例以及删除操作对数据分析结果的影响。

# 删除包含缺失值的行
df_dropna_rows = df.dropna()
print("\n删除包含缺失值的行后的DataFrame：\n", df_dropna_rows)

# 删除包含缺失值的列 (不推荐，除非该列缺失值过多)
df_dropna_cols = df.dropna(axis=1)
print("\n删除包含缺失值的列后的DataFrame：\n", df_dropna_cols)

在删除行或列之前，最好先计算缺失值的比例，如果缺失值比例过高，删除可能会导致数据量大幅减少，影响分析结果。可以使用以下代码计算每列的缺失值比例：

missing_percentage = df.isnull().sum() / len(df)
print("\n每列缺失值比例：\n", missing_percentage)

根据缺失值比例和业务需求，综合考虑是否删除行或列。

除了Pandas，还有哪些Python库可以用于数据清洗？

除了Pandas，还有一些其他的Python库可以用于数据清洗，例如NumPy、Scikit-learn等。

• NumPy： NumPy主要用于数值计算，可以用来处理数值型数据的缺失值和异常值。

import numpy as np

# 使用NumPy处理缺失值
data = np.array([[1, 2, np.nan], [4, np.nan, 6]])
# 创建一个包含缺失值的NumPy数组

# 使用NumPy填充缺失值 (例如，使用均值)
mean = np.nanmean(data) # 计算忽略缺失值的均值
data_filled = np.nan_to_num(data, nan=mean) # 将缺失值替换为均值
print("\n使用NumPy填充后的数组：\n", data_filled)

• Scikit-learn： Scikit-learn提供了一些用于数据预处理的工具，例如SimpleImputer，可以用来填充缺失值。

from sklearn.impute import SimpleImputer
import numpy as np

# 创建一个包含缺失值的NumPy数组
data = np.array([[1, 2, np.nan], [4, np.nan, 6]])

# 使用SimpleImputer填充缺失值
imputer = SimpleImputer(strategy='mean') # 使用均值填充
data_filled = imputer.fit_transform(data)
print("\n使用Scikit-learn填充后的数组：\n", data_filled)

选择哪个库取决于你的具体需求和数据类型。Pandas更适合处理结构化数据，NumPy更适合处理数值型数据，Scikit-learn提供了一些更高级的预处理工具。

如何处理Python数据清洗中常见的异常值？

异常值是指明显偏离正常范围的数据点。处理异常值的方法包括删除、替换、缩尾等。

• 删除异常值：

可以使用条件筛选来删除异常值。例如，删除大于3倍标准差的数据点：

# 删除大于3倍标准差的异常值
std = df['col1'].std()
mean = df['col1'].mean()
df_filtered = df[(df['col1'] >= mean - 3 * std) & (df['col1'] <= mean + 3 * std)]
print("\n删除异常值后的DataFrame：\n", df_filtered)

• 替换异常值：

可以将异常值替换为特定的值，例如均值、中位数，或者上下限值。

# 将大于3倍标准差的异常值替换为上限值
upper_limit = mean + 3 * std
df['col1'] = np.where(df['col1'] > upper_limit, upper_limit, df['col1'])
print("\n替换异常值后的DataFrame：\n", df)

• 缩尾：

缩尾是指将超出一定范围的数据点拉回到该范围内。例如，将大于99%分位数的数据点替换为99%分位数的值，将小于1%分位数的数据点替换为1%分位数的值。

处理异常值需要结合业务知识和数据特点，选择合适的处理方法。没有一种方法适用于所有情况。

本篇关于《Python数据清洗：缺失值处理技巧》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！