Python数据清洗技巧：pandas高效使用教程

有志者，事竟成！如果你在学习文章，那么本文《Python数据清洗技巧：pandas实用指南》，就很适合你！文章讲解的知识点主要包括，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

处理缺失值的常用策略有：1. 使用dropna()删除缺失值，适用于缺失比例小或缺失行无价值的情况；2. 使用fillna()填充，包括固定值填充、均值/中位数/众数填充、前后向填充（ffill/bfill）；3. 使用interpolate()进行插值填充，适用于有趋势性的数据；4. 利用模型预测缺失值，精度高但复杂度高；5. 保留缺失值作为特征，因“缺失”本身可能蕴含信息。处理重复数据的方法是：1. 用duplicated()识别重复行，可指定列和保留规则；2. 用drop_duplicates()删除重复行，建议先统计重复数量再决定处理方式。识别异常值的方法包括：1. 使用Z-score或IQR等统计方法判断偏离程度；2. 通过箱线图或散点图可视化发现异常点；处理异常值可选择删除、修正、替换或保留，需结合业务背景判断。数据类型转换与格式标准化至关重要：1. 使用astype()或pd.to_numeric()、pd.to_datetime()确保数据类型正确，避免计算错误；2. 通过str.lower()、str.strip()、str.replace()等方法统一字符串格式；3. 运用正则表达式或map()实现复杂映射和归一化。这些步骤共同保障数据质量，为后续分析和建模奠定坚实基础。

Python实现数据清洗，核心在于巧妙运用pandas库提供的各种功能。它不仅仅是处理表格数据的利器，更是我们与那些“不听话”的数据打交道的强大助手。通过一系列灵活的操作，我们能把杂乱无章的数据整理成规整、可用的形式，为后续的分析和建模奠定坚实基础。

解决方案

数据清洗，在我看来，更多像是一场侦探工作，你需要找出数据里的“脏东西”，然后决定怎么处理它们。Pandas在这个过程中提供了很多趁手的工具。

首先是处理缺失值。数据里有空值是很常见的事，如果直接拿去分析，结果往往会跑偏。Pandas的isnull()和notnull()方法能帮你快速定位这些缺失值，而dropna()和fillna()则是处理它们的左右手。dropna()可以根据你的需求（比如删除含有任何缺失值的行，或者只删除特定列有缺失值的行）直接删掉数据，但要小心，别把有用的信息也给误删了。fillna()则更灵活，你可以用一个固定值、平均值、中位数，甚至是前一个或后一个有效值来填充缺失的地方。我个人更倾向于根据业务背景来选择填充策略，有时候简单粗暴的均值填充可能比你想象的更糟糕。

接着是重复值。数据集里出现完全一样的行，或者某些关键字段重复，这会严重影响分析结果的准确性。duplicated()方法能帮你找出哪些行是重复的，而drop_duplicates()则能一键清除它们。通常，我会先用duplicated()看看有多少重复，心里有个数，再决定是全部删除，还是保留第一条或最后一条。

然后是数据类型转换。从数据库或者CSV文件里读进来的数据，pandas不一定能正确识别它们的类型。比如，数字可能被读成了字符串，日期可能只是普通的文本。astype()方法是解决这个问题的万能钥匙，它可以强制转换列的数据类型。对于日期时间，pd.to_datetime()更是神器，它能把各种格式的日期字符串解析成标准的日期时间对象，这对于时间序列分析至关重要。

格式不统一也是个大麻烦。比如，一个列里有的数据是“男”，有的是“M”，还有的是“male”。这时候，字符串方法就派上用场了。通过.str访问器，你可以使用各种字符串操作，比如lower()转换大小写，replace()替换特定字符串，或者用正则表达式str.contains()、str.replace()来做更复杂的匹配和替换。我经常用map()或者apply()配合自定义函数来做更精细的映射和标准化。

最后是异常值处理。虽然pandas没有直接提供一个“清除异常值”的函数，但它提供了识别异常值的工具。你可以用统计学方法（比如计算Z-score或者IQR）来找出那些偏离“正常”范围太远的数据点，然后决定是删除它们、修正它们，还是把它们视为特殊情况单独处理。可视化（比如箱线图）也是识别异常值的好方法，它能让你直观地看到数据分布的“怪异”之处。

处理缺失值有哪些常用策略？

处理缺失值，绝不是简单的“填”或“删”就能概括的，它更像是一门艺术，需要你结合实际场景和数据特性来选择。最直接的方法，当然是dropna()。如果你确信缺失值所在的整行或整列数据已经毫无价值，或者缺失比例非常小，不影响整体数据量，那么直接删除确实是最省心的。比如，一个用户注册信息里，如果手机号和邮箱都缺失了，那这条记录可能确实没啥用。但如果只是某个不重要的字段缺失，而其他信息都很完整，直接删除整行就太可惜了。

这时候，fillna()就显得尤为重要。填充策略多种多样：

• 固定值填充： 当你知道缺失值应该是什么（比如，性别缺失时默认填充“未知”），或者某个字段的默认值就是某个特定值时，直接用df['column'].fillna('默认值')很有效。
• 统计量填充： 用均值（mean()）、中位数（median()）或众数（mode()[0]）来填充数值型缺失值。中位数对异常值更鲁棒，而众数则适用于类别数据。这是一种常见的做法，但它有个缺点，就是可能会降低数据的方差，让数据看起来“更集中”。
• 前后向填充： ffill()（forward fill）和bfill()（backward fill）非常适用于时间序列数据。它们会用前一个或后一个有效值来填充缺失值。比如，股票价格数据如果某天缺失了，用前一天的价格来近似是个不错的选择。
• 插值法： interpolate()方法则更高级，它可以根据数据点的趋势来“猜测”缺失值。比如线性插值、多项式插值等等。这在数据有明显趋势性时非常有用，但如果数据波动性大，插值结果可能就不那么准确了。
• 模型预测： 这是最复杂但也可能最准确的方法。你可以把含有缺失值的列作为目标变量，用其他列作为特征，训练一个机器学习模型来预测缺失值。当然，这需要更多的时间和精力投入。

选择哪种策略，真的要看你手里的是什么数据，以及你希望这些数据最终能用来做什么。有时候，保留缺失值作为一种特征，也未尝不可，毕竟“缺失”本身也可能蕴含着某种信息。

如何识别并清除重复数据与异常值？

识别和清除数据中的重复项与异常值，是数据清洗中非常关键的一步，它们直接影响分析的准确性和模型的鲁棒性。

对于重复数据，Pandas提供了非常直观的工具：

• df.duplicated(subset=None, keep='first')：这个方法是找出重复行的核心。subset参数可以让你指定哪些列参与重复判断。如果不指定，则判断所有列都相同的行。keep参数则决定了如何标记重复项：
  • 'first' (默认)：标记除第一次出现以外的所有重复项为True。
  • 'last'：标记除最后一次出现以外的所有重复项为True。
  • False：标记所有重复项为True。 通过df[df.duplicated()]，你就能看到所有被标记为重复的行。
• df.drop_duplicates(subset=None, keep='first', inplace=False)：在识别出重复行之后，通常我们会选择删除它们。drop_duplicates()方法可以直接完成这个操作。它的参数与duplicated()类似，inplace=True则会直接修改原DataFrame。我的经验是，先用duplicated().sum()看看有多少重复，心里有数了再决定怎么删。有时候，重复数据本身就是一种错误，比如系统录入两次；但有时候，它可能只是数据收集方式导致的，需要你更谨慎地对待。

至于异常值，它们是数据集中那些显著偏离其他观测值的点。识别异常值没有一个放之四海而皆准的“万能公式”，因为“异常”往往是相对的，取决于你的业务场景和数据分布。然而，Pandas结合统计学和可视化方法，能帮你很好地定位它们：

• 统计学方法：
  • Z-score (标准分数)： 对于服从正态分布的数据，Z-score可以衡量一个数据点偏离均值的标准差倍数。通常，Z-score的绝对值超过2或3就被认为是异常值。你可以自己计算：(x - mean) / std，然后筛选出Z-score过大的数据。
  • IQR (四分位距)： 这种方法对非正态分布的数据也有效。IQR是第三四分位数（Q3）与第一四分位数（Q1）之差。异常值通常定义为小于Q1 - 1.5 * IQR或大于Q3 + 1.5 * IQR的数据点。Pandas的quantile()方法可以帮你计算Q1和Q3。
• 可视化方法：
  • 箱线图 (Box Plot)： 这是识别异常值最直观的方法之一。箱线图会显示数据的四分位数、中位数，以及“胡须”之外的点，这些点通常就被认为是异常值。使用df.boxplot()可以轻松绘制。
  • 散点图 (Scatter Plot)： 对于多变量数据，散点图可以帮助你发现数据点在多个维度上的异常组合。
• 处理异常值： 识别出异常值后，处理方式也多种多样：
  • 删除： 如果异常值是数据录入错误或测量误差造成的，且数量不多，直接删除是最简单的方法。
  • 修正/替换： 如果异常值是合理的，但数值过大或过小会影响模型，可以考虑用均值、中位数或其他合理值替换，或者进行数据转换（如对数转换）来减小其影响。
  • 保留： 有时，异常值本身就是重要的信息，比如欺诈交易、罕见疾病病例等。这时候，不应简单删除，而是应该深入分析其原因。

总的来说，处理重复值通常比较直接，而处理异常值则需要更多的领域知识和判断力。

数据类型转换与格式标准化在清洗中有多重要？

数据类型转换和格式标准化在数据清洗中，其重要性怎么强调都不为过。它们是确保数据能够被正确理解、有效分析乃至被机器学习模型接受的基础。如果数据类型不对，或者格式五花八门，后续的一切操作都可能出错，甚至导致“垃圾进，垃圾出”的悲剧。

想象一下，你从一个CSV文件读取了一列“销售额”，结果Pandas把它识别成了字符串（object类型），而不是数字。如果你直接尝试对它求和或者计算平均值，Pandas会报错，或者给出毫无意义的结果。这就是数据类型不正确带来的最直接问题。

• df['column'].astype(desired_type)：这是最常用的数据类型转换方法。你可以将字符串转换为整数（int）、浮点数（float）、布尔值（bool）等。
• pd.to_numeric(df['column'], errors='coerce')：这个函数专门用于将列转换为数值类型。errors='coerce'参数非常实用，它会将无法转换的值强制转换为NaN（缺失值），而不是直接报错，这给了你处理“脏”数据的机会。
• pd.to_datetime(df['date_column'], format='%Y-%m-%d', errors='coerce')：日期时间数据尤其复杂，因为它们的格式千变万化。pd.to_datetime是处理日期时间的神器，它能智能识别多种日期格式，你也可以通过format参数明确指定格式。同样，errors='coerce'可以避免因为少数无法解析的日期而中断整个转换过程。

而格式标准化，则更多地体现在字符串数据的处理上。比如，一个“城市”列里，有“北京”、“北京市”、“beijing”等多种表示方式。如果不统一，系统会认为它们是不同的城市，导致统计错误。

• 大小写统一： df['column'].str.lower() 或 df['column'].str.upper() 可以将所有文本统一为小写或大写，避免因大小写不同而产生重复。
• 去除空格： df['column'].str.strip() 可以去除字符串两端的空格，str.replace(' ', '')可以去除所有空格。多余的空格常常是数据不一致的隐形杀手。
• 替换不规范字符： df['column'].str.replace('旧字符', '新字符') 可以替换掉不规范的字符。比如，将“N/A”替换为NaN，或者将“Male”替换为“M”。
• 正则表达式应用： 对于更复杂的模式匹配和替换，str.contains(), str.extract(), str.replace() 结合正则表达式是强大的工具。比如，从混杂的文本中提取电话号码或者邮政编码。
• 映射/归一化： 当你有很多表示相同含义的不同字符串时，可以使用map()方法配合一个字典进行映射，或者用apply()方法结合自定义函数来实现更复杂的归一化逻辑。

数据类型和格式的标准化，不仅让数据更“干净”，更重要的是，它为后续的数值计算、文本分析、特征工程以及机器学习模型的训练提供了可靠的基础。没有这一步，再精妙的算法也可能在“脏数据”面前束手无策。这就像盖房子，地基不稳，再漂亮的建筑也只是空中楼阁。

到这里，我们也就讲完了《Python数据清洗技巧：pandas高效使用教程》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于异常值,数据清洗,Pandas,重复数据,缺失值的知识点！