Pandas重复值识别与提取方法

从现在开始，努力学习吧！本文《Pandas重复值识别与提取教程》主要讲解了等等相关知识点，我会在golang学习网中持续更新相关的系列文章，欢迎大家关注并积极留言建议。下面就先一起来看一下本篇正文内容吧，希望能帮到你！

本教程将深入探讨如何利用Pandas库高效识别DataFrame中包含多个相同值的行，并提供两种实用的提取方法：一是获取这些行中非重复或首次出现的值，二是仅提取重复出现的值。我们将通过df.duplicated(axis=1)等核心功能，结合具体示例代码，详细讲解实现步骤与技巧。

数据准备

在数据分析和处理中，经常需要识别并处理数据集中行内存在的重复值。例如，在一个包含多个测量值的行中，我们可能需要找出哪些行包含了至少两个相同的测量结果，并进一步提取这些重复值或非重复值。

首先，我们创建一个示例DataFrame来模拟这种场景：

import numpy as np
import pandas as pd

df = pd.DataFrame([[1,1,2,4,5,6,7,7],
            [2,5,6,7,22,23,34,48],
            [3,3,5,6,7,45,46,48],
            [4,6,7,14,29,32,6,29], # 行内有重复值 6 和 29
            [5,6,7,13,23,33,35,7], # 行内有重复值 7
            [6,1,6,7,8,9,10,8],
            [7,0,2,5,7,19,7,5]], # 行内有重复值 7 和 5
            columns = ['Row_Num', 'Num1','Num2','Num3','Num4','Num5','Num6','Num7'])

print("原始DataFrame:")
print(df)

我们的目标是从Num1到Num7这些列中，找出那些包含多个相同值的行，并根据需求提取不同的结果。

核心步骤：识别行内重复值

要识别行内的重复值，Pandas提供了duplicated()方法。关键在于正确使用axis参数。

1. 设置索引

为了更方便地进行行级操作和结果的追踪，我们通常会将表示行号的列（例如Row_Num）设置为DataFrame的索引。

df_indexed = df.set_index('Row_Num')
print("\n设置Row_Num为索引后的DataFrame:")
print(df_indexed)

2. 生成重复值布尔掩码

df.duplicated(axis=1)方法用于检测行内（axis=1）的重复值。然而，直接应用于DataFrame会返回整个DataFrame的布尔值。更灵活的方法是使用df.transform()结合lambda函数，对每一行应用pd.Series.duplicated()。

# 对每一行应用duplicated()方法，生成一个布尔DataFrame，指示每个元素是否为行内重复值
df_duplicated_mask = df_indexed.transform(lambda x: x.duplicated(), axis=1)
print("\n行内重复值布尔掩码 (df_duplicated_mask):")
print(df_duplicated_mask)

在这个布尔掩码中，True表示该位置的值在其所在行中是重复出现的（即不是第一次出现）。

筛选包含重复值的目标行

现在我们有了指示哪些值是重复的布尔掩码，下一步是识别哪些行整体上包含“多个相同值”。根据问题描述，这意味着一行中至少有一个值出现了两次或更多次。我们可以通过计算每行df_duplicated_mask中True的数量来判断。如果某行True的数量大于等于1（即sum(axis=1) >= 1），就说明该行包含重复值。原始问题中提到“more than 1 of the same values”，即至少有两个相同的值，这意味着至少有一个值被标记为重复。因此，我们筛选df_duplicated_mask.sum(axis=1) >= 1的行。

# 筛选出至少包含一个重复值的行
# 注意：df.duplicated()默认标记除第一次出现外的所有重复项。
# 因此，如果一行中有一个值重复，那么至少会有一个True。
rows_with_duplicates_condition = df_duplicated_mask.sum(axis=1) >= 1 
print("\n筛选出包含重复值的行（布尔序列）:")
print(rows_with_duplicates_condition)

# 应用条件筛选原始DataFrame和布尔掩码
target_df = df_indexed[rows_with_duplicates_condition]
target_duplicated_mask = df_duplicated_mask[rows_with_duplicates_condition]

print("\n筛选后的目标DataFrame (target_df):")
print(target_df)
print("\n筛选后的重复值布尔掩码 (target_duplicated_mask):")
print(target_duplicated_mask)

提取结果一：非重复值或首次出现值

第一种提取需求是获取这些目标行中，那些非重复出现的值，或者说是首次出现的值。这可以通过将目标DataFrame与布尔掩码的反向进行逻辑与操作来实现。

# 使用 ~target_duplicated_mask 筛选出非重复值或首次出现的值
# .dropna(axis=1) 用于移除筛选后可能产生的全NaN列
result1 = target_df[~target_duplicated_mask].dropna(axis=1)
print("\n结果一：非重复值或首次出现值 (result1):")
print(result1)

结果分析: 对于Row_Num为4的行，原始数据是 [6,7,14,29,32,6,29]。重复值是6和29。~target_duplicated_mask会保留6、7、14、29、32（即第一次出现的6和29，以及其他非重复值）。 对于Row_Num为7的行，原始数据是 [0,2,5,7,19,7,5]。重复值是7和5。~target_duplicated_mask会保留0、2、5、7、19。

这个结果与问题中df2的示例输出基本一致，它返回了每行中所有非重复值以及重复值第一次出现的位置。

提取结果二：仅重复值

第二种需求是仅提取这些目标行中重复出现的值。这可以通过将目标DataFrame与布尔掩码本身进行逻辑与操作来实现。

# 使用 target_duplicated_mask 筛选出重复值
# .dropna(axis=1) 用于移除筛选后可能产生的全NaN列
result2 = target_df[target_duplicated_mask].dropna(axis=1)
print("\n结果二：仅重复值 (result2):")
print(result2)

结果分析: 对于Row_Num为4的行，原始数据是 [6,7,14,29,32,6,29]。重复值是6和29。target_duplicated_mask会标记第二次出现的6和29。 对于Row_Num为7的行，原始数据是 [0,2,5,7,19,7,5]。重复值是7和5。target_duplicated_mask会标记第二次出现的7和5。

这个结果与问题中df3的示例输出完全一致，它成功提取了每行中被标记为重复的值。

输出格式调整与注意事项

1. 重置索引和列名调整

如果需要将Row_Num从索引恢复为普通列，并调整列名以匹配特定的输出格式，可以使用reset_index()和列重命名操作。

# 示例：对result2进行重置索引和列重命名
final_result2 = result2.reset_index()
# 根据实际提取的重复值数量，手动调整列名
# 例如，如果知道最多只有两列重复值，可以这样命名
final_result2.columns = ['Row_Num', 'Num_Dup1', 'Num_Dup2'] 
print("\n调整格式后的结果二:")
print(final_result2)

2. duplicated()方法的行为

• 默认行为: pd.Series.duplicated()（以及DataFrame.duplicated()）默认标记除第一次出现外的所有重复项（keep='first'）。这意味着如果一个值出现3次，只有第2和第3次会被标记为True。
• 标记所有重复项: 如果需要将所有重复项（包括第一次出现）都标记为True，可以使用keep=False参数。

  # 示例：标记所有重复项
  df_duplicated_all_mask = df_indexed.transform(lambda x: x.duplicated(keep=False), axis=1)
  print("\n标记所有重复项的布尔掩码:")
  print(df_duplicated_all_mask)

  根据具体需求选择keep参数的值。在本教程的场景中，默认的keep='first'足以识别“有重复值”的行并提取后续重复项。

3. NaN值处理

如果原始数据中包含NaN值，duplicated()方法默认会将它们视为不相等的值（即NaN == NaN为False），因此NaN不会被标记为重复。如果需要将NaN视为重复值，可能需要在执行duplicated()之前对NaN进行填充（例如，使用一个特殊值），或者进行其他预处理。

4. 性能考量

对于非常大的DataFrame，transform结合lambda可能会有性能开销。在极端情况下，可以考虑使用更底层的NumPy操作或针对特定场景优化的库来提高效率。然而，对于大多数常见的数据集，Pandas的内置方法通常足够高效。

总结

本教程详细介绍了如何在Pandas DataFrame中高效地识别并提取行内重复值。通过以下核心步骤，我们可以灵活地处理这类数据清洗和特征工程任务：

1. 设置索引：便于行级操作和结果追踪。
2. 生成布尔掩码：利用df.transform(lambda x: x.duplicated(), axis=1)精确识别行内重复值。
3. 筛选目标行：根据布尔掩码的总和筛选出包含重复值的行。
4. 按需提取：根据~mask（非重复值/首次出现）或mask（仅重复值）来提取所需数据。

掌握这些技术，将大大提升您在处理复杂数据结构时的数据操作能力，为后续的数据分析和建模奠定坚实基础。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~