Pandas行对比对生成匹配结果技巧

golang学习网今天将给大家带来《Pandas高效比对行对生成匹配结果》，感兴趣的朋友请继续看下去吧！以下内容将会涉及到等等知识点，如果你是正在学习文章或者已经是大佬级别了，都非常欢迎也希望大家都能给我建议评论哈~希望能帮助到大家！

本教程详细介绍了如何使用Pandas在DataFrame中高效比对成对的“源”和“目标”行。文章通过创建辅助标识符来识别行对，并逐对比较指定列的值。根据比对结果，为每对中的“源”行添加“通过”或“失败”标记，并优化输出格式。教程还涵盖了代码实现、潜在问题及解决方案，旨在提供一个清晰、专业的DataFrame数据匹配与结果标记方法。

引言：DataFrame行对数据比对需求

在数据处理和质量控制的场景中，我们经常需要比对两组相关数据以验证其一致性。例如，将源系统的数据（Source）与经过处理或传输后的目标系统数据（Target）进行比对，并标记出匹配或不匹配的情况。这种需求通常涉及在DataFrame中识别成对的行，并根据特定列的值进行比较，最终生成一个指示比对结果的新列。本教程将专注于解决这类问题，展示如何使用Pandas库实现高效且灵活的行对数据比对，并生成清晰的“Pass”/“Fail”结果标记。

数据结构与问题定义

假设我们有一个DataFrame，其中包含成对出现的“Source”和“Target”行。每对行通过其在Obs列中的顺序关系（例如，Obs=1是Source，Obs=2是其对应的Target）来标识。比对的目的是检查每对中Source行和Target行在Col1、Col2、Col3这几列上的值是否完全一致。

以下是示例输入数据的结构：

我们期望的输出是在Source行中添加一个Result列，指示该行对的比对结果（“Pass”或“Fail”），而Target行的Result列则保持为空，同时调整列的顺序以符合可视化需求：

核心实现：基于行对的精确比对

解决这个问题的关键在于准确识别每一对“Source”和“Target”行，然后对它们进行逐列比较。

步骤一：准备数据与识别行对

首先，我们需要创建一个示例DataFrame，并初始化Result列。为了将“Source”和“Target”行逻辑上关联起来形成一个“对”，我们可以利用Obs列的顺序性来生成一个pair_id。由于Obs是连续的且Source/Target成对出现，我们可以通过简单的数学运算来创建这个标识符。

import pandas as pd

# 示例DataFrame
data = {
    'Obs': [1, 2, 3, 4, 5, 6],
    'Dataset': ['Source', 'Target', 'Source', 'Target', 'Source', 'Target'],
    'Col1': ['A', 'A', 'B', 'B', 'C', 'D'],
    'Col2': [10, 10, 20, 20, 30, 30],
    'Col3': ['X', 'X', 'Y', 'Y', 'Z', 'Z']
}
df = pd.DataFrame(data)

# 复制DataFrame进行操作，避免修改原始数据
df_processed = df.copy()

# 初始化'Result'列
df_processed['Result'] = ''

# 创建一个辅助列 'pair_id' 来标识每一对行
# (Obs - 1) // 2 会为 (1,2) 得到 0, 为 (3,4) 得到 1, 以此类推
df_processed['pair_id'] = (df_processed['Obs'] - 1) // 2

print("添加pair_id后的DataFrame:")
print(df_processed)

输出示例:

添加pair_id后的DataFrame:
   Obs Dataset Col1  Col2 Col3 Result  pair_id
0    1  Source    A    10    X             0
1    2  Target    A    10    X             0
2    3  Source    B    20    Y             1
3    4  Target    B    20    Y             1
4    5  Source    C    30    Z             2
5    6  Target    D    30    Z             2

步骤二：逐对比较与结果判定

有了pair_id，我们就可以使用groupby()方法按pair_id分组，然后对每个组应用一个自定义函数来执行比对逻辑。

# 定义需要比较的列
compare_columns = ['Col1', 'Col2', 'Col3']

# 定义一个函数来比较每一对Source和Target行
def compare_source_target_pair(group):
    source_row = group[group['Dataset'] == 'Source']
    target_row = group[group['Dataset'] == 'Target']

    # 确保Source和Target行都存在于组中
    if source_row.empty or target_row.empty:
        # 如果某对不完整，可以根据业务需求返回特定状态或抛出错误
        # 在本例中，我们假设每对都是完整的
        return 'Incomplete Pair'

    # 提取Source和Target行的值（使用iloc[0]获取Series）
    source_values = source_row.iloc[0][compare_columns]
    target_values = target_row.iloc[0][compare_columns]

    # 比较所有指定列的值是否完全一致
    # 使用 .equals() 方法可以进行Series的精确比较，包括数据类型和顺序
    match = source_values.equals(target_values)

    return 'Pass' if match else 'Fail'

# 将比较函数应用到每个行对
# .apply() 方法会将每个组作为一个DataFrame传递给函数
pair_results = df_processed.groupby('pair_id').apply(compare_source_target_pair)

print("\n每对行的比对结果:")
print(pair_results)

输出示例:

每对行的比对结果:
pair_id
0    Pass
1    Pass
2    Fail
dtype: object

步骤三：整合结果与格式化输出

最后一步是将比对结果映射回原始DataFrame的Source行，并对DataFrame进行清理和格式化，使其符合期望的输出结构。

# 将比对结果映射回原始DataFrame的'Result'列
# 遍历pair_results，将结果赋给对应pair_id的Source行
for pair_id, result_status in pair_results.items():
    # 找到当前pair_id中'Source'行的索引
    source_index = df_processed[(df_processed['pair_id'] == pair_id) & (df_processed['Dataset'] == 'Source')].index
    if not source_index.empty:
        df_processed.loc[source_index[0], 'Result'] = result_status

# 删除临时创建的'pair_id'列
df_processed = df_processed.drop(columns=['pair_id'])

# 调整列的顺序以符合期望的输出格式
final_columns_order = ['Obs', 'Dataset', 'Result', 'Col1', 'Col2', 'Col3']
df_final = df_processed[final_columns_order]

print("\n最终比对结果DataFrame:")
print(df_final)

最终输出:

最终比对结果DataFrame:
   Obs Dataset Result Col1  Col2 Col3
0    1  Source   Pass    A    10    X
1    2  Target          A    10    X
2    3  Source   Pass    B    20    Y
3    4  Target          B    20    Y
4    5  Source   Fail    C    30    Z
5    6  Target          D    30    Z

替代方案与适用场景：基于pd.merge的匹配

虽然上述基于groupby().apply()的方法非常适合处理严格的“行对”比对，但在某些情况下，我们可能需要更通用的匹配逻辑，例如查找在两个独立数据集中都存在的记录。Pandas的pd.merge函数在此类场景中非常强大。

如果你的需求是：

1. 将“Source”和“Target”视为两个独立的数据集。
2. 找出在两个数据集中，Col1, Col2, Col3这些列值都完全相同的记录。
3. 不关心原始的Obs顺序或严格的“成对”关系，而是查找“共同存在的记录”。

那么，pd.merge结合how='inner'是一个更简洁的选择。它会返回所有在两个DataFrame中，基于指定键（即`Col1

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~