Pandas快速识别新零售商：条件列创建教程

本文介绍了如何利用 Pandas 高效识别新零售商，并创建相应的条件列。针对用户行为数据，通过对比前后观察期的数据集，找出“后观察期”新增的零售商。文章详细阐述了两种实用方法：一是使用 `pd.merge` 函数结合 `indicator` 参数，通过合并操作标记新零售商；二是创建 `MultiIndex` 对象，并结合 `isin` 方法进行多列条件判断，直接在原始 DataFrame 上添加标志。这两种方法各有优势，读者可以根据实际数据量、重复值情况以及代码可读性等因素选择合适的方法，从而高效地进行数据分析和处理。

本文旨在指导读者如何使用 Pandas 在用户行为数据中识别特定时期内出现的新零售商。我们将探讨两种高效的方法：利用 pd.merge 的 indicator 参数进行合并分析，以及通过创建 MultiIndex 并结合 isin 方法进行多列条件判断，最终为每个零售商记录生成一个“是否为新零售商”的条件列。

引言

在数据分析场景中，我们经常需要比较两个数据集，以识别在第二个数据集中出现但在第一个数据集中不存在的实体。例如，在用户行为分析中，我们可能需要找出用户在“后观察期”访问的哪些零售商是“前观察期”从未访问过的。这要求我们针对每个用户，比较其在两个时期内的零售商集合，并标记出新增的零售商。传统的 isin() 或 loc[] 方法在处理多列（如 user_id 和 retailer 组合）的条件判断时可能不够直观或高效。本教程将介绍两种使用 Pandas 解决此类问题的专业方法。

数据准备

首先，我们创建两个示例 DataFrame，分别代表用户在“前观察期”和“后观察期”的零售商访问记录。

import pandas as pd

# 前观察期数据
sample1 = pd.DataFrame(
    {
        'user_id': [45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2982, 2982],
        'retailer': ['retailer_1', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6', 
                     'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_1', 'retailer_2']
    }
)

# 后观察期数据
sample2 = pd.DataFrame(
    {
        'user_id': [45, 45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2673, 2982, 2982],
        'retailer': ['retailer_1', 'retailer_6', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6', 
                     'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_2', 'retailer_1', 'retailer_2']
    }
)

print("Sample 1 (前观察期):")
print(sample1)
print("\nSample 2 (后观察期):")
print(sample2)

我们的目标是在 sample2 中添加一个名为 is_new_retailer 的列，如果 sample2 中的某个 (user_id, retailer) 组合在 sample1 中不存在，则该列值为 1，否则为 0。

方法一：使用 pd.merge 的 indicator 参数

Pandas 的 merge 函数提供了一个 indicator 参数，当设置为 True 或一个字符串时，它会生成一个额外的列，指示每行记录的来源。这对于识别仅存在于左 DataFrame、仅存在于右 DataFrame 或同时存在于两者的数据非常有用。

1. 执行左合并: 我们将 sample2 作为左 DataFrame，sample1 作为右 DataFrame，基于 user_id 和 retailer 列进行左合并。indicator='is_new_retailer' 会创建一个新列来标记合并结果。
2. 解释 indicator 结果: indicator 列将包含 'left_only' (仅存在于 sample2)、'right_only' (仅存在于 sample1，但在左合并中不会出现) 或 'both' (同时存在于两者)。
3. 转换为二进制标志: 我们关注的是 'left_only' 的情况，这意味着该 (user_id, retailer) 组合在 sample2 中有，但在 sample1 中没有，即它是一个新零售商。我们将 'left_only' 转换为 1，其他情况转换为 0。

# 使用 left merge 和 indicator 参数
# 将 sample2 作为左表，sample1 作为右表
# indicator='is_new_retailer' 会生成一个名为 'is_new_retailer' 的列，
# 标记每行记录的来源 ('left_only', 'right_only', 'both')
merged_df = sample2.merge(sample1, on=['user_id', 'retailer'], how='left', indicator='is_new_retailer')

# 将 'is_new_retailer' 列的 'left_only' 值转换为 1 (表示新零售商)，其他转换为 0
# 'left_only' 意味着该组合只存在于 sample2 中，而不存在于 sample1 中
merged_df['is_new_retailer'] = merged_df['is_new_retailer'].eq('left_only').astype(int)

print("\n方法一：使用 pd.merge 的 indicator 参数")
print(merged_df)

注意事项： 这种方法在 (user_id, retailer) 组合在两个 DataFrame 中都是唯一的情况下表现完美。如果存在重复，merge 操作可能会产生额外的行，但这通常不是问题，因为我们通常关心的是组合的唯一性，而不是行的计数。

方法二：利用 MultiIndex.isin 进行多列条件判断

当需要基于多列的组合来检查成员关系时，创建 MultiIndex 是一个非常灵活且强大的方法。这种方法的核心思想是将多个列组合成一个复合索引，然后使用 Index.isin() 方法来检查一个复合索引中的元素是否存在于另一个复合索引中。

1. 创建 MultiIndex: 分别从 sample1 和 sample2 中选择 user_id 和 retailer 列，创建两个 MultiIndex 对象。
2. 使用 isin() 检查成员关系: 使用 sample2 的 MultiIndex 调用 isin() 方法，并传入 sample1 的 MultiIndex。这将返回一个布尔 Series，指示 sample2 中每个 (user_id, retailer) 组合是否在 sample1 中存在。
3. 转换为二进制标志: 将布尔 Series 取反 (~)，然后转换为整数类型 (astype(int))，其中 True (不在 sample1 中) 变为 1，False (在 sample1 中) 变为 0。

# 创建 sample2 的 MultiIndex，包含 user_id 和 retailer
mux1 = pd.MultiIndex.from_frame(sample2[['user_id', 'retailer']])
# 创建 sample1 的 MultiIndex，包含 user_id 和 retailer
mux2 = pd.MultiIndex.from_frame(sample1[['user_id', 'retailer']])

# 检查 mux1 中的每个组合是否在 mux2 中存在
# (~mux1.isin(mux2)) 表示：如果 mux1 中的组合不在 mux2 中，则为 True (即为新零售商)
sample2['is_new_retailer'] = (~mux1.isin(mux2)).astype(int)

print("\n方法二：利用 MultiIndex.isin 进行多列条件判断")
print(sample2)

优点： 这种方法在概念上更直接地表达了“检查一个多列组合是否存在于另一个多列组合集合中”的需求。它避免了 merge 操作可能带来的行数变化，直接在原始 DataFrame 上添加新列，尤其适用于需要精确控制行匹配的场景。

总结与注意事项

我们探讨了两种在 Pandas 中创建条件列以识别“新”实体的高效方法：

1. pd.merge 结合 indicator 参数: 适用于通过合并操作来识别左右 DataFrame独有或共有的记录。其优点是直观且代码简洁，尤其适合在合并过程中直接生成标志。
2. MultiIndex.isin 方法: 适用于需要基于多列组合进行成员关系检查的场景。它提供了更精细的控制，直接在原始 DataFrame 上进行判断，避免了合并可能带来的额外行。

在选择方法时，请考虑以下几点：

• 数据量: 对于非常大的数据集，两种方法的性能可能有所不同。merge 通常在 C 语言层面实现，可能在某些情况下更快，但 MultiIndex 的查找效率也很高。建议在实际应用中对大规模数据进行性能测试。
• 重复值处理: 两种方法都能正确处理 (user_id, retailer) 组合的唯一性。merge 方法在 on 列存在重复时会产生笛卡尔积，但 indicator 列的标记依然准确；MultiIndex.isin 则直接基于组合的唯一性进行判断。
• 可读性与意图: MultiIndex.isin 更直接地表达了“检查多列组合的成员关系”这一意图，对于理解代码逻辑可能更为清晰。

通过这两种方法，您可以灵活高效地在 Pandas 中处理复杂的条件判断，为您的数据分析任务提供强大的支持。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~