Pandas列表列取最小值技巧

本文详细介绍了如何利用Pandas处理包含列表列的DataFrame，实现跨DataFrame提取最小值。面对一个DataFrame的列包含店铺ID列表，而另一个DataFrame包含店铺详细数据的场景，本文提出了一套高效的解决方案。通过`explode`函数展开列表列，再结合`merge`和`groupby`操作，根据月份和店铺ID进行数据匹配与聚合，最终计算出匹配店铺中的最小值。本文提供了详细的代码示例和步骤解析，包括数据预处理、数据展开、数据合并以及结果聚合，旨在帮助读者掌握处理复杂数据结构的实用技巧，提升数据分析效率。无论您是数据分析师还是Python开发者，本文都将为您提供有价值的参考。

本教程详细介绍了如何使用Pandas在两个DataFrame之间进行复杂的数据匹配与聚合操作。核心问题在于一个DataFrame的列包含店铺ID列表，而另一个DataFrame包含单个店铺的详细数据。我们将通过explode函数展开列表型列，然后利用merge和groupby操作，根据月份和店铺ID匹配数据，并最终计算出匹配店铺中的最小值，为处理复杂数据结构提供了高效解决方案。

引言与场景描述

在数据分析实践中，我们经常会遇到需要从一个数据源中根据多个条件提取信息，并将其关联到另一个数据源的场景。当其中一个数据源的关键匹配列包含列表（例如，一个订单可能关联多个商品ID，或者一个区域可能包含多个店铺ID）时，传统的直接合并操作会变得复杂。本教程将聚焦于一个具体场景：给定两个DataFrame，df1包含店铺的单月价值数据，df2包含店铺ID列表和月份。我们的目标是根据df2中的月份和店铺ID列表，从df1中找到所有匹配店铺的价值，并取其中的最小值作为df2的新列。

示例数据准备

为了演示这一过程，我们首先创建两个Pandas DataFrame作为示例数据：

import pandas as pd

# 第一个DataFrame: df1 包含单个店铺的价值数据
data1 = {
    'store': [1, 1, 2, 2],
    'value': [24, 28, 29, 0],
    'month': [1, 2, 1, 2]
}
df1 = pd.DataFrame(data1)

# 第二个DataFrame: df2 包含店铺ID列表和月份
data2 = {
    'store': [[1, 2, 3], [2]],
    'month': [1, 2]
}
df2 = pd.DataFrame(data2)

print("df1:")
print(df1)
print("\ndf2:")
print(df2)

输出的DataFrame如下：

df1:
   store  value  month
0      1     24      1
1      1     28      2
2      2     29      1
3      2      0      2

df2:
       store  month
0  [1, 2, 3]      1
1        [2]      2

我们的目标是为df2的每一行添加一个value列，其值为df1中对应月份和店铺ID列表里所有店铺价值的最小值。例如，对于df2的第一行 ([1, 2, 3], 1)：

• 店铺1，月份1 的价值是 24。
• 店铺2，月份1 的价值是 29。
• 店铺3，月份1 在 df1 中不存在。 因此，min(24, 29) 应为 24。

核心解决方案：分步解析

解决这个问题的关键在于有效地处理df2中的列表型列，并将其与df1中的单个店铺数据进行匹配。我们将采用explode、merge和groupby的组合策略。

1. 预处理源数据 (df1)

在进行合并操作之前，为了确保数据的一致性，我们可以对df1进行预处理。如果df1中存在相同store和month组合下的多条记录，并且我们只关心其中的最小值，那么可以先进行聚合。在我们的示例中，df1的(store, month)组合是唯一的，但这是一个良好的实践。

# 确保df1中每个(store, month)组合只有一个最小值
# 如果df1本身有重复的(store, month)对，此步骤会取其最小值
df1_processed = df1.groupby(['store', 'month'], as_index=False)['value'].min()
print("\ndf1_processed:")
print(df1_processed)

在这个特定示例中，df1_processed与df1内容相同，因为没有重复的(store, month)组合。

2. 展开目标数据中的列表 (df2)

df2中的store列是一个列表，这使得直接与df1进行合并变得困难。pd.DataFrame.explode()函数能够将列表或类列表的条目转换为单独的行，从而有效地“展开”DataFrame。在展开后，我们需要保留原始行的索引，以便后续聚合。

# 展开df2的'store'列，并将原始索引重置为一列
df2_exploded = df2.explode('store').reset_index()
print("\ndf2_exploded:")
print(df2_exploded)

df2_exploded的输出：

df2_exploded:
   index  store  month
0      0      1      1
1      0      2      1
2      0      3      1
3      1      2      2

现在，df2_exploded中的store列已经转换为单个店铺ID，并且index列记录了它来源于df2的哪一行。

3. 合并数据帧

接下来，我们将展开后的df2_exploded与预处理过的df1_processed进行合并。合并的键是store和month。我们使用how='left'确保df2_exploded中的所有行都被保留，即使在df1_processed中没有匹配项（例如，店铺3在月份1）。

# 将展开的df2与预处理的df1合并
merged_df = df2_exploded.merge(df1_processed, on=['store', 'month'], how='left')
print("\nmerged_df:")
print(merged_df)

merged_df的输出：

merged_df:
   index  store  month  value
0      0      1      1   24.0
1      0      2      1   29.0
2      0      3      1    NaN
3      1      2      2    0.0

可以看到，对于原始df2的第一行（index为0），现在有三行数据，分别对应店铺1、2、3在月份1的价值。店铺3由于在df1中不存在，其value为NaN。

4. 聚合计算最终最小值

现在，我们需要回到原始df2的行级别，并为每行计算其匹配店铺价值的最小值。这可以通过再次使用groupby原始index列并对value列取最小值来实现。

# 根据原始索引聚合，并取每个原始行的最小值
final_values = merged_df.groupby('index')['value'].min()
print("\nfinal_values:")
print(final_values)

final_values的输出：

final_values:
index
0    24.0
1     0.0
Name: value, dtype: float64

这里，index为0的行对应df2的第一行，其匹配的value有24.0、29.0和NaN，最小值为24.0。index为1的行对应df2的第二行，其匹配的value为0.0，最小值为0.0。

5. 更新目标DataFrame

最后一步是将计算出的最小值添加回原始的df2 DataFrame中。可以使用pd.DataFrame.assign()方法实现。

# 将计算出的最小值添加为df2的新列
df2_final = df2.assign(value=final_values)
print("\ndf2_final:")
print(df2_final)

df2_final的最终输出：

df2_final:
       store  month  value
0  [1, 2, 3]      1   24.0
1        [2]      2    0.0

这正是我们期望的结果。

完整代码示例

将上述所有步骤整合到一起，形成一个完整的解决方案：

import pandas as pd

# 示例数据
data1 = {'store': [1, 1, 2, 2], 'value': [24, 28, 29, 0], 'month': [1, 2, 1, 2]}
df1 = pd.DataFrame(data1)

data2 = {'store': [[1, 2, 3], [2]], 'month': [1, 2]}
df2 = pd.DataFrame(data2)

# 1. 预处理df1，确保每个(store, month)组合只有一个最小值
df1_processed = df1.groupby(['store', 'month'], as_index=False)['value'].min()

# 2. 展开df2的'store'列，并保留原始索引
df2_exploded = df2.explode('store').reset_index()

# 3. 将展开的df2与预处理的df1合并
merged_df = df2_exploded.merge(df1_processed, on=['store', 'month'], how='left')

# 4. 根据原始索引聚合，并取每个原始行的最小值
# 注意：NaN值在min()计算中会被忽略，这符合我们的需求
final_values = merged_df.groupby('index')['value'].min()

# 5. 将计算出的最小值添加为df2的新列
df2_final = df2.assign(value=final_values)

print("最终结果df2_final:")
print(df2_final)

结果分析

最终的df2_final DataFrame准确地反映了我们的需求：

• 对于第一行 ([1, 2, 3], 1)，df1中店铺1在月份1的价值是24，店铺2在月份1的价值是29。店铺3在月份1没有记录。取有效值的最小值 min(24, 29) 得到24。
• 对于第二行 ([2], 2)，df1中店铺2在月份2的价值是0。因此，最小值为0。

注意事项与总结

1. explode的效率: explode函数是处理列表型列的强大工具，它能将一个包含列表的行拆分成多行，极大地简化了后续的合并和聚合操作。对于大型数据集，explode通常比自定义循环或apply函数更高效。
2. NaN值的处理: 在merge操作后，如果df2_exploded中的某个store在df1_processed中没有匹配项，那么合并后的value列将包含NaN。groupby().min()函数在计算最小值时会自动忽略NaN值，这恰好符合我们只考虑有效匹配值的需求。
3. 原始索引的重要性: reset_index()在explode之后是关键一步，它创建了一个新的index列来记录原始行的位置。这个index列在后续的groupby操作中用于将数据聚合回原始df2的行级别。
4. 数据类型: 在合并和聚合过程中，value列的数据类型可能会从整数变为浮点数（例如，24变为24.0），这是因为NaN（Not a Number）只能表示为浮点数类型。如果需要，可以在最终结果生成后进行类型转换。
5. 适用场景: 这种explode-merge-groupby-assign模式非常适合处理一个DataFrame的列包含多个ID，需要根据这些ID从另一个DataFrame中提取并聚合数据的场景。

通过本教程，您应该已经掌握了如何使用Pandas高效地处理包含列表型列的复杂数据匹配和聚合任务。

到这里，我们也就讲完了《Pandas列表列取最小值技巧》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！