Pandas两列列表配对统计技巧

本文深入讲解了如何利用 Pandas 的 `explode(['col1', 'col2'])` 与 `pivot_table` 组合技巧，高效解决 DataFrame 中两列等长列表（如类别与对应分数）的元素级配对统计难题——既能精准保持原始顺序的一一映射，又能灵活聚合总和、正/负值计数等多维度指标，兼顾准确性、可读性与工程实用性，是处理标签-权重、事件-耗时等典型键值对列表场景的标准化高效方案。

本文介绍如何对 DataFrame 中两个等长列表列（如类别与对应分数）进行元素级关联，通过 explode 展开后 pivot_table 聚合，高效计算各分类的总分、正/负分计数等指标。

在实际数据分析中，常遇到将“类别列表”与“数值列表”一一对应的场景（例如：每个商品有多个标签及对应权重、每条日志含多组事件类型与耗时）。Pandas 原生不支持跨列列表对齐，需借助 explode() 实现行级展开，再通过 pivot_table 进行结构化聚合。

以下是完整实现步骤：

1. 构造示例数据

import pandas as pd

cat = [
    ['speed', 'health', 'strength', 'health'],
    ['strength', 'speed', 'speed'],
    ['strength', 'speed', 'health', 'speed']
]

pts = [
    [1, 2, 1.5, -1],
    [2, -1.5, 1.5],
    [-1, 2, 0, 1.5]
]

df = pd.DataFrame({'cat': cat, 'pts': pts})

2. 同时展开两列（关键！）
使用 explode(['cat', 'pts']) 确保类别与分数严格按原始顺序一一对应（Pandas 1.3+ 支持多列 explode）：

tmp = df.explode(['cat', 'pts'])
# 此时每行对应一个 (category, point) 对，且保留原始行索引

3. 定义聚合函数并透视汇总
为同时计算总和、正数个数、负数个数，定义辅助函数，并传入 pivot_table 的 aggfunc：

def count_pos(x): return (x > 0).sum()
def count_neg(x): return (x < 0).sum()

pivot = tmp.pivot_table(
    index=tmp.index,
    columns='cat',
    values='pts',
    aggfunc={'sum': 'sum', 'pos': count_pos, 'neg': count_neg}
)
# 注意：pivot_table 默认对重复列名去重，此处用字典明确指定各聚合项

4. 重命名列并合并结果
将多级列名扁平化为 category_aggregation 格式，并与原 DataFrame 拼接：

pivot.columns = [f"{col[1]}_{col[0]}" for col in pivot.columns]  # 如 'health_sum'
result = pd.concat([df, pivot], axis=1)

✅ 输出效果：自动覆盖所有出现过的类别（speed/health/strength），缺失值以 NaN 表示；sum 为浮点型，pos/neg 为整型，语义清晰。

⚠️ 注意事项：

• explode(['cat', 'pts']) 要求两列列表长度一致，否则会报错 —— 建议预先校验：df.apply(lambda x: len(x['cat']) == len(x['pts']), axis=1).all()
• 若需统计零值，可扩展 count_zero = lambda x: (x == 0).sum()
• 对于超大规模数据，explode 可能增加内存占用，可考虑分块处理或使用 itertools.chain 配合 groupby 替代方案。

该方法兼具可读性与扩展性，是处理“键值对列表列”聚合问题的标准范式。

到这里，我们也就讲完了《Pandas两列列表配对统计技巧》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！